企業データのガバナンス｜CoSort9　ソリューション概要

企業データのガバナンス

データ保護、監査、効果

企業データの管理とガバナンスを改善する

内部統制においてデータ統合管理とデータ保護は、次のような場合に必要となります。

データを移動する
データを変換する
データをクレンジングする
分析のためにデータを準備する
レポート作成ツールやBIアプリケーションにデータを渡す一般に提供されているデータ管理ツールを使ってこれらの処理を行うと、フレームワークのリスクと管理に対する要件から、次のような問題が懸念されます。
処理・操作の複雑さが増大
データのパフォーマンスと用途に及ぼす影響
リスクコントロールの体系的取り組みに不可欠な監査履歴の不備

IRIのフラグシップ製品であるCoSort SortCLツールは、複数のプロセスをひとつにまとめて処理します。このことから、CoSortは、シンプルさ、透明性、コンプライアンス、監査能力を提供しているといえます。以下の説明を読むと、これらの異なる要件を一つの製品、一つのメタデータ・フレームワークで、 CoSortがどのように処理できるかがお分かりいただけるでしょう。 CoSortツールは、企業／行政関連機関においてデータ統治に関連する以下の課題に対応しています。

フィールド・レベルで動的にデータ保護
テストデータ作成によるプロトタイピング問題の解決
マスタデータの品質と安全性の向上
顧客データ統合（CDI）の高速化
データとアプリケーションの監査
変化のあったデータのみの収集（デルタレポートの作成）
データフォレンジックス（不正行為の追跡と犯人特定）への対応
プライバシー規則によるコンプライアンスの検証
CobITへの対応
（米国の情報システムコントロール協会（ISACA）などが提唱するITガバナンスの実践規範）

フィールド・レベルで動的にデータ保護

コンプライアンスおよびアウトソーシングのための個人データの保護

課題：

個人情報、つまり顧客、社員、患者、生徒および軍関係の記録におけるプライバシーに対する侵害は、驚くような割合で増加し続けています。告訴されたり、罰金を課せられたり、悪意のある者の標的にならないために、 Privacy Rights Clearinghouse （米国における情報漏洩事例のサイト。日本における同種のサイト。）に掲載されているようなデータ漏洩の惨事は回避する必要があります。また、政府および業界のプライバシーに関するルールにも準拠する必要があります。
機密情報は残念ながら除去することはできません。使わないわけにはいかないのです。それよりも、モデリング・ツール（データ・ガバナンスへの取り組みおよびExeros、Global ID、Micro Focusなどの）を介して機密情報を取り扱いながら、データ漏洩を防ぐ努力を続ける必要があります。
データベース、ファイルおよびディスクの暗号化ソリューションを使用している場合、保護対象が間違っていて（たとえば、1つのデータベースだけ、しかも使用されていないデータを保護しているような場合）、オンライン処理を無駄に遅らせています。これはデータ量が多い場合に特に見られることです。暗号化ツール、ハードウェアおよび手順を別途に採用すると、コストが増え、複雑になり、時間を要し、機密情報以外にもアクセスできなくなります。

さらに、現在の方法では以下の情報や処理が得られない場合があります。

どのようにリスク管理したかの詳細が記載された追跡記録（コストのかかる検証を実行せざるを得なくなります）
暗号化およびキーを分離して管理（いずれも保守を怠ることができません）
同時に他のフィールドに対して別のデータ保護を実施すること
ファイル内での複数のデータ変換と出力を同時に実行すること

解決策：

CoSortのSortCLツールに搭載されたファイル内のデータのフィールド・レベルでの保護では、以下の処理が可能になります。

各フィールドでの必要に応じた、暗号化、匿名化、偽名化、識別不能化、マスキング
ファイル内の保護されている部分および保護されていない部分の両方へのアクセスおよび操作
フィールドの高速変換を応用するセキュリティ方式により実現可能となった最小限のオーバーヘッド
保護の機能を統合（他のSortCL機能とともに、同じジョブ・スクリプトおよびI/Oパスで実行可能）
コンプライアンスの検証レポートとクエリーに使用できるXML形式での完全な追跡記録
ファイルの処理対象箇所または対象外箇所のデータ保護（レコード対象）
データベースのソート済みテーブルのカラム・データの保護（フィールド対象）

ファイル内のフィールドに対してデータ保護処理をしたほうがよいのは、次のような理由からです。

データベース内の実際のフィールド値を使用し続ける必要がある場合に有効
保護が必要な機密フィールドのみを保護できる -- データベースの外、ビルの外、ファイヤーウォールの外などで使用または保管する必要があるファイル内
データのセキュリティを確保するのと同時にデータを操作したり出力したりすることができる

CoSortのSortCLツールでは、複数のフィールドに1つ以上の保護機能を適用でき、（同じジョブ・スクリプトおよびI/Oパスを通じて）データ処理およびレポート作成出力も同時に実行できます。つまり、保護を必要とするフィールドのみを保護でき、大容量ファイルについてステージングや統合を行うことと、出力レポート、Webページ、データベース、BIツールにデータ送出することを同時に処理することができます。システムを複雑にすることなくデータ保護を実現できるわけです。
したがって、システムを遅くしたり複雑化したりといった、窮屈なアクセス制限で縛るようなデータ保護で、利便性をなくしたり予算を増大させたりするよりも、 CoSortの統合された選択可能なデータ保護を導入して、データ保護されていない残りのデータにアクセスする人たちにとってもメリットがあるようにすることのほうが、十分に検討の価値があります。

テストデータとプロトタイプ作成における問題解決

本番データではなく、本番フォーマットを使用しての開発およびアウトソーシング

課題：

プロトタイピングで使用される安全でない本番データを評価して使用を防ぐ役割が、危険なデータに対するガバナンスの目的の一つです。以下のケースでは実際的なテストデータが必要です。

アプリケーションに対する負荷と範囲のテスト
プログラム開発のアウトソーシング
データベース移入のシミュレーション
ハードウェアとソフトウェアのベンチマーク
カスタム・ファイルとレポート・フォーマットの共有

テストデータが必要なとき、単純に本番データベースや実際の本番ファイルの一部を複製して使用することがよくあります。いずれの場合も、慎重に取り扱わねばならない個人データの流出につながりかねないという本質的なリスクがあります。

その一方で、安全な実際的なテストデータを生成することが難しい場合があります。

カスタム・プログラムの記述、修正および維持には時間がかかる
サードパーティのテストデータ・ジェネレータは遅く、複雑で機能も限定的
実際の本番ファイルまたはレポート・レイアウトにテストデータをフォーマットするのが困難
生成したデータに対しソート、ジョイン、セレクトを同時に実効する必要がある

このような場合には、いったい、どうしたらよいでしょうか？

解決策：

上記のすべての用途向けに、カスタム・ファイル・フォーマットで、簡単に安全なテストデータを生成できるツールを用意しました。具体的には、CoSort9のSortCLおよびCoSortのテストデータ作成（RowGen）の両ツールでは、実際のレポートおよび本番ファイル・フォーマットに、ファイヤーウォール外への送信が可能で安全なテスト・フィールド・データを生成（変換）できます。

CoSortによるソリューションであれば、1つのジョブ・スクリプトおよびI/Oパス内に、任意の数、サイズ、タイプ、位置のフィールド、レコード、ファイルを指定できます。アプリケーションを合成したり、負荷をかけるために、さまざまな選択をしたりして範囲基準を適用できます。 SortCLでは、ランダムなデータと実際のデータを組み合わせて、同時に他のフィールド・レベルのデータ保護テクニックを使用できます。本番ファイルのレイアウトの定義にすでにSortCLを使用している場合、（CoSort9またはRowGenで）同じメタデータを使用して同じフォーマットで安全なテストデータを作成できます。 CoSortより低価格のRowGenツールを使用している場合、テストデータの定義に使用しているものと同じメタデータをSortCLに移行して、実際のデータの生成時に同じフォーマットに変換されるようにできます。

CoSort9またはRowGenの両ツールは単純なジョブ・スクリプトを使用して、ランダムに生成したにせのデータや、ランダムに選択した実データを、完全にカスタマイズされたフォーマットのテストファイルに移入します。ロギングおよび監査機能も豊富に用意されています。いずれにしても、ご自身では機密のフィールド・データをシミュレートして、危機管理担当者はデータのアウトソーシング前にコンプライアンスを検証できます。

マスタデータの品質と安全性の改善

マスタデータのクリーニングおよび保護で役立つCoSort

課題：

マスタデータとは、製品、顧客、店舗の場所などの一般的な情報です。また、多数のシステムで使用されるコード・テーブルおよびリファレンス・テーブルの情報でもあります。マスタデータは特別なテーブルに保存され、全システムのデータ・テーブルのプライマリ・キーで使用されます。モデリング、移行、およびクレンジング・ルールの定義および実行でも使用されます。
マスタデータは、データの品質という意味において最も注意を払う必要がある対象です。マスタデータは多数のシステムおよびプロセスのキーとなるので、その質が悪い場合、すべてのシステムに影響をおよぼします。したがって多くの企業では、このデータの質を確保しようとしています。
マスタデータは多くの企業で機密情報であるので、フィールド・レベルでの保護を最も必要とします。MDM処理を一元化しようとしている企業の場合、とりわけ必要になります。

解決策：

CoSortのSortCLツールを使用すると、ファイルで定義するマスタデータの要素（フィールド名および属性）をスクラブして標準化できます。
変化や条件ベースの異常を見つけるレポートを生成できます。また、マスタデータ自体を変換および再フォーマットして、SortCLの単純なシンタックスおよびリポジトリ用の新規の再利用可能なメタデータを生成できます。
またSortCLでは、重複や値をフィルタリングするなどして、迅速に基本的なデータ品質を確保することもできます。さらにSortCLでは、カスタム・フィールドレベル変換ライブラリをサポートしているので、（Melissa Dataなど）サードパーティのデータ品質ツールの機能を利用できます。これは上記処理において、最良のデータ・クレンジングを統合できることを意味します。
マスタデータは通常機密であるため、SortCLが提供するフィールド・レベルでの保護を必要とする場合があります。また同時に、一元化されている危険性のあるマスタデータをフィールド・レベルで変換およびスクラブしたり、SortCLを使用して暗号化または保護できます。

したがって、CoSortのSortCLツールを使用すると、マスタデータのデータ品質、変換、安全のいくつかの目標を達成できます。また同時にすべての追跡記録も生成できます。

大規模データ統合の高速化

CoSortによる大規模入力ファイルの迅速なステージングと統合

課題：

共通点のないデータをさまざまなシステムから1箇所にまとめるのは、技術的にも大変で、高度な能力を必要とします。高度なモデリングおよびETLツールは、機密データベース・ソースおよびターゲット間を接続、識別、マッピングすることは一般的に得意としています。
しかし、データのサイズが大きい場合、残念ながらしばしばパフォーマンス上の問題が発生します。データが以下のような状況にある場合、ほとんどのツールでは抽出、変換、ロードを迅速に実行できません。

行が100万以上あるテーブル
古い技術を使用した索引ファイルおよびデータ・ファイル
XMLやLDIFなどのフォーマットの数ギガバイトのファイル

解決策：

CosortのSortCLツールは、シングル・パスおよびフラット・ファイル処理によって、劇的な速さでデータを統合します。 CoSort/IRI,Inc.や他の企業では、移植性、単純さおよび効率性などの観点から、データの統合およびステージングにおいてシーケンシャル・ファイルの使用を推奨しています。
CoSortのFast Extract（FACT）ツールは、他のファイルと統合するために、迅速に大容量のテーブルをフラット・ファイルにアンロードしたり、 Oracleデータを直接SortCLジョブにパイピングするのを助けします。

SortCLは、同時に複数のファイルをマージしてジョインし、唯一の真のソースを生成します。
以下のデータ統合の際、SortCLではフィールド名をシンボリック・リファレンスとして使用します。

ソースからターゲットへのマッピング（例：再フォーマットおよびデータ変換）
フィルタリング（例：選択および重複排除）
操作（例：キーのソートとジョイン、ルックアップ変換）
共通点のないデータ・ソースを統合できる以外に、SortCLでは同時に以下を実行できます。
フィールド・レベルでのデータの保護（例：暗号化、識別不能）
BIツールが処理できるレポートおよびサブセット用の情報の導出および提供
複数の変換の実行
大容量のRDBのロードを迅速化するためのインデックス・キーでのプレソート

データとアプリケーションの監査

問題の分析およびコンプライアンスの検証でのSortCLおよびSorCLログの使用

課題：

データ・ウェアハウスにおいて、またそのデータの使用時に、運用データは頻繁に変更されます。たとえば、レコードは追加されたり、削除されたり、変更されたりします。あるセットのレポートにあるレコードおよびフィールドが、別のファイルで必要箇所になかったり（この逆の場合もあります）、フィールドには異なる属性または値が入っている場合があります。
プライバシーを保護するには、機密データ、通知する必要のある受信者、およびアクセス権を特定し、モニタリングする必要があります。データ・ガバナンス担当者およびそれら担当者が依存しているITスタッフには、これら（およびこれらに関連する）データに関連する課題を管理するポリシーやそれを自動トラッキングする方法が必要です。

解決策：

CoSortのSortCLツールのデータ操作（処理、提示、保護）機能およびアプリケーション監査機能は、大容量ファイルで生じる問題の分析およびデータ管理に役立ちます。

データの変化検出（デルタ・レポーティング）

データの迅速な取得、保持、更新とより単純なファイル比較

課題：

過去のデータと比較した場合、運用データは頻繁に変更、追加および削除されます。データ･ウェアハウスをメンテナンスしたり使用するグループでは、ファイルを比較したり、データの変動をキャプチャしたり、分析する必要があります。
残念ながら、ファイルを比較したり、変更されたデータを処理したりするデータ取得ツールおよび方法の多くは、扱いにくく、エラーが発生しやすく、またデータベース・ソースまたはパフォーマンスを1つに制限しています。データ・ウェアハウスを更新する代わりに、データベース全体を定期的に読み込んだり更新したりすることは、特にデータ・ボリュームが増加している状況においては非現実的な方法です。
つまり、テーブルのサイズが大きくなるにしたがって、データベース内でデルタ処理を行うことが難しくなります。

解決策：

統合されたジョインおよびレポート・ロジックでファイルを比較する、より迅速で機能的なCoSort SortCLジョブ・スクリプトでは、データベースおよび古いデータの変更を、オフラインでトラップ（キャプチャ）できます。これによってDBMSに対する大きな作業負荷がなくなります。（CDCテーブルの更新トリガーに依存するDBMSの場合）
たとえば、まずCosortのFast ExtractツールでSELECTクエリーを使用し、特定のタイムスタンプ以降に生成された行のみをフラット・ファイルにダンプします。その後 CoSort SortCLツールを使用して、条件付でこのファイルを他の1つ以上のアーカイブ・ファイルとジョインし、出力ターゲットを複数生成します。変更したレコードをカスタム・レポートに示したり、（事前にソートされている）データベース・ローダにフィードしたり、その挿入対象を他のアプリケーションに移入、変更、または削除したりすることを、すべて同時に実行できます。
またレポートから新規、変更、または消失したレコード数を把握したり、（各ジョインでの内部および外部マッチ数を提示する）SortCLランタイム統計を見たりできます。トランザクション・データの変更をラベリング、ログおよび分析して、危険を特定し、フォレンジックに（法的監査の目的で）傾向を分析できます。
SortCLでは同時に以下を実行できます。変更のあったデータにフィールド・レベルのコマンドまたは機能を使用して次のデータ処理を実行し、

再フォーマット
クロス計算
ランク付け

結果として次のソリューションが実現できます。

変換
クレンジング
保護
プレゼンテーション

したがって、大容量ファイルを比較およびデータ更新する際、データ内の変更をコスト効率よくキャプチャして、同時に変更およびレポーティングすることが可能です。

データ・フォレンジックと問題の分析

詳細に不正要素を検出するCoSort

課題：

アプリケーションの追跡記録には、データのレイアウトやジョブの実行に関する包括的な情報が必要です。これらの詳細は、以下の目的のために、すぐに利用でき、安全で、有効である必要があります。

法的証拠および問題の分析
ジョブの複製
パラメータの変更
機密データの保護
ユーザーの説明責任

たとえば法的なデータ分析では、レコード数またはフィールド値が、設定した閾（しきい）値を超過している場合、データが損失していたり、不正行為が生じている可能性があります。

解決策：

CoSortのSortCLのジョブ・スクリプト、統計レポートおよび監査ログには、各入力、inrec（virtual）、および出力ファイル用のレイアウト規定があり、また指定したフィールド属性および保護テクニックなどの操作詳細があります。
許容、拒否、または処理されるレコード数を含む、フェーズ固有のレコード・カウントおよびジョブの調整の詳細は、統計ログにあります。監査追跡には、ユーザー、ランタイムおよび環境変数の情報とともに全ジョブ・スクリプトも記録されます。
（提供されているログのデータ定義ファイルを使用すると）既存のXML解析ツールまたはSortCLを使用して、ログへの問い合わせやログのレポートを簡単に実行できます。たとえば、ファイルおよびフィールド名、実行日、ジョブの期間などを問い合わせることができます。手作業で巨大な監査追跡を調べることなく、特定のジョブを検証できます。

データ・プライバシー規則への準拠を検証

フィールドに対する保護を示し確認できるCoSortのSortCL

課題：

（医療に関する）HIPAAなどの法律や（クレジット・カード業界の）PCIなどの標準に準拠するには、個人情報を識別不能に（または暗号化）するだけでなく、識別不能（または暗号化）を実行したことを立証する必要があります。アメリカ連邦議会では、プライバシーの侵害を防ぎ、個人情報の窃盗を特定するために、小売業者や金融機関に対し、今後もデータのプライバシーに関する法律を強化してゆくでしょう。

解決策：

自己文書化が可能で、可読性のあるCoSortのSortCLジョブ・スクリプトの任意のポイントで、指定されているフィールド・レベルでのデータ保護の検証・検出を制御することができます。
立証には、クエリーが可能なXML監査ファイルにすべてのジョブをログします。監査追跡に含まれるジョブ・スクリプトには、処理される各ファイルの各フィールドに適用されている保護テクニックが示されます。このログは、以下のようなジョブの他のメタデータも含みます。

使用されている暗号化または他の保護機能のライブラリ
暗号化のパス・フレーズまたは識別不能化コード
入力および出力ファイル
ジョブの実行者
ジョブの開始および終了時間
処理したレコード数

情報漏洩防止のため、CoSortのJava GUI for SortCLを使用して、実行前に出力フィールドを検証し、開発者からデータを保護します。たとえば、開発者がSortCLスクリプト・ファイルの出力フィールド属性を何回かクリックするだけで、ペイロール・フィールドでSSNフィールドがマスキングされるよう変更されます。これだけでなく、SortCLでは以下のような多数のデータ加工処理を実行できます。

フィールド・レベルでの暗号化
匿名化および偽名化
識別不能化、再識別化
出力ファイルからの機密フィールドの削除

コンプライアンス担当者は、GUIまたはテキスト・エディタから保護を確認できます。一度承認されたら、ジョブをローカルの、または任意のSortCLリモート・サーバーに保存して実行できます。実行後、本番で再利用するためにジョブ・スクリプトは分離して保護できます。

CobITへの対応

ITガバナンスの目標達成を支援するCoSortのSortCLツール

課題：

組織ではデータ・ガバナンスだけでなくITガバナンスのフレームワークを導入して、技術情報の管理活動を行っている場合があります。 IT資産の利用および保護に関する最も成熟した広範囲に受け入れられているフレームワークは、おそらく情報システムコントロール協会（ISACA）で公布されているものです。情報システムコントロール協会はCobIT（Control Objectives for Information and related Technology）の第4版で主要な目標を34個、掲げています。これらの目標の多くを自動で実現するツールは少数しかありません。

解決策：

Innovative Routines International (IRI),Inc.のソフトウェアを使用すると、組織は、複数の処理を一体化して、共通のメタデータを利用し、CobITに関係する24の目標を実現できます。IRIのCoSortおよび関連ツールは、以下を行うITおよびデータ管理者を助けます。