テストデータ作成｜CoSort9　ソリューション概要

テストデータ作成

バイナリ, XML, CSV, EBCDIC, LDIF, Oracleおよび他のデータベースのテストデータ
実際のファイル・フォーマットによる現実的なデータ作成
実データを使うことによって発生する危険を冒すことなく、以下のような処理を簡単に行う方法が必要になってきました。

レポートフォーマットのシミュレーションと共有
アプリケーションの開発と負荷テスト
新しいハードウェアとソフトウェアのためのベンチマーク
テストデータベースのロード
DWHのETLテストの実行

有効なテスト結果を得るため、ファイルとレポートのレイアウト、テーブルのビュー、インデックスの順序、キーのリレーションシップなどが、現実に即したものである必要があります。他のツールやプログラムを使って、理想的な範囲で、実際のフォーマットを持ち、値そのものは安全な値であるようなテストデータを作成する ――さらに大規模なテーブルをロードする――というのは、とても時間がかかるかもしれません。

CoSort 9のSortCLツール、またはスタンドアロンのCoSortテストデータ作成ツール(RowGen)を使って、複数フォーマットで複数ファイルを１つのジョブ・スクリプトとI/Oパスで総合的に扱うことができます。両製品とも、強化された共通のSortCLスクリプト言語とデータレイアウトで、データ変換とレポーティングを行います。したがって、両製品間で共通のデータ定義を使って、データ生成と処理のスクリプト編集を簡単に行うことができます。

次のファイル・フォーマットのテストデータを作成します。

固定長、可変長、ライン・シーケンシャル、バリアブル・シーケンシャル
CSV (comma-separated values)
LDIF (Lightweight Directory Interchange Format)
XML
COBOL 索引ファイル
メインフレームのブロック・フォーマット

100以上のデータタイプをサポートし、カスタムのレコード・レイアウトとレポートレイアウト、統合されたデータ変換、条件つき選択をサポートするのに加えて、さらに、データ・リアリズムとプライバシーにも配慮しています。安全なテストデータの使用に関する詳細については下記の説明をご参照ください。

ベンチマーク

ハードウェアおよびソフトウェアのテストのために完全なデータセットを迅速に構築

課題：

ハードウェア・プラットフォームとソフトウェア・アプリケーションのパフォーマンスを評価するには、実データを使用する必要があります。ファイルとテーブルは実際のサイズでなければならず、その内容であるデータタイプ、レコードフォーマット、レコード数も現実に即したものでなければなりません。
Transaction Processing Performance Council (tpc.org) のような機関団体から提供された標準的なベンチマークも、同じように広範囲のあらかじめ決まったボリュームとレイアウトのテストデータを必要とする場合があります。
適切なツールと技術がないかぎり、大容量のファイルとテーブルの構築とロードには、時間がかかることがあります。実際のデータからサンプルデータを選別して抽出するのは時間もかかるし、データのプライバシー・ルールを侵害する危険性もあります。

解決策：

CoSortのSortCLツールまたは単機能の製品RowGenツールは、各種フォーマットで迅速に安全で大規模なテストファイルを作成します。しかも１つのジョブ・スクリプトとI/Oパスでそれが可能です。したがって、完璧で一貫性のある一連のファイルを、異なるソフトウェアとハードウェア上で実行することができます。これは最適な処理プラットフォームを探す手助けにもなります。

固定長または区切られた可変長で生成するカラム数には制限はなく、 100以上の異なるデータタイプでのデータフィールド生成が可能です。テスト・レコードとフィールドは、実データにならって選択、変換されます。ランダムなシードを管理しながら連続的な実行の中で、値は再帰的にしたり変化させたりすることができます。各フィールドはランダムに生成されたデータか、あるいは、より現実的になるようにしたファイルか、あるいは、数値範囲のセットからランダムに選ばれたデータを含んでいます。

DBの移植

実際の行データをその順序で迅速にデータベースに移植する

課題：

経験豊富なDB管理者なら実際のテーブルでテストを行なうべきではないことをご理解いただけるでしょう。実データのコピーを使えば、たしかに実環境をよく反映しますが、（ボリュームとテストの複雑さによっては）高価な環境を準備しなくてはいけない場合があり、機密データを露呈してしまうというリスクを負う場合もあります。次善の策としては、移植の分析を完璧に行って、実データのボリュームとレイアウト、およびキーのリレーションシップと優先度に基づいたテストデータを作成することです。しかし、多くのタイプを持つ大量のレコード数で構築されたテストデータを作成してロードするのは、時間がかかる作業です。

解決策：

実データが極秘であるか、またはまだ有効でないときに、テストデータ作成ツール"RowGen"はその名が示すとおり、何行ものテストデータを生成します。このプロダクト、あるいはCoSort9のSortCLツールを使って、基本的に実際のテーブル・ロジックに準拠したカスタム・ファイル・フォーマットで、テストデータを生成することができます。お使いのデータベースにロードして使用できる、任意の長さとレイアウトとフィールドのデータタイプを持った、レコードを何行でも作成することができます。
各行のフィールドの値はランダムに生成するか、あるいは１つ以上の実データのプール（ファイル集合）からランダムに選択することができます。また、レコード生成は大量にロードするユーティリティの効率を向上させるため、プライマリーキーの順に生成することができます。このデータを使ってデータベースのロード・クエリ操作のシミュレーションはすぐにでもテストできます。

データベースのインデックス化のために、ソート済みの各出力レコードに「シーケンサ」フィールドを定義して、整数値の開始数値とオフセット位置を指定することができます。これでデータベースは多くのフィールドにまたがってレコードをクロスリファレンスすることができるようになり、DB管理者がファクト・テーブルをロードするとき、キー・ルックアップのオプションとしてleft outer ジョインを使う手助けになります。
RowGenは複数の出力を（複数のフォーマットで）同時に生成することができるので、RowGenの各ターゲットは1つ以上のデータベース・ロード・ユーティリティーへパイプすることが可能です。このようにして複数のテーブルを（データベース全体でさえも）共通のフィールド名で、同時に生成することができます。共通のフィールドを持つ複数のテストファイルは、外部参照キーと結合を可能にします。
安全に、モデル駆動で、正しいリレーションシップで、しかもプレソートされた状態で、RowGenとSortCLが、どれほど高速にデータベースのテーブルを生成するかについては、弊社にお問い合わせの上、評価版で確認してみてください。

プロトタイプ作成（アプリケーション開発）

アプリケーション開発用データの生成・変換のシミュレーション

課題

開発の検証

アプリケーション開発者は、実データの特性を備えた内容と形式を持つテストデータを必要とします。アプリケーションの各ステップが機能するかどうかたしかめるには、この方法しかありません。

開発の同時性とセキュリティ

開発者は安全で（プライバシー保護ルールに違反しない）、他の開発者に依存せず、開発フェーズごとに必要なデータを生成するような開発フェーズによらな

解決策

CoSortの SortCLツールおよびテストデータ作成ツール(RowGen)は、精度の高い安全なテストデータを生成することができます。それはアプリケーション・データだけでなく、アプリケーション自体をもモデル化することができます。

テストデータの精度

有効なテストセットの条件は、一つのアプリケーションが処理すべき値の全レンジ、データタイプ、レコード・レイアウト、ファイル・フォーマットを含んでいることです。場合によっては、とくにサマリー・レポート・レイアウトをシミュレーションする時などは、ビルトイン変換機能とフォーマッティング機能も必要となるでしょう。
「テストファイルの作成」と「実ファイルの作成」の間の移行をシームレスにSortCLツールまたはRowGenツールにより実データが目に見えてわかりやすくなり、データ変換とレポーティング・アプリケーションがどのように動作するかがわかります。なぜなら、SortCLツールもRowGenツールもデータ操作とファイル・レイアウトを定義するために、同じメタデータを使うからです。RowGenを導入すれば、簡単にCoSortのSortCLツールにデータ定義を移行し、実データ（それが使用可能になった時）を使ってデータ変換をしてレポートにすることができます。SortCLは、実データのデータ定義に同じメタデータ（テストファイルを定義しデータ変換するのに使ったデータ定義）を使います。

コンカレント開発

開発のフェーズごとにテストデータを作成することによって、他のフェーズから独立した複数のフェーズを同時に開発することができます。たとえば、次のようなケースです。

ステップ１　個人ファイルを読み、健康の記録と保険クレーム・ファイルを結合させてステータス・ファイルを作る。
ステップ２　ステータス・ファイルを読み、医師リストを生成する。
ステップ３　患者別にソートしたWebブラウザ対応の請求書一覧を作る。

CoSortテストデータ・ソリューションはステップ１用の入力ファイルを作成し、ステップ２でステータス・レポートを作成し、ステップ３でウェブ・レポートを作成します。他のステップからはいかなるデータもファイルも必要としません。

安全な開発

RowGenはどんなタイプ、サイズ、レイアウトの安全なテストデータでも作成できる機能があるので、より安全な開発環境を作成します。CoSortのSortCLはこの機能に加えて実データの使用も選択的に行えます。実データは必要な人だけ知らせる(need-to-know)原則に基づきフィールドレベル関数（暗号化のような）で保護されます。安全なテストデータがあれば、開発者やアウトソースされたアプリケーション・プロバイダーを認証したり、クリアしたり、結びつけたりといった管理作業は必要ありません。

アウトソーシング

コンプライアンス――プライバシー法を厳守する

課題

開発時にデータやファイルのフォーマットを他者と共有する必要がありますが、それらに含まれる実データは取り扱いに注意が必要だったり、機密扱いだったり、まだ実在していない場合があります。自社のプライバシーポリシーにおける社会的信用に関心があり、既存および将来のプライバシー法に準拠する必要があって、とくに海外のソリューションプロバイダーに開発を委託しているならば、なおさらその必要があり、対策が求められています。
すくなくとも一人の議員が、増大するアウトソーシングの傾向によって、消費者と立法者が勝ち取るべく戦ってきた医療および金融面のプライバシー保護がおびやかされている、と語っています。
「プライバシーの問題は、これまでは米国内だけの問題だった。しかし、人々は自分の情報がどれほど国外に漏れているか気づいていないと思う。海外に送られてしまったら、わたしはその医療情報を監視することはできなくなるけれど、国内でならなんとかできる」（カリフォルニア州リズ・フィグエロア上院議員）注意を要する医療データにくわえ、海外の労働者に送られる情報は銀行口座番号、社会保険番号、株、クレジットカードの番号など、盗みの身元確認に役立つものが含まれる場合があります。これらのデータを保護するためのソリューションが求められています。すなわち、実データに近いテストデータでのシミュレーションが求められており、そうすることで実際の個人情報が流出することを不可能にします。

解決策

プライバシー法を立法しようと奮闘するよりも正しいことをするほうが簡単です。もし危険にさらされたデータがファイル内にあったり、取り出したりされているなら、次の二つのCoSortツールのソリューションのいずれか、または両方が有効です。

（CoSort9のビルトイン・データ保護によって）フィールド・レベルで保護する
実データのような見かけのテストデータを使用する

CoSortの SortCLツールと、テストデータ作成ツール(RowGen)は、両者ともファイアウォールの外にも安心して送ることのできる、実際のファイル・フォーマットによる安全なテストデータを作成します。
カスタムレイアウトの１つまたは複数のファイルにおいて、ランダム生成または選択指定された値を含むように、データを生成、変換、整形するといった目的に、どちらのツールも使うことができます。これがあれば、個人情報のフィールド・コンテンツを除外することなく、実際のファイルやレポートレイアウトをシミュレーションし共有することができます。

範囲設定と負荷テスト

正常系（および異常系）の値でアプリケーションの負荷テストを行う

課題

アプリケーションとデータベースには独自のビジネスルールとユニークな属性があります。テストデータが現実的で役立つものであるためには、次のようなビルトイン・データベース・ロジックを反映しなければいけません。

選択条件
データの特徴とデータ変換
フィールド／キーの間のリレーションシップ
値の範囲と計算

テスト・テーブルが正しいデータ範囲におさまっていて、アプリケーションが処理条件をあらかじめ満足しているかを確認するには、テストデータがさまざまな可能性を網羅していなければなりません。

タイプ――フィールド値は正しくフォーマットされているか？
幅――現在（および予定している）範囲におさまっているか？
深さ――データ・ボリュームはスケーラビリティー要件を満たしているか？

解決策

現実的なテストデータを使って開発されたアプリケーションは、将来の本番環境のデータ生成で成功する見込みが高いと言えます。CoSort9のSortCLツールもCoSortテストデータ作成ツール(RowGen)も、ランダムに生成されたデータ、または実際のファイルセットからランダムに選択されたデータを使って、可能性のあるすべてのデータを含むカスタム・テスト・ファイルを作成することができます。
どちらのツールも条件つき選択およびフォーマッティングの機能を備えています。それらの機能は迅速なデータ変換とカスタムフォーマットによるファイル・フォーマット内で、指定した値、ボリューム、データタイプの範囲内でテストデータを作成します。たとえば、現在のアプリケーション環境で正しく見え、機能するアウトプットを別な環境に移植するために、実データと重み付けした数値の集合からランダムにデータを選択して、別な環境でも正常に動作するよう値のレンジを特定することができます。