製品情報|CoSort9

SortCLによる大容量データの高速処理

SortCLとは次のようなツールです。

  • A)大規模データのステージングと統合で有名なETLエンジン
  • B)フラット･ファイルの操作、比較、変換を行うツール
  • C)カスタムの詳細、デルタ、サマリの各レポートのジェネレータ
  • D)レガシーのソート／マージ／集計ソフトウェアの最良の代替ソフトウェア
  • E)機密データを監査可能なフィールドレベルでデータ保護する

Sort Control Language(SortCL)プログラムは、CoSortパッケージ内でもっとも強力でよく使われるツールです。 SortCLは、データ定義および操作を行うためのオープンで堅固な4GLで、大規模なファイル環境で高速かつ データ転送、レポート作成、保護、プロトタイピングの処理を同時に実行します。

SortCLは、以下が可能で、同時に複数のデータ変換を実行します。

  • 遅い3GL、シェル、SQLプロシージャの代わりとなります
  • BI、DBおよびETLツールの前に実行したり、共に実行したり、またはその代わりに実行できます。
  • アプリケーションおよびシステムのオーバーヘッドを軽減します。
  • 大容量データをフィルタリング、統合、ステージングします。
  • カスタムレポートの生成とデータ受け渡しを行います。
  • 大容量のデータベースの再編成およびロードを加速します。
  • フィールドおよびレコードを詳細に分析したり、識別不能にしたり、暗号化できます。
  • 古いソートおよび変換データタイプを再ホストできます。
  • 1つのフラットファイルまたはインデックスファイル形式から別のものに移行します。
  • 安全なテストデータを実際のファイルフォーマットに合成します。
  • 変更されたデータを検出、キャプチャ、監査します。

実行可能なデータ変換の種類

CoSortのSort Control Language (SortCL)プログラムは複数のフォーマットの複数の入力(ファイル、 パイプ、プロシージャ)を受け入れ、たくさんの方法でデータ変換の処理をして、 カスタマイズされたフォーマットでレポートや出力形式を1つ以上生成します。 また、これらの処理をすべて同時に実行します。
具体的には、単一のジョブスクリプトおよびI/Oパスから、 以下のすべてのデータ変換を迅速に組み合わせて実行します。

フィルタリング バイト、フィールド、レコードレベル
セグメント化 条件付き(含めるか含めないか)の選択
ソート 複数のキー、方向、シーケンス
マージ 事前にソートされている2つ以上のファイル
ジョイン 複数の条件付きの2つ以上のソートされたまたはソートされていないファイル
再マップ フィールドのサイズ変更、ポジション変更、整列変更
タイプ変換 データタイプの変更(例 EBCDIC<>ASCII、Packed<>Numericなど)
再フォーマット、置換 ファイルフォーマットの変換(例 CSV<>XML、VS<>RS、ISAM<>Vision、LDIF<>CSVなど)
集計 並行ロールアップおよびドリルダウン sum、min、max、average、count、累計、ランキング
計算 詳細およびサマリー行での計算およびトリガー関数
部分文字列 パターンマッチングおよび他のサブフィールドの操作用のPerl対応の正規表現ロジック
検証 文字列と仕様の一致の確認が必要(例 「iscompares」)
シーケンス 索引付けおよびロード操作
ルックアップ 「set」ファイルフィールドディメンションを使用した離散フィールドの代用、偽名化など
保護 フィールドレベルでのデータの暗号化と、データのセキュリティ手段の監査。 および 匿名化、識別不能化、フィルタ、偽名化
プロトタイプ ランダムに生成またはset選択した(安全な)テストデータフィールド
レポート カスタマイズフォーマットでの詳細のセグメント分けとサマリーターゲット
データ変換 カスタムフィールドレベルのユーザ機能(例 サードパーティDQライブラリ)

SortCLの実行方法

SortCLのジョブスクリプトは、コマンドライン、バッチスクリプト、ジョブスケジューラ、 (実行プログラムまたはC APIコールとしての)プログラム、 またはCoSortの無償Java gui2sclクライアント(SortCLへのGUI)から呼び出せます。 このGUIでは、ネットワーク上でインポート、変更、作成、保存、印刷、共有、検証、SorCLジョブスクリプトを実行できます。

ログ作成

各ジョブで、アプリケーションレベルの統計を画面またはファイルに出力できます。 また、CoSortのシステムログは自己添付ファイル内で実行され、デバッグ情報は自己置換ファイルです。 さまざまな冗長レベルで、画面上でモニタリングするオプションがあり、実行の進捗を評価できます。 コンプライアンスを検証し、アプリケーションとデータを科学的に分析するためにXML監査ログを有効にし、 守ることができます。

トップに戻る