ファイル変換｜CoSort9　ソリューション概要

ファイル変換処理

複数のファイルフォーマットにおける処理と変換

課題

メインフレームのデータタイプとファイルフォーマットは、オープンシステムのリレーショナル・データベース、データ・ウェアハウジング、レポーティング環境には適合しない場合があるかもしれません。もしまだメインフレーム上で、またはメインフレーム向けにデータ処理をしているのなら、その逆もまた真であると言えます。なぜなら、その理由は、可変長のブロックやCOBOLのインデックス・ファイルをCSVに変換したり、テキストをI-SAMに変換したりする必要があると思われるからです。
同様にXMLは一般的なファイル交換用フォーマットですが、大容量のXMLファイルは操作や変換の対象として実用的ではありませんでした。他方、LDIFは大量の情報を保持していますが、多くのアプリケーションがインポートしたり処理したりできるようなファイルフォーマットではありません。結論として、複数のファイルフォーマットを操作し、レポート作成し、変換し、しかも同時にそれらを処理するようなツールが必要になります。

解決策

CoSortのSortCLツールは、100を超えるデータタイプ、20を超えるファイル・タイプの同時処理（ソート、ジョイン、レポートなど）と相互交換（変換、作成の両方）をサポートしています。データタイプとファイル・タイプには、MF-ISAM、CSV、LDIF、XML、Vision、Variable Blocked、そして、もちろんシーケンシャル・ファイル（LINE、RECORD、VARIABLE）が含まれます。こうした機能はメインフレームとデータベースのマイグレーション、ETL、デスクトップ・アプリケーションのインポートなどに有用です。

データタイプの変換と同様に、SortCLスクリプトで１つ以上のファイル変換を指定するのは、たんに必要なソースとターゲット・ファイルを定義するだけです。たとえば、CSVファイルをXMLかLDIFまたはその両方に変換するには、ジョブ・スクリプトは次の宣言から始まります。

/INFILE=/path/filename /PROCESS=CSV

そしてアウトプットでの宣言は次のようになります。

/OUTFILE=/path/filename /PROCESS=XML /OUTFILE=/path/filename /PROCESS=LDIF

またSortCLのフィールドのデータタイプを変換することもできます。データ加工>タイプ変換を参照してください。

CSV

CSVファイルをソース/ターゲットとする高速な処理と変換

課題

インデックス、固定長、LDIF、XML、ウェブログなどのファイルフォーマットは、カンマで区切られたフィールドのレコードを入力とする表計算ソフト、データベース・ローダー、その他アプリケーションのCSVフォーマットと互換性がありません。
逆に、CSVフォーマットでエクスポート出力されたファイルは、メインフレーム、テープ、データ相互交換、レポーティング・アプリケーションで使えるよう、他のファイルフォーマットで処理するために再整形する必要があるかもしれません。

解決策

CoSortのSortCLツールでは、フィールドがカンマで囲まれたCSVフォーマットのファイルは、サイズにかかわらずファイルの取り扱いが可能で、ファイルの入力、レポート作成、保護、変換、出力ができます。
この広範囲に対応したCSVデータ作成機能により、レガシー・データ、LDIF、XMLなどのファイルをすばやくCSVに変換し、PC用のアプリケーションに移行することができます。実際、CoSortのSortCLツールは巨大なファイルのソートと再フォーマットの同時処理をサポートしており、データベース、表計算ソフト、BIダッシュボードなどのCSVを入力ファイルとするアプリケーションにインポート可能なサブセットをすばやく準備することができます。
逆もまた可能です。CSVから他のファイルフォーマットへの変換ができます。固定長、タブ区切り、LDIF、MF-ISAM、XMLなどへの変換ができます。このページにあるサポートしている他のファイルフォーマットの概要を参照してください。

LDIF

LDAP Data Interchange Format (LDIF)の高速な処理と変換

LDIFはLDAP (Lightweight Directory Access Protocol)のコンテンツと更新要求を表すデータ交換フォーマットです。LDAPディレクトリーは論理的で階層的な構造を併せ持つ類似した属性を持つ情報を保持しています。たとえば、名前でソートされた住所録のようなもので、E-mailと電話番号情報が付加されています。今日の高度なLDAP展開では、多重エントリー・ツリーを示すエントリーを基礎となし、階層構造にDomain Name System (DNS)名称を使うこともあります。

課題

しかしながら、LDIFレコードはカスタマーとトランザクションの情報を大量に保持しているかもしれませんが、それらはほとんどのアプリケーションが容易にインポート、処理できるようなフォーマットで保存されてはいません。

解決策

CoSortのSortCLツールは、LDAPデータを処理（すなわちソート、変換、レポート、保護）し、同時にLDIFのファイルを他のファイルフォーマットに変換、また他のフォーマットからLDIFファイルを作成することができます。たとえば、CSVをLDIFに、LDIFをCSVに変換し、LDIFとXML、LDIFと他のテキスト・ファイル、インデックス・ファイルのフォーマットの間で相互変換することが可能です。
また、ファイルフォーマットの変換をしないでLDIFファイルの処理をしたり、LDIFファイルの処理をしないでファイルフォーマットの変換だけを行ったりすることもできます。
SortCLジョブ・スクリプトでは、インプットとアウトプットのフィールド・レイアウトの定義において、他のファイルフォーマットと同様に、ファイルフォーマット（ファイル・タイプ）を指定します。たとえば、インプットではインプット・ファイルのすぐ下の宣言は/Process=LDIFで、アウトプットでは/Process=CSVといったような宣言をします。

テキスト

大きなテキスト・ファイルの高速な処理と変換

課題

構造化されたテキスト・ファイルには固定長、可変長、シーケンシャル（フラット）ファイルがあります。それらは１レコードの小さいものや、データベースからの抽出、ウェブログ、トランザクション・フィード、メインフレームのデータセット、他のアプリケーションの出力など、行数が数十億になるものもあります。
一般的に次のような処理が想定されます。

巨大なテキスト･ファイルのソート
テキスト･ファイルからのデータ抽出、レポート作成
CSV、LDIF、I/VSAM、XML、その他ファイルをテキストに変換
テキスト･ファイルを他のフォーマットに変換
テキスト・ファイルでフィールドを暗号化したり識別不能化したりする
表計算やデータベースにテキスト･データをロードする
レガシーやバイナリのデータをテキスト･ファイルに再整形する

これらの処理の1つ以上が同時に必要になる場合もあるし、大量の入力ソースや出力ターゲットが必要になる場合もあります。

解決策

CoSortのソート･コントロール言語（SortCL）ツールで、簡単にタイプ変換、データ変換、レポート作成をして、取り扱いやすいポータブルなテキスト・ファイルを生成することができます。また作成されたファイルはどれほど大きなファイルであっても構造的な形式で出力が可能です。 SortCLジョブ・スクリプトでは、入力・出力の両方でテキスト･ファイルはファイルタイプを指定する /PROCESSステートメントのデフォルト・タイプになります。
実際、以下のデータ処理を含むCoSort SortCLのどのプログラムの入力および出力部ででも、1つ以上のテキストおよび非テキストのフラット・ファイルを宣言することができます。

データ処理（レコード選択／フィルタリング、データ変換、ソート、タイプ変換）
データ出力（デルタ、CRM、サマリーのレポート作成）
データ保護（フィールドレベルの暗号化、マスキング、識別不能化）
プロトタイピング（安全なテストデータ、ファイルの生成）

これらすべての機能は、― 1つ以上を同時に ― 実行することが可能で、ファイルフォーマットとしてCSV、XML、LDIF、ISAM、Vision、ウェブログ、テキストおよび他の大規模な構造化ファイルでデータ構築を行う必要のある人向けです。

MF COBOL (MFVL and ISAM) ファイル

COBOL可変長ファイルと索引ファイルの処理と変換

課題

レコードレングスがshortとlongのMicro Focus COBOL可変長レコードと、10種類のIndex Sequential Access Method (ISAM)サブ・タイプは、他の多くのアプリケーションがインポートも処理もできないファイルフォーマットです。また、そのフォーマットのままデータを直接処理したり、あるいは別のインデックス・ファイルフォーマットに変換したり、CSV、XML、LDIFのような構造化（かつシーケンシャル化）されたファイルフォーマットに変換したり、することが必要となる場合があるでしょう。

解決策

CoSortのSortCLツールは、Micro Focus 可変長レコードと複数のISAMファイルの両フォーマットを、操作、変換、作成することができます。次のISAMファイルをサポートしています。

C-ISAM (デフォルト)
IDXFORMAT3、4、8フォーマット
Btrieveフォーマット（ANSIエミュレーションあり、なし両方）
メインフレーム・プリント・フォーマットのヒープ・ファイル
ESDSファイル

これらのフォーマットのファイルは、左記にリストされたファイルフォーマットと相互変換が可能で処理、再整形が可能です。たとえば、MF-ISAMファイルをCSVやXMLに変換することも、またその逆もできます。

シーケンシャル・ファイルフォーマット

シーケンシャル・ファイルの相互変換

課題

ライン・シーケンシャル、レコード・シーケンシャル、可変長シーケンシャル・ファイルは、それぞれ独自仕様のヘッダー、幅、終端といった属性を持つフラット・レコードを含んでいる場合があります。しかもその属性は、これらのファイルの間でも互換性がなく、また他の多くのファイルフォーマットやアプリケーションとも互換性がない場合があります。前もって処理するリフォーマット・ステップやI/Oパスなしに、これらのファイルフォーマットのレガシー・データを処理したり、インポートしたりする必要に迫られることもあるでしょう。

解決策

固定長および可変長レコード向けデフォルトのテキスト・ファイルの（「record」）フォーマットに加えて、CoSortのSortCLツールは、LINE_SEQUENTIAL、RECORD_SEQUENTIAL、 VARIABLE__SEQUENTIALのフォーマットでの操作、変換を入力／出力の両方向で行なうことができます。以下はCoSortがメインフレームのマイグレーション向けに提供しているサポート・ファイルフォーマットの例とそのデータ処理です。

データ処理（フィルタリング、データ変換、ソート、タイプ変換）
データ出力（デルタ、CRM、サマリーのレポート作成）
データ保護（フィールド暗号化、マスキング、識別不能化）
プロトタイピング（安全なテストデータ、ファイルの生成）

変換からソートまで、合計から再整形まで、これらすべての処理は同じジョブ・スクリプトとI/Oパス内で実行することができます。
覚えておいていただきたいのは、これら三種類のフォーマット間の処理、変換に加えて、CoSortのSortCLツールが次のファイルの間でも変換ができるということです。： ACUCOBOL Vision、CLFおよびELFのウェブログ、CSV、LDIF、MF COBOLの可変長とISAM、テキスト可変長ブロック、VSAM(Clerity製品による)、フラットXMLファイル。

可変長ブロック・レコード

IRIではELFのファイル変換ツールを提供しています。CoSortとNextFormには、ELF2DDF（拡張ログ・フォーマットをSortCLデータ定義ファイルへ変換）というメタデータ変換ツールが含まれています。

ELFファイルの変換だけのソリューション

新製品の低価格なデータ移行ツール、NextFormがあります。 NextFormでELFから他のフォーマット（例：CSV、XML、テキストなど）へのファイル変換が可能です。また、フィールド・タイプの変換やレコードレイアウトの変更などもサポートしています。特筆すべきは、NextFormのファイル定義がSortCLでもメタデータとして再利用できる点です。 NextFormを導入後、CoSortの高速ファイル処理、カスタムレポート作成、データ保護などを利用するために、CoSortへアップグレードした場合にそのまま利用可能です。

ELFファイル変換と処理

ELFファイルの操作、レポート作成、他のファイルとの統合、データ・ウェブハウスへのステージング、といった処理はすべてCoSortデータ処理パッケージで可能で、それぞれ個別の処理においては、パッケージに含まれるSortCL (Sort Control Language)のプログラムで処理します。
SortCLは、シンプルな4GL言語でログファイルのレイアウトと処理内容を定義したものを使って、次のELFデータの処理を連結して実行します。

データ処理（スクラブ、ソート、ジョイン、グループ化）
データ変換（データタイプ、レコードレイアウト、ファイルフォーマット）
データ保護（フィールド暗号化、識別不能化）
レポート作成（カスタムの詳細、デルタとサマリ）

さらに、検証、パターンマッチング、カスタムタスクなどの処理も、同じジョブ・スクリプト内の同じI/Oパスの中で実行します。 SortCLでさまざまなフォーマットの複数の入力ファイルのフィールドを、複数の詳細レコードとサマリレポートのレイアウトにマッピングして、フィルタリングしたサブセットをクリックストリームの分析ツールに手渡します。ウェブログの変換と処理を行うために、 CoSortとNextFormの両製品にはELF2DDFというメタデータ変換ツールが含まれています。これは、"Extended Log Format to Data Definition File"の意味です。このユーティリティは、W3C ELFのウェブログからヘッダー情報を解析して、 SortCLデータ定義ファイル(.ddf)を作成します。この定義ファイルは、NextFormのフォーマット変換や、SortCLのデータ処理、 RowGenのテストデータ生成のジョブ・スクリプトで、使用できます。