目次

ウェブ・アクセスログ分析ソリューション

大量のウェブ・アクセスログのデータウェアハウス（データウェブハウス）構築と分析レポートの作成

ウェブサイトのクリックストリーム（クリックの履歴）のログデータは保存・管理され、 分析やレポート作成に使われます。 これらのログはユーザがウェブサイトを訪問したときのマウスクリックで生成されるレコードの集まりです。 この情報は、ウェブサイトのナビゲーションの改善やリンク設定、バナー広告、ページコンテンツ、 Eコマースのキャンペーンなどの効果向上のために分析されます。
クリックストリームのデータはかなりボリュームが大きいので、 CoSortのようなデータ削減ができるツールはデータ処理の必須ツールです。 データウェブハウスを構築して、分析レポートを作成するプロジェクトにおいて、 指定された期限までにその目的を達成するために、 CoSortのソートコントロール言語(SortCL) プログラムを活用することができます。 このページに事例紹介があります。

IPアドレス

CoSortはIP_ADDRESSというデータタイプによりIPv4アドレスを照合、変換、グループ化することができます。 ソート時には、各サブフィールドは左端のサブフィールドから数値で比較されます。 それに続くサブフィールドは、そこまでのサブフィールドが同じ場合に比較されます。

例として、次の入力ファイルns.txtは会社名とそれに対応したIPアドレスを含んでいます：

IPアドレスでソートするには次のジョブスクリプトを実行します：

出力ファイルns.outは次のようになります：

データウェブハウスの構築

SortCLの強力なレコード選択・除外機能が、ウェブログの中から必要なデータを抽出したり、 変換の前処理として大量データを削減したりするために使われます。 IPアドレスのような似通ったデータはマージして一つの分析ファイルにまとめることができます。 行をソートすることによって、集計の速度と、同時に2つのファイルの一致したレコードを連結する速度とが向上し、 データベースにシーケンシャルにロードされるのでロードの速度も向上します。

レポーティング

データウェブハウスの構築の際においてと同じく、 レポーティング（ウェブブラウザへの出力を含む）においても、 CoSortは、クリックストリームデータを分析・操作・レポート出力する処理を支援します。 CoSortがメタデータを提供していることと、 標準的なクリックストリームの保存フォーマットとIPアドレスデータの処理に対応していることによって、 それは可能となっています。

NCSA共通ログフォーマット (CLF)

CoSortは、NCSAの三つのログフォーマット、すなわちCommon（共通）、Referral（参照）、 Agentのそれぞれに対応したSortCLメタデータのテンプレートを用意しています。 これらを使えば最小限のスクリプトの追加編集でログファイルを処理できます。 SortCLとCLFの追加情報については、このページにあります。

W3C拡張ログフォーマット (ELF)

CoSortのelf2sclプログラムにより、ELFデータ記述（ヘッダ）をSortCLデータ定義ファイル (.ddf) のフィールドレイアウトに変換できます。 この定義ファイル（メタデータ）を使えば最小限のスクリプトの追加編集で、 ログファイルを処理できるようになります。 変換された定義ファイルに基いてジョブスクリプトを作成したら、 そのスクリプトの中で/PROCESS=ELFと宣言していることにより、 実際のログデータだけを（つまりヘッダ情報はスキップして）SortCLに処理させることが可能です。 SortCLとELFの追加情報については、このページにあります。

目次へHTMLファイルで出力

大量のウェブ・アクセスログのデータウェアハウス（データウェブハウス）構築と分析レポートの作成

クリックストリームデータに対してだけではなく、 レポート作成全般においてプレゼンテーション能力をさらに強化するために、 CoSortのソートコントロール言語(SortCL)は、 ウェブブラウザでオープンして表示できるHTML形式でレポートを出力できます。 出力ファイルの書式を指定するステートメント内に、HTML書式を記述できます。 もちろん、HTMLファイルを出力するSortCLジョブにも、 レポートを出力や書式設定を行う一般的なSortCL記述を組み込むことが可能です。
出力ファイルを構成するテキスト本文や内部変数（ページ番号やタイムスタンプ等）の さまざまな組み合わせでレポートをカスタマイズするのに、 /DATA, /HEADREC, /FOOTREC ステートメントなどのSortCLレイアウトステートメントを使うことができます。 カスタマイズして美しいレポートにするために、 レポートの書式設定は出力レコードそれ自体のどこにでも適用できます。 ヘッダやフッタまたはその両方の中にも記述できます。

例として次の入力ファイルsales.datが与えられたとします。

次のSortCLジョブスクリプトは、ウェブブラウザ上で表示可能なHTMLレポートファイルを出力します。

これは、ウェブブラウザでオープンされたときに次のような表示となるreport.htmlを生成します。 Continent(大陸)の順でソートされ、Country(国)は逆順でソートされています。

Summary of Sales by Continent

Sales under $100,000 are shown in red.

By foo as of May/29/2005 11:42:13 AM.

上記のスクリプトでは、/DATAステートメント内の(IF THEN ELSE)条件式は、文字色の変更で使われています。 表データ以外の表示を生成するために、HTMLの構文は、 書式ステートメントの中では引用符に囲まれて記述されています。 これら以外のすべてのSortCL記述は、CoSort SortCLのスクリプトでは一般的なものです。 それらはテキストベースのレポートを表示またはファイル出力するときに使われるものです。 最後に、フッタ中のユーザ名やアメリカ式タイムスタンプのような内部変数の使用方法にもご注目ください。

拡張ウェブログフォーマット（ELF）用メタデータ変換ユーティリティ

ウェブログは、インターネットのあるページから他のページへ、 リンクをたどっているユーザのマウスクリックの履歴であり、 ウェブ閲覧行動のデータとして役立ちます。 このデータは、"クリックストリーム分析"あるいは"データウェブハウジング"のビジネスにおいて重要です。 これらのデータ操作処理においてCoSortが活用される理由は数多くありますが、そのうちの一つは、 一般的なウェブログフォーマットのための標準的なメタデータをサポートしている点です。 そのログフォーマットとは、W3C拡張ログフォーマット(ELF) とNCSA共通ログフォーマット(CLF)です。 CoSortのelf2ddf（拡張ログフォーマットをSortCLデータ定義ファイルへ変換する）ユーティリティは、 W3C ELFウェブログのヘッダ情報を解析して、 SortCLデータ定義ファイル(.ddf)を生成するメタデータ変換プログラムです。 .ddf中の、変換されたファイル名とフィールドレイアウトは、 SortCLスクリプトによって参照されるか、 あるいはSortCLスクリプトの中に直接ペーストされることが可能です。 このメタデータ変換のステップが、CoSortの高速な処理を可能にし、 データウェブハウスとレポート作成でのウェブログメタデータのレポート作成を容易にしています。
変換された.ddfは、/PROCESS=ELFステートメントを含むことに注意してください。 変換されたフィールドレイアウトに基づいてジョブスクリプトを作成すると、 .elf入力ファイルを処理するときにSortCLがヘッダ情報をスキップするようになります。 たとえばELFファイルの次のようなヘッダを検証してみましょう：

コマンドライン上でelf2ddfを実行するとヘッダを解析して、 次のSortCLデータ定義ファイル(elf1.ddf)を生成します。

この.ddfを編集してSortCLジョブスクリプト(.sclファイル)を作成して、.sclとして保存できます。 あるいは独自の.sclファイル内から、 /SPECIFICATION=elf1.ddfコマンド経由でこれらのレイアウトを呼び出すこともできます。

CoSortでNCSA 共通（コモン）ログフォーマットを定義して操作

NCSA共通（コモン）ログフォーマットは、ウェブ閲覧活動データを保存するのに広く使われています。 データは、次の３つの独立したファイル（またはログ）に保存されます：

• common（共通）ログまたはaccess（アクセス）ログ ? 基本情報
• referral（参照）ログ － 参照情報（リンク元）のみ
• agent（エージェント）ログ － エージェント情報のみ

CoSortパッケージには、 ソートコントロール言語(SortCL)用の３つのデータ定義ファイル(.ddf)のテンプレート（無料）が含まれています。 これらは上記３つのフォーマットに対応していて、 それぞれのファイルに含まれているフィールドレイアウトは次の通りです：

• CLF_Access.ddf―共通ログファイルまたはアクセスログファイルのSortCLフィールドレイアウト
• CLF_Referral.ddf―SortCLフィールドレイアウトは、参照ログファイルのためのメタデータを提供
• CLF_Agent.ddf―エージェントログファイルのためのSortCLフィールドメタデータ

これらの.ddfファイルは集中処理的に参照されます。 データ操作やレポート作成の際に、 それらのフィールドレイアウト定義をSortCLジョブスクリプトファイル内に直接コピーすることもできます。
CoSortが、ウェブログ・メタデータをどのようにサポートしているかの詳細については、 ソリューション：ファイル変換>CLF および ソリューション：ファイル変換>ELFを参照してください。

クリアで簡潔な集中処理ができるメタデータのリポジトリ

CoSortのソートコントロール言語(SortCL)プログラムは、データ共有のために、 フィールドレイアウトやレコードフィルタリングのロジックなどの関連するスクリプト部分を、 外部的に定義して保存し、外部参照できるようにしています。 多くのジョブやユーザで別々のジョブにおいて、 そのような外部定義ファイルを利用しようとする開発環境では、 このメタデータ・リポジトリの再利用はもっとも効率的な開発手法です。 SortCLジョブスクリプト(.sclファイル)内で参照されると、 このリポジトリのタイプはデータ定義ファイル（通常は.ddf拡張子のファイル）として参照されます。
SortCL.ddfには、 /FIELDレイアウトに関連して１つまたはそれ以上の/FILE[*1]ステートメントが含まれています。 /FIELDレイアウトは、.sclファイル内でそのフィールド・レイアウトが入力か出力のどちらかとして解釈されます。 これらのファイルは、またファイルに規定され、ジョブとは独立性を持つ付随的な属性も含んでいます。 この属性とはフィールドレベルまたはレコードレベルの条件、派生したフィールドステートメント、 レポート書式設定などです。
.sclファイル内の/SPEC=filename.ddfステートメントは、スクリプトの中のそのポイントで、 ジョブの中に.ddfの内容の全体（または一部）を取り込むために使われます。 たとえば、chiefs.ddfという.ddfファイルが次のような内容だとします：

この場合、ジョブスクリプトファイルは次のように書くことができます。

これは、キーが二つあるソートで、chiefs（首長）ファイルが入力ソースとして使われます。 ソート後の出力としてparty（政党）のファイルを出力します。ただしNY選出の大統領だけが出力に含まれます。
CoSortのツールのいくつかは、 サードパーティのメタデータをSortCLデータ定義ファイルに自動的に変換できます。

• COBOL Copybook ― Micro Focusのdata dictionaryを変換するツール
• Microsoft CSV ― Comma-separated valuesを変換するツール
• NCSA CLF ― 共通ログフォーマットを変換するテンプレート
• W3C ELF ― 拡張ログフォーマットを変換する（ヘッダを解析する）ツール
• Oracle SQL*Loader ― SQL*Loader .ctlファイルレイアウトを変換するツール

*1 入力と出力の宣言で、特定のディスクファイル、名前付きまたは名前なしのパイプ、 あるいはカスタムの入力プロシージャを指定できます。

• 製品情報
  • CoSort9 概要
  • 既存ソート機能・ソートコマンドの置き換え
  • SortCLによる大容量データの高速処理
  • シンプルで再利用や相互運用が可能なデータ定義および操作ファイル
  • 同梱の無償ファイル定義コンバータの利用
  • 同梱の無償Java GUIで設計および展開可能なSortCLジョブ
  • ビジネスの推進に役立つCoSortのダッシュボードオプション
  • COBOLファイルおよびデータの照合、作成および変換
  • スレッドセーフなライブラリによって増強されるアプリケーション
• ソリューション
  • ソリューション概要
  • 企業データのガバナンス
  • データ保護
  • テストデータ作成
  • データ加工
  • ファイル変換
  • BIツールの性能強化
  • DBおよびETLツールの高速化
  • レガシーソート・マイグレーション
• 事例紹介
  • データ保護サンプル
  • Webログ分析サンプル
  • 大規模データの統合・正規化の事例
  • 各種事例紹介
• お見積もり・試用版
  • お問い合わせ
  • コンサルティングサービス
  • CoSort試用版