■memo

書籍より

Web + DB vol.92

データ分析の基本アーキテクチャ

• Data source
  • DB, ログ，サービスなど
• Data Lake
  • Data source から集めた大量のデータを長期間保存するための場所
    • 流量やスキーマが変わっても性能をスケールできる必要がある．
    • スキーマレスなデータを保存できる柔軟性が必要である．
  • 集計など
• Data Mart
  • アプリケーションから使いやすいようにデータを加工して保持しておくための場所
    • Data lake でも加工するが，ここでは用途に特化した加工をする．
      • 1次加工と2次加工の違いだと思えばよい．
      • 2次加工として，瞬時にアプリケーションへ結果を返せる性能が必要である．
• User Interface
  • データをグラフ化したり，検索やレコメンデーションのクエリを受け付けたりする．

フレームワークの比較の評価軸

• 応答性
  • 低遅延のインタラクティブ指向
  • バッチ指向
• アクセス性
  • インデックス指向．事前にわかっているパターンに対して高速に応答するというもの．
  • 並列スキャン指向．パターンに関わらず性能を発揮するというもの．

10年戦えるデータ分析入門

SQL中心アーキテクチャの3つの層

• ソースデータ層
  • データを生の状態で格納する層．たとえばテーブル定義があるなら，そのまま格納する．
• DWH層
  • ソースデータを使いやすく加工した層．分析側で使いやすく加工するという意味．たとえば縦持ちと横持ちの変換など．
• アプリケーション層
  • 特定の分析やアプリケーションに特有のデータを格納する層．データマート．

SQL中心アーキテクチャの3つの条件

• 必要なデータを1つのデータベースに集める
• データの加工には原則としてSQLだけを用いる
• データベース内を論理的にソースデータ層，DWH層，アプリケーション層の3層に区分する

tips

• DWH層を標準ライブラリのように考えて構築するとよい．
  • 「購入の可能性があるユーザ一覧を表すビュー」をDWH層に持たせるなど．

Permalink | 記事への反応(0) | 16:22

ツイートシェア