アーカイブ
カテゴリー
キーワード
ヘルプ
ようこそ ゲスト さん
ログイン
ユーザー登録
はてな匿名ダイアリー
< ■
|
クロムクロつまらんな >
2016-07-10
■
memo
書籍
より
Web
+
DB
vol.
92
データ
分析
の基本
アーキテクチャ
Data source
DB
,
ログ
,
サービス
など
Data Lake
Data source
から
集めた大量の
データ
を
長期間
保存するための
場所
流量
や
スキーマ
が変わっても性能を
スケール
できる
必要
がある.
スキーマ
レス
な
データ
を保存できる柔軟性が
必要
である
.
集計など
Data Mart
アプリケーション
から
使い
やす
いように
データ
を加工して保持しておくための
場所
Data lake でも加工するが,ここでは
用途
に特化した加工をする.
1次加工と2次加工の違いだと思えばよい.
2次加工として,瞬時に
アプリケーション
へ結果を返せる性能が
必要
である
.
User
Interface
データ
を
グラフ
化したり,
検索
や
レコメンデーション
の
クエリ
を受け付けたりする.
フレームワーク
の
比較
の
評価
軸
応答性
低遅延の
インタラクティブ
指向
バッチ
指向
アクセス
性
インデックス
指向
.事前
にわか
っている
パターン
に対して高速に応答するという
もの
.
並列
スキャン
指向
.
パターン
に関わらず性能を発揮するという
もの
.
10
年戦える
データ
分析
入門
SQL
中心
アーキテクチャ
の3
つの
層
ソース
データ
層
データ
を生の
状態
で格納する層.たとえば
テーブル
定義
があるなら,そのまま格納する.
DWH層
ソース
データ
を使い
やす
く加工した層.
分析
側で使い
やす
く加工するという
意味
.たとえば縦持ちと横持ちの変換など.
アプリケーション層
特定
の
分析
や
アプリケーション
に
特有
の
データ
を格納する層.
データ
マート.
SQL
中心
アーキテクチャ
の3
つの
条件
必要
な
データ
を1
つの
データベース
に集める
データ
の加工には
原則
として
SQL
だけを用いる
データベース
内を
論理的
に
ソース
データ
層,DWH層,
アプリケーション層
の3層に
区分
する
tips
DWH層を標準
ライブラリ
のように考えて構築するとよい.
「購入の
可能
性がある
ユーザ
一覧を表すビュー」をDWH層に持たせるなど.
Permalink
|
記事への反応(0)
| 16:22
ツイート
シェア
記事への反応
-
記事への反応(ブックマークコメント)
permalink
Twitter
でシェア
Facebook
でシェア
全てのコメントを見る
人気エントリ
はてブの性差別志向すげー!
26
妻の育ちが悪くて離婚になりそう
52
臭すぎて職場でも家でも虐められるようになったのでちょっとマジで頑張りたい
29
鳩を食うほうが楽だと気づいてからは..
6
年配の男性声優がモテるのってバグじゃない?
36
米国スタートアップのレイオフする側の話
21
😺←この絵文字、iPhoneだとかわいくないから注意して!
13
「内回り」「外回り」って意味あるの?
19
過去の人気エントリをもっと見る
注目エントリ
単純にゴボウ食うっておかしくねw
7
職場で容姿を注意されるのは女ばかり
13
まあ、女性は弱いしいつも怖い思いし..
4
長くファンをしてると色々見る
ブクマカはブコメとしての最適解をコ..
1
異星との会話つまらんよ
12
横浜市教委の裁判傍聴動員の件
6
出生主義者は「産まないより産んで虐待する方が良い」と何故言えないのか?
3
はてなブックマークでもっと見る
アーカイブ
カテゴリー
キーワード
ヘルプ
ログイン
ユーザー登録
ようこそ ゲスト さん