データ基盤
このノートの問いがそのまま復習カードになり、忘れかけたころに出題されます。
シラバス案 Ver.0.1 の小分類 1「データ基盤」(大分類 2:データ・AIの利活用/中分類 9:データ分析・データ利活用)。
2026-09-26 にシラバス本文と突合済み。
0. 何を押さえるか
データの置き場所 3 つの違いがこの論点のすべてです。
| 何を入れるか | 形 | 誰のためか | |
|---|---|---|---|
| データレイク | あらゆるデータを生のまま | 加工しない(画像・文書も可) | 分析者・データサイエンティスト |
| データウェアハウス(DWH) | 複数システムのデータを統合・整理して | 分析しやすい表の形 | 全社 |
| データマート | DWH から特定の部門・目的の分だけ切り出す | 小さく使いやすい | その部門 |
流れは 業務システム → データレイク → DWH → データマート → 分析・可視化 です。
もう 1 つの分かれ目は ETL と ELT で、変換(T)が格納(L)の前か後かだけが違います。
1. データ基盤の特徴
根拠: シラバス 2-9-1
データ基盤は、社内のあちこちにあるデータを集めて、整えて、使える場所です。
部署ごとに表計算ファイルで数字を持っていると、会議で数字が合わないことが起きます。
これを防ぐのがデータ基盤です。
データ基盤の役割を 4 つ挙げよ。
| 役割 | 何をするか |
|---|---|
| データ蓄積 | 各システムのデータを 1 か所に集めて貯める |
| データ加工 | 形式をそろえ、誤りを直し、結合・集計する |
| データ分析 | 集計・統計・機械学習で傾向を見つける |
| データ活用 | 分析結果を業務や意思決定に使う(ダッシュボード・AI など) |
貯める → 整える → 調べる → 使うの順。
シラバスはこれを「データ基盤の役割(データ蓄積,データ加工,データ分析,データ活用)」と並べている。
データレイク・データウェアハウス(DWH)・データマートの違いは?
| 中身 | 使う人 | |
|---|---|---|
| データレイク | あらゆるデータを生のまま | 何に使うか決まっていない探索的な分析 |
| DWH | 全社のデータを統合・整理済み | 全社の定型的な分析 |
| データマート | DWH から部門・目的別に切り出した一部 | 特定の部門 |
生 → 整理済み → 切り出し、と後ろほど小さく使いやすい。
データレイクの役割は? 注意点は?
形式を問わず、あらゆるデータを加工せずそのまま貯めておく場所
構造化データ(表)だけでなく、文書・画像・音声・ログなど非構造化データも入れられる。
あとで何に使うか決まっていなくても貯めておけるのが利点。
ただし、何が入っているかの記録(メタデータ)が無いと、
誰も中身が分からない「データの沼」になる。
データウェアハウス(DWH)の役割は? 業務システムのデータベースとどう違うか?
複数の業務システムからデータを集めて統合し、分析用に時系列で蓄積した倉庫
| 業務システムのデータベース | DWH | |
|---|---|---|
| 目的 | 日々の業務を処理する(注文の登録など) | 分析する |
| データ | 最新の状態を上書きしていく | 過去の履歴も消さずに残す |
| 範囲 | そのシステムの分だけ | 複数システムを統合 |
業務用のデータベースで重い分析をすると、業務処理が遅くなるので分けて持つ。
データマートの役割は?
DWH から、特定の部門や目的に必要な分だけを切り出した小さなデータベース
例: 営業部向けの売上データマート、人事部向けの勤怠データマート。
必要な分だけなので速く・分かりやすく使える。
元は同じ DWH なので、部門ごとに数字がずれにくい。
ETL と ELT の違いは?
| 順番 | 特徴 | |
|---|---|---|
| ETL | 抽出(Extract)→ 変換(Transform)→ 格納(Load) | 整えてから入れる。格納先には整ったデータだけが入る |
| ELT | 抽出 → 格納 → 変換 | 生のまま入れてから、格納先の中で変換する |
変換(T)が格納(L)の前か後かだけの違い。
シラバスの表記は「ELT/ETL」。
ELT が使われるようになった理由は?
クラウドの DWH やデータレイクの処理能力が高くなり、格納してから変換しても間に合うようになったため
生のデータを先に入れておけば、
- あとから別の目的で変換し直せる
- 変換の設計を待たずにすぐ貯め始められる
ETL は、変換を決めた時点で捨てた情報をあとから取り戻せない。
データ基盤のデータの流れを順に並べよ。
業務システム・センサ・外部データ → データレイク → DWH → データマート → 分析・可視化・AI
| 段 | データ基盤の役割 |
|---|---|
| データレイク・DWH | データ蓄積 |
| 移す途中(ETL/ELT) | データ加工 |
| データマート・分析ツール | データ分析 |
| ダッシュボード・業務システム | データ活用 |
すべての段を必ず持つとは限らないが、生のものほど手前、使いやすいものほど奥。
データ基盤が無いと、どんな問題が起きるか?
部署ごとに別々にデータを持つ「サイロ化」が起き、同じはずの数字が合わなくなる
- 営業部と経理部で「今月の売上」が違う
- 必要なデータがどこにあるか分からない
- 毎回手作業で集めて加工するので時間がかかる
データ基盤は、全社で同じデータを見るための仕組み。