データ基盤の 5 役割 / 役割ごとの候補と選び分け

データ基盤づくりは 5 つの役割に 2〜5 択、選定はどのクラウドに揃えるかでほぼ決まる

結論: データ基盤は 抽出・転送 / データストア / 変換 / オーケストレーション / 可視化 の 5 役割を一列につないだもの。役割ごとの候補は 2〜5 個 しかない。5 役割の道具は、中心に据えるクラウド を決めた時点でほとんど決まる。
5 つの役割の列に、GCP で揃える / AWS で揃える / 横断で選ぶ の 3 通りの道具を並べた概要図
図 1 — 5 つの役割に道具を 1 つずつ当てる。3 通りの揃え方で埋めた例。
  1. 5 つの役割はデータの流れの順に並ぶ。出どころから運び込み、溜めて磨き、束ねて動かし、最後にダッシュボードとして届ける。
  2. GCP で揃えるなら Datastream → BigQuery → dbt → Cloud Workflows → データポータル が定番の並びになる。
  3. 迷いが大きいのは入口と DWH の 2 つで、変換は dbt が既定、オーケストレータは中心のクラウドで決まる。

5 つの役割を一列につなぐ

データ基盤の工程は 5 つに割れる。出どころからデータを運ぶ抽出・転送、溜めて SQL で読むデータストア、Bronze から Gold へ磨く変換の 3 つが前半にあたる。

後半は、転送と変換と通知を束ねて定期実行するオーケストレーションと、Gold 層を各部署に届ける可視化になる。役割の境目は道具の境目でもあり、1 つの道具が 2 役を兼ねることは少ない。

候補は役割ごとに 2 個から 5 個しかない。この 5 役割ぶんの名前を覚えれば、実務で出てくる構成のほとんどは読める。

データ基盤:5役割一列、候補は2〜5個 データ源 RDS アプリログ SaaS 運び込む ① 抽出・転送 出どころ→ DWH運搬 候補5個 Embulk/Fluentd Fivetran/DMS Datastream 溜めて磨く ② データストア (DWH) 蓄積とSQL参照 候補4個 BigQuery Snowflake Redshift Athena+S3 ③ 変換 Bronze→Silver →Gold精製 候補2個 dbt Dataform 動かして見せる ④ オーケスト レーション 全工程の 定期実行 候補3個 Cloud Workflows Step Functions Airflow ⑤ 可視化 (BI) ダッシュボード配信 候補4個 データポータル Amazon Quick Tableau Metabase 見る人 社内の 各部署
図 2 — 5 つの役割と、それぞれの候補の数。左から右へデータが流れる。

並びは 3 通りしかない

実務で見る並びは、おおむね 3 通りに収束する。GCP で縦に揃える、AWS で縦に揃える、役割ごとに最良を選んで横断で組む、の 3 つになる。

縦に揃えると、権限も課金も 1 つのクラウドに収まる。データが別のクラウドへ出ていかないので、経路を用意する手間も消える。

横断で組むと、役割ごとに最良を選べる。代わりに契約先と請求が増え、障害が起きたときの問い合わせ先も分かれる。

役割 (共通) 出どころ 抽出・転送 データストア 変換 オーケストレーション 可視化 構成A GCPで揃える 構成B AWSで揃える 構成C 横断で選ぶ Cloud SQL RDS RDS Datastream DMS Fivetran BigQuery Redshift Snowflake 3本ともdbt系 dbt dbt dbt Cloud Cloud Workflows Step Functions Airflow データポータル Amazon Quick Tableau 権限も課金も1つの クラウドに収まる 既存のAWS資産に そのまま乗る 役割ごとに最良を選べる 代わりに契約先が増える
図 3 — 3 通りの並び。変換の段だけは 3 本とも dbt 系になる。

入口は運ぶものと行き先で決まる

抽出・転送だけは、クラウドを決めても道具が 1 つに定まらない。運ぶものの性質が先に効くからで、表データの一括転送とログの連続転送では必要な仕組みが違う。

表データを日次でまとめて運ぶなら Embulk、発生し続けるログをそのまま流すなら Fluentd。どちらも無料の OSS で、動かすサーバーは自分で用意する。数百種の SaaS からまとめて取り込むなら Fivetran が早い。

変更差分だけを継続的に流す場合は、行き先の DWH が道具を決める。BigQuery なら Datastream、Redshift や S3 なら DMS、Snowflake なら Fivetran になる。Snowflake は AWS のサービスではないため、DMS の転送先に入っていない。

非対称: ここだけ2段目の問い 運ぶものと行き先DWHの2問で決まる 運ぶもの 道具 表データを一括で 日次のマスターデータ同期 Embulk 無料のOSS・バッチ前提 発生し続けるログ 発生と同時に転送 Fluentd 無料・プラグイン1,000以上 数百種のSaaS スキーマ変更に自動追従 Fivetran コネクタ500以上 規模次第で月数百万円 DBの変更差分だけ 変更差分のみ転送 行き先のDWHは? ここだけ2段階 BigQuery Datastream 自動スキーマ追従 遅延数秒〜数十秒 Redshift・S3 DMS 自動同期も可 新規なら設定不要の同期も可 Snowflake Fivetran Snowflake向け SnowflakeはDMSの転送先に無い
図 4 — 運ぶものと行き先で分かれる入口の選び方。

DWH の 4 択は綱引きになる

DWH の 4 択は、機能差を比べても決まらない。4 つとも SQL で読める分析基盤として成立していて、差が出るのは運用工数・マルチクラウド・コストの読みやすさの 3 点になる。

BigQuery と Athena + S3 はスキャン量に応じた課金で、データが少ないうちは安い。ただし設計を誤ると請求が跳ねるので、コストの読みやすさでは Redshift に劣る。

AWS 中心の会社が Snowflake と Redshift で迷ったときは、外部組織への共有とマルチクラウドの有無で切れる。実務者 20 人前後への聞き取りでは、最近は Snowflake を選ぶ例のほうが多い。

運用工数の小ささ マルチクラウド対応 外部組織へのデータ共有 コストの読みやすさ 大規模・複雑クエリの性能 注意点 BigQuery ◎ △ ○ △ ◎ スキャン量課金なので設計を誤ると急に高くなる Snowflake ◎ ◎ ◎ △ ◎ 計算資源の起動時間で課金され、放置すると膨らむ Redshift △ ✕ △ ◎ ○ 従来型はクラスタ管理が要り運用が重い Athena + S3 ◎ ✕ △ ◎ △ 同時実行と複雑な集計で性能が見劣りする ◎ 得意 ／ ○ 可 ／ △ 注意 ／ ✕ 不可 AWS中心の会社では、実務者20人前後への聞き取りで最近はSnowflakeを選ぶ例が多い
図 5 — 4 つの DWH を 5 つの判断軸で比べたもの。

出口の 3 役割には既定がある

残る 3 役割は、迷う幅が小さい。変換はほぼ dbt に決まり、SQL が書ければ扱えて、モデル間の依存も自動で解ける。

対抗は Dataform で、BigQuery の中だけで同じ変換をやる Google Cloud 純正の道具になる。追加のホスティングが要らず無料で使える。ただし変換層の外まで束ねる力はなく、転送や通知まで含めた全体には Cloud Workflows のような外側の仕組みが要る。

オーケストレータは中心のクラウドで決まり、GCP なら Cloud Workflows、AWS なら Step Functions になる。可視化は予算で決まる。無料なのは、Google のダッシュボードである データポータル と OSS の Metabase になる。AWS 側の Amazon Quick は閲覧セッション単位の課金で、表現の自由度なら Tableau になる。

変換 既定 dbt SQLが書ければ扱え、依存を自動解決 他の候補 Dataform BigQuery専用、無料、他DWHへ移行不可 決め方: 迷ったら dbt。BigQuery だけで完結し無料にしたいときだけ Dataform オーケストレーション 既定 中心のクラウドに従う GCP→Cloud Workflows / AWS→Step Functions 他の候補 Airflow マネージド版もある 決め方: 複雑な依存や大規模なら Airflow、ただし学習コストと費用が重い 可視化 (BI) 既定 予算で決まる 無料: データポータル / Metabase 他の候補 Amazon Quick: 閲覧セッション課金 Tableau: 自由度最高、ライセンス高額 決め方: BigQuery ならデータポータル、AWS なら Amazon Quick、表現重視なら Tableau
図 6 — 変換・オーケストレーション・可視化の既定と代替。
決め方: 先に 中心に据えるクラウド を決める。残るのは入口 (運ぶものが表かログか) と DWH (運用工数かコスト固定か) の 2 問だけになる。
性質別の一覧 — 5 役割 × 3 分類 (フルマネージド SaaS / クラウドネイティブ / OSS 自前運用) の対応表2 段落 + 表 5 行

同じ役割の候補でも、運用の持ち方は 3 つに分かれる。契約して使うフルマネージド SaaS、クラウドに組み込まれたサービス、自分でサーバーを持つ OSS の 3 分類で、この列の選び方が運用工数をそのまま決める。

調べるときに名前で混乱しやすい製品が 2 つある。データポータルは一度 Looker Studio という名前になり、2026 年 4 月に元の名前へ戻った。Amazon Quick は 2025 年 10 月 9 日までは QuickSight という名前で、いまはダッシュボード機能がその中の 1 部品になっている。

役割フルマネージド SaaSクラウドネイティブOSS (自前運用)
抽出・転送FivetranDMS / DatastreamEmbulk / Fluentd
データストア (DWH)SnowflakeBigQuery / Redshift / Athena + S3—
変換dbt CloudDataformdbt Core
オーケストレーション—Cloud Workflows / Step FunctionsApache Airflow
可視化 (BI)Tableauデータポータル / Amazon QuickMetabase