Skip to content

MS_AzureDataFactory

Jump to bottom
nishi_74322014 edited this page Aug 19, 2026 · 1 revision

Azure Data Factory

概要

NiFi と同じ様な ETL、ELTツールの SaaS らしい。

補足（ETL と ELT の違い）: 原文が両方を挙げているのは、
Data Factory がどちらの形でも使えるためである。

【ETL】 抽出 → 変換 → ロード
        変換を専用エンジンで行ってから DWH に入れる（従来型）

【ELT】 抽出 → ロード → 変換
        まず生のまま入れ、DWH / Spark の計算力で変換する（クラウド型）

クラウドでは格納が安く、計算がスケールするため、
ELT が主流になっている。
Data Factory は「変換」を自前で行うより、
Databricks や Synapse に
委ねる（オーケストレーションに徹する）使い方が多い。

詳細

補足（原文が空欄のため、要点を補う）

構成要素

要素 役割
パイプライン アクティビティの集合。実行の単位
アクティビティ 1 つの処理（コピー、Databricks ノートブック実行、ストアド プロシージャ実行 …）
データセット 入出力データの構造・場所の定義
リンク サービス 接続情報（接続文字列に相当）
統合ランタイム (IR) 実際に処理を実行する場所
トリガー 起動条件（スケジュール、タンブリング ウィンドウ、イベント）

統合ランタイム（IR）が要点

「どこで動くか」を決めるのが IR で、これが構成の分かれ目になる。

IR の種類 用途
Azure IR クラウド上のデータストア間。マネージド
セルフホステッド IR オンプレミスや閉域内のデータにアクセスする。自前のマシンにインストール
Azure-SSIS IR 既存の SSIS パッケージをそのまま実行する

Azure-SSIS IR の存在が実務では大きい。
オンプレミスの SSIS 資産を書き直さずにクラウドへ持ち込めるため、
移行の第一歩として選ばれることが多い。

90 種以上のコネクタ

Azure SQL Database、ストレージ、
オンプレミスの SQL Server / Oracle、SaaS（Salesforce、SAP）など、
多数のデータソースに対応する。
「コピー アクティビティ」だけでも大半のデータ移動が組める。

注意点

  • 課金はアクティビティの実行回数と IR の稼働時間で決まる。
    細かいパイプラインを大量に回すと想定外に高くなる。
  • データ フロー（GUI で変換を書く機能）は
    内部で Spark クラスタを起動するため、
    起動時間（数分）と課金が発生する。単純なコピーには使わない。
  • Microsoft Fabric の Data Factory が後継として登場しており、
    新規では Fabric 側が案内されることがある。

参考

microsoft.com

Microsoft Azure

Microsoft Learn

Tags: 移行, インフラストラクチャ, クラウド, ビッグデータ, Azure

このWikiは「Open棟梁Project」,「OSSコンソーシアム 開発基盤部会」によって運営されています。

NetDevInfraWiki

マイクロソフト系技術情報 Wiki
Open 棟梁 Wiki

（未着手）

開発基盤部会 Wiki

移行管理: DONE ／ TODO

Clone this wiki locally