MS_AzureBigDataProcessing

Azureのビッグデータ処理テクノロジ

• 戻る（Azure）
  • Azure HDInsight
  • Azure Databricks
  • Azure Data Factory
  • Elastic on Azure

概要

Azure のビッグデータ処理テクノロジ

補足（4 つの関係）: 原文は 4 つを並列に挙げているが、
役割が重なっていない。データ処理の流れに沿って並べると分かりやすい。

  【収集・移動】          【蓄積】           【処理・分析】
 Data Factory ──▶ Data Lake / BLOB ──▶ Databricks
 （ETL/ELT の       （安価な置き場）      HDInsight
   オーケストレーション）                  Synapse
                                   Elastic on Azure（検索・可視化）

つまり Data Factory は「運ぶ人」、
Databricks / HDInsight は「計算する人」、
**Elastic は「探す人」**である。
競合ではなく組み合わせて使う。

詳細

Azure HDInsight

補足: Hadoop エコシステム（Spark、Hive、HBase、Kafka）を
マネージドで動かすサービス。
「既存の OSS 構成をそのまま持ち込みたい」場合に向く。
クラスタを常時起動する構成のため、
使わない時間帯も課金される点に注意。

Azure Databricks

補足: Apache Spark をベースとした統合分析基盤。
ノートブック中心の開発体験と、
Delta Lake（ACID トランザクションを持つデータ レイク）が特徴。
「データ レイクとデータ ウェアハウスを統合する」という
レイクハウスの概念は、ここから提唱された。

Azure Data Factory

補足: GUI でパイプラインを組む ETL/ELT サービス。
90 種以上のコネクタを持ち、
オンプレミスからの取り込み（Self-hosted Integration Runtime）も可能。
処理そのものより、処理の順序と依存関係を管理するのが役割。

Elastic on Azure

補足: Elasticsearch / Kibana を Azure 上で使うもの。
全文検索とログ分析が得意で、
用途としては Log Analytics と重なる部分がある。

参考

補足（原文が空欄のため、補う）

現在の位置づけ

本ページ執筆後、Microsoft Fabric（2023 年〜）が登場し、
Data Factory / Synapse / Power BI / Real-Time Intelligence を
1 つの SaaS として統合する方向に整理が進んでいる。

従来	Fabric での対応
Azure Data Factory	Data Factory（Fabric 内）
Azure Synapse（SQL / Spark）	Data Warehouse / Data Engineering
Azure Data Explorer	Real-Time Intelligence
Power BI	Power BI（そのまま中核）
ストレージ	OneLake（統一されたデータ レイク）

ただし、Databricks や HDInsight は Fabric に含まれない
独立したサービスとして継続している。

Microsoft Learn

• ビッグ データ アーキテクチャ
  https://learn.microsoft.com/ja-jp/azure/architecture/databases/guide/big-data-architectures
• 分析データ ストアの選択
  https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology-choices/analytical-data-stores

---

Tags: 移行, インフラストラクチャ, クラウド, ビッグデータ, Azure