MS_AzureStreamProcessing

Azureのストリーム処理テクノロジ

• 戻る（Azure）

概要

Azure のストリーム処理テクノロジ

補足（ストリーム処理とは）: バッチ処理が
「溜めてから、まとめて処理する」のに対し、
ストリーム処理は「流れてくるものを、その場で処理する」。

【バッチ】  データ ─▶ [ 蓄積 ] ─(夜間)─▶ 処理 ─▶ 結果
【ストリーム】データ ─────────────▶ 処理 ─▶ 結果（数秒〜）

Azure Event Hubs や
Azure IoT Hub が入口（取り込み）を担い、
本ページの各サービスがその処理を担う、という関係になる。

詳細

Azure Stream Analytics

Azure HDInsightの Hadoop、Spark、Storm

Azure Databricksの Apache Spark

Azure Data Factory

補足（選択の目安）: 4 つが並列に挙げられているが、
性格はかなり異なる。

サービス	記述方法	向く場面
Stream Analytics	SQL ライクなクエリ	定型的な集計・フィルタ・異常検知。最も手軽
Databricks（Spark Structured Streaming）	Python / Scala / SQL	複雑な変換、機械学習との連携
HDInsight（Spark / Storm）	各 OSS のやり方	既存の OSS 資産をそのまま移す
Data Factory	GUI のパイプライン	本来はバッチ ETL/ELT。ストリームは苦手

まず Stream Analytics で足りるかを検討するのが定石で、
「ウィンドウ集計して閾値を超えたら通知」程度なら
数行の SQL で済む。

なお、Data Factory は厳密にはストリーム処理ではない
（マイクロバッチのオーケストレーション）。
原文が並べているのは「データを動かすテクノロジ」という
括りゆえと解される。

現在の位置づけ

• HDInsight の Storm は既にサポート終了しており、
  新規では Spark Structured Streaming か Stream Analytics を選ぶ。
• Microsoft Fabric の Real-Time Intelligence（旧 Real-Time Analytics）が
  統合的な選択肢として加わっている。

参考

• ストリーム処理テクノロジの選択 - Azure Architecture Center
  https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology-choices/stream-processing

---

Tags: 移行, インフラストラクチャ, クラウド, ビッグデータ, Azure