MS_AzureAIInfrastructure

Azure AI インフラストラクチャ

• 戻る
  • .NET開発 > DX系 > AI > ML.NET
  • AzureのAI系サービス
    • Azure Machine Learning
    • Azure Databricks
    • Azure Cognitive Services
    • Azure OpenAI Service
    • Azure Applied AI Services
    • Azure AI インフラストラクチャ

概要

移行メモ（未記述）: 元ページは「概要」「詳細」の各節が
見出しのみで本文が書かれていなかった（905 バイト）。
参考にある Microsoft の「AI at Scale」の文脈に沿って、
下記の説明を補った。
著者による本文が加筆された場合は置き換えること。

AzureのAI系サービスのうち、
モデルの学習・推論を支える計算基盤そのものを指す層。

• 上位の Azure Machine Learning や
  Azure Cognitive Services が
  「AI をどう使うか」のサービスであるのに対し、
• こちらは「その AI を何の上で動かすか」にあたる。

詳細

計算リソース

• GPU 搭載の VM シリーズ（NC / ND / NV など）
  ディープラーニングの学習・推論に用いる。
  すぐ使える VM イメージとしては
  Azure DSVM / DLVMがある。

• Azure Machine Learning のコンピューティング クラスター
  必要なときだけ GPU ノードを起動し、
  ジョブが終わると 0 台まで縮退させる使い方ができる。

• InfiniBand による相互接続
  複数ノードで 1 つのモデルを分散学習する場合、
  ノード間の通信帯域がボトルネックになるため、
  HPC 向けの高速な相互接続を持つシリーズを選ぶ。

大規模化に伴う論点

• スケールアウトの単位
  データ並列（同じモデルを複数ノードに置く）と
  モデル並列（1 つのモデルを分割する）で必要な構成が変わる。

• コスト
  GPU ノードは高価なため、
  学習と推論で別の構成を採る（学習は GPU、推論は CPU など）。

• データの置き場所
  計算ノードとストレージのリージョンが離れていると
  転送がボトルネックになる。

補足（現在の呼称）: 「AI インフラストラクチャ」という括りは、現在
Azure AI Infrastructure として GPU / InfiniBand を含む
HPC 基盤の文脈で使われている。
生成 AI の普及後は、モデルを自前で学習させるのではなく
Azure OpenAI Serviceのような
マネージドな推論エンドポイントを使う構成が主流になっており、
この層を直接意識する場面は限られてきている。

参考

• Explore AI at Scale - Microsoft Innovation
  https://innovation.microsoft.com/en-us/exploring-ai-at-scale

• 本 Wiki 内

  • AzureのAI系サービス
  • Azure Machine Learning
  • Azure DSVM / DLVM
  • Azure Applied AI Services

---

Tags: インフラストラクチャ, クラウド, BI/AI, Azure