MS_LargeDataProcessing

大量データの処理方式

• 戻る（データアクセスのいろいろ）
  • 大量データの処理方式
  • 大量データの処理方式1 / 大量データの処理方式2 / 大量データの処理方式3

概要

大量データの処理方式について。

詳細

(1)：バイト・ストリームによるSAM / DAM

大量データの処理方式1

(2)：ステートメント性能とロード後データサイズ

大量データの処理方式2

(3)：データストアを利用

大量データの処理方式3

(4)：ビッグデータ

ビッグデータ（DNET_BigData.md）

補足（4つの方式の位置付け）: この 4 分類は、
扱うデータ量とアクセス パターンで段階的に並んでいる。

#	方式	想定するデータ	要点
(1)	バイト・ストリーム（SAM / DAM）	ファイル	メモリに載せず逐次処理する。最も原始的だが最も確実
(2)	ステートメント性能とロード後データサイズ	RDB（単一インスタンス）	発行する SQL の形とメモリ上のデータ表現を詰める
(3)	データストアを利用	RDB では収まらない量	インメモリ DB、Elastic DB、DWH、NoSQL、分散処理
(4)	ビッグデータ	非構造化・超大量	Hadoop / Spark 等の分散基盤

実務上の鉄則は、上から順に検討すること。
(1)(2) の工夫で足りるものを (3)(4) に持ち込むと、
運用コストだけが跳ね上がる。

補足（共通する原則）: どの方式でも共通して効く原則は以下。

• 全件をメモリに載せない（ストリーミング / カーソル / ページング）
• 1 トランザクションを大きくしすぎない
  （ログの肥大、ロック エスカレーションを招く。
  SQL Server のロックのエスカレーション）
• 往復回数を減らす（一括挿入、バルク API、ストアド プロシージャ）
• 統計情報を更新してから読む
  （SQL Server 大量データ処理時の性能問題）

参考

• SQL Server 大量データ処理時の性能問題
• .NETでバッチは書けるか？（MS_DotNetBatch.md）
• データアクセスのいろいろ

---

Tags: 移行, データアクセス