ストリーミング処理とバッチ処理の違い
発生した時点で処理するか、ためてまとめて処理するか

ストリーミング処理とは

データが発生したタイミングで逐次処理し、分析の結果をすぐに取り出す方式です。フロー型データ処理とも呼ばれます。

IoT では、多数のセンサやカメラの情報、大量のログデータが絶え間なく流れ込みます。システムが動いている限りデータは無限に発生するので、ためてから分析する方法には向かず、連続的に、少しずつ処理する必要があります。

• 一刻を争う場面で効きます。たとえば、サイバー攻撃や内部の不正による情報漏えいの検知、製造工程の機器故障の検知、クレジットカードの不正利用の検知です。
• センサのデータは、特徴や異常度などの処理した結果だけを残し、元のデータは破棄することもよくあります。

関係する用語

• リアルタイムメッセージシステム: データの送信者と受信者を仲介者が取り持つ仕組みです。受信者が仲介者に「このデータを受け取りたい」と指示することを購読といい、この通信のモデルを Pub/Sub といいます。送信者も受信者も、相手を意識せずにやり取りできます。
• CEP（複合イベント処理）: 複数のデータ元から時系列に生まれるデータを、事前に決めた分析ルールにもとづいてリアルタイムに分析します。処理の対象は直近のデータで、その範囲をウィンドウと呼びます。

バッチ処理とは

サーバにたまった長期間分の大量のデータを、定期的にまとめて分析する方式です。ストック型データ処理とも呼ばれます。大規模データのバッチ処理の枠組みとして、Hadoop が代表的です。

Hadoop は、サーバを動的に追加して容量や処理の性能を強められ、データを入れる時点では表の構造の定義が要りません。その中の MapReduce は、次の3つの段階で処理します。

1. Map 処理: 入力データを分割して、分析に必要な部分を取り出し、（キー、バリュー）の組のリストにする。
2. シャッフル処理: そのリストを受け取り、キーの値ごとに、対応するバリューを集めたリストを作る。
3. Reduce 処理: 集めたリストの要素を計算して、結果を出力する。

違いを表で比べる

試験での問われ方

IoTシステム技術検定 中級では、第3章「IoTデータ活用技術」で出ます。もちこ道場の第3章の問題（全50問）のうち、ストリーミング処理・バッチ処理が出てくる問題は5問あります。

• 穴埋め: 「長期間蓄積したデータを定期的に分析する処理」と「発生と同時に逐次処理する処理」に、バッチ処理とストリーミング処理を正しい順で入れる。逆の順の選択肢も並びます。
• 穴埋め: 「絶え間なく流入するデータをリアルタイムで分析して、結果を即座に出す処理方式」に、ストリーミング処理を選ぶ。選択肢には、バッチ・ETL・MapReduce が並びます。
• 記述を選ぶ: 「ストリーミング処理では、元のデータの保存が必須」のように、性質を入れ替えた記述を見抜く。

覚え方

• ストリーミングは「流れ」。流れてくるデータを、その場で見て、すぐ判断します。
• バッチは「ためて、まとめて」。ため池（ストック）にためたデータを、決まった時間にまとめて処理します。
• 用語は結び付けて覚えます。Hadoop・MapReduce はバッチ、Pub/Sub・購読・CEP・ウィンドウはストリーミングです。

第3章のほかの用語は「第3章 IoTデータ活用技術の要点」にまとめています。