バッチ推論とは、人工知能や機械学習の分野において、大量のデータをまとめて処理し、予測や分類といったモデルの出力を一度に生成する実行モードを指します。

リアルタイム処理が要求されるオンライン推論（またはリアルタイム推論）とは対照的に、バッチ推論は、応答速度よりも全体のスループットと計算効率が重視されるシナリオで採用されます。

この処理形態では、入力データセット全体を、ハードウェアの能力やメモリ制約に合わせてバッチサイズと呼ばれる一定のチャンク（塊）に分割します。

GPUなどのアクセラレータは、大きなバッチを並列に処理することに優れているため、このアプローチは計算資源を効率的に活用し、単位時間あたりの処理データ量、すなわちスループットを最大化します。

典型的な適用例としては、夜間のオフピーク時間に実行されるレポート生成、大規模な顧客データベースに対するスコアリング、あるいは蓄積されたセンサーデータの一括分析などが挙げられます。

データはファイルシステムやデータウェアハウスからロードされ、モデルを介して処理された後、結果はデータベースやストレージに出力されます。

バッチ推論の利点は、リソース利用の最適化とコスト削減にあります。リアルタイム処理のように各リクエストの遅延（レイテンシ）を最小限に抑える必要がないため、システム設計がシンプルになり、また、一度に多数の計算をまとめて行うことで、個々の推論にかかるオーバーヘッドが相対的に減少します。

この手法は、特に大規模なデータ分析や、推論結果が即座に必要とされないバックエンド処理において、大規模スケーラビリティを確保するための鍵となります。