山口:はい、バッチ処理は大量のデータを一括して処理するので、一般的に夜間実行されます。翌朝始業時間になったころには、前日のデータ処理が終わって分析ができるようになっているということですね。ところが、扱うデータの量が日々増加しているので、翌朝になっても終わらないケースが出てきているのです。

加納:処理をするコンピュータの能力を、あげないと！

山口: その通りです。しかし、通常バッチ処理を行うハードウェアは高価な大型コンピュータですから、より能力を高めようとするとコスト負担が跳ね上がります。それに大型コンピュータはもともと高価ですので1台でバッチ処理をしていることがほとんどです。単一のハードウェアの能力には、自ずと限界は出てきます。

林:それを、どうやって解決しているんですか？

山口: 並列分散処理という方法があります。安価なサーバを複数つないで分散して処理するのです。この方法ならデータ量が増えてもその都度サーバを増やしていけばいいので、コスト負担も軽くなります。並列分散処理の手法を使ったフレームワークにHadoopというものがあります。Hadoopは並列分散処理を使ってビッグデータを効率的に運用するオープンソースのソフトウェアということで注目を集めており、世界中で企業システムへの適用が模索されはじめています。


ZDNet Japan
理工系女子大生がIT技術を調査！ビッグデータ編
http://japan.zdnet.com/extra/hitachi_cosminexus_201106/35003594/