Hadoop安定版0.20.203.0

Hadoopの安定版0.20.203.0が5月11日にリリースされたと公式ホームページにお知らせがあります。
http://hadoop.apache.org/common/releases.html

ところがダウンロードサイトには現時点でRC1版しか置いてありません。これはなぜなのか分かりませんが、何か不具合があったのか、それとも単にファイルを置くのが遅れているだけなのでしょうか。
Index of /dist/hadoop/common/stable

Hadoopのインストールと設定は多少手間がかかりますが、これを手軽に使えるように、1台のマシンで疑似分散モードの設定を行うMacPortsを作成しました(現在登録申請中)。このportは、hadoopユーザを新規に作成して、sshによるパスワードなしローカルログインの設定を行います。Hadoopは処理実行開始までのオーバーヘッドが大きく、1台のマシンで動かしてもあまりメリットはありませんが、それでもマルチCPUコアに処理をスケールさせることができるのがよいですね。

同時に、Hadoop上で動作するMahoutのMacPortsも登録申請中です。これでMacPortsを使って手軽にHadoop+Mahoutの動作確認ができると思います。

なお、HadoopはJavaベースですが、処理の高速化のためにアーキテクチャ依存のライブラリが一部存在します。配布物にはLinux用のライブラリは含まれていますが、Mac用のものはなく、portでも現在のところ未対応です。Macでコンパイルできるようなパッチもあるようなので、そのうち対応できればと思います。