How to use Hadoop clusters on UnitHosting.
Copyright (C) 2010 Dino Co.,Ltd. Copyright (C) 2010 Yoshihiro TAKAHARA
- はじめに
uhadoop
プロジェクトは、分散処理フレームワークHadoopをUnitHostingで利用するためのスクリプトを提供します。
まず、ユーザはmasterとslaveの2種類のサーバを構築する必要があります。
uhadoop
スクリプトはmaster
をnameノード
として扱い、slave
を必要数分コピーしてdataノード
として扱います。
**必要条件 ruby 1.8以上 git
- 準備
[bash]
gem install unit_hosting
[bash]
git clone http://www.github.com/tumf/uhadoop/master
サーバグループを作成します。サーバグループの名前は何でも構いません。サーバグループを作成したら、基本情報の下の部分にある「APIキー」から「作成」を押してAPIキーを作成します。.key
ファイルをダウンロードして、そのファイルを自分のホームディレクトリの下に~/.UnitHosting/keys
ディレクトリを作ってその下におきます。
インスタントプランAでmasterサーバを構築します。 構築時にサーバの名称はmasterとしてください。
ユーザスクリプトは、以下を利用してください:
http://www.github.com/tumf/UnitHosting/scripts/hadoop-master.sh
構築が終わったら、
slaveサーバのAPIキーを作成しておきましょう。
- デプロイ
slave-clusterが必要数に足りない場合は、作成します。
uhadoopディレクトリ以下が/home/hadoop/hadoop
以下にコピーされます。
iptablesを設定します。
hdfsを初期化します。
また、以下のファイルが自動で修正されます。
- /etc/hosts
- /home/hadoop/.ssh/config
- 実行
- サーバの破棄
- おわりに