Skip to content

tumf/uhadoop

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

13 Commits
 
 
 
 
 
 

Repository files navigation

How to use Hadoop clusters on UnitHosting.

Copyright (C) 2010 Dino Co.,Ltd. Copyright (C) 2010 Yoshihiro TAKAHARA

  1. はじめに

uhadoopプロジェクトは、分散処理フレームワークHadoopUnitHostingで利用するためのスクリプトを提供します。 まず、ユーザはmasterとslaveの2種類のサーバを構築する必要があります。 uhadoopスクリプトはmasternameノードとして扱い、slaveを必要数分コピーしてdataノードとして扱います。

**必要条件 ruby 1.8以上 git

  1. 準備

ruby APIライブラリのインストール

[bash]
gem install unit_hosting

uhadoopのインストール

[bash]
git clone http://www.github.com/tumf/uhadoop/master

ユニットホスティングへ登録

サーバグループの作成

サーバグループのAPIキーの有効化と取得

サーバグループを作成します。サーバグループの名前は何でも構いません。サーバグループを作成したら、基本情報の下の部分にある「APIキー」から「作成」を押してAPIキーを作成します。.keyファイルをダウンロードして、そのファイルを自分のホームディレクトリの下に~/.UnitHosting/keysディレクトリを作ってその下におきます。

masterサーバの構築

インスタントプランAでmasterサーバを構築します。 構築時にサーバの名称はmasterとしてください。

ユーザスクリプトは、以下を利用してください:

http://www.github.com/tumf/UnitHosting/scripts/hadoop-master.sh

構築が終わったら、

slaveサーバの構築

slaveサーバのAPIキーを作成しておきましょう。

  1. デプロイ

slave-clusterが必要数に足りない場合は、作成します。

uhadoopディレクトリ以下が/home/hadoop/hadoop以下にコピーされます。 iptablesを設定します。 hdfsを初期化します。

また、以下のファイルが自動で修正されます。

  • /etc/hosts
  • /home/hadoop/.ssh/config
  1. 実行

  1. サーバの破棄

  1. おわりに

About

UnitHosting hadoop

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published