Hadoopをセットアップのバックアップ(No.1)

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
Hadoopをセットアップへ行く。
- 1 (2010-12-03 (金) 11:28:15)
- 2 (2010-12-03 (金) 12:27:00)
- 3 (2010-12-03 (金) 16:36:59)

Hadoopをセットアップ †

クリーンインストールしたCentOSにHadoopをセットアップし、疑似分散環境として動作させるまでの記録です。

セットアップ対象環境は以下の通り。

CPU	Core2 Duo 3G
メモリ	3GB
HDD	80G
OS	CentOS5.4
Javaバージョン	Sun JDK 1.6u22
Hadoopバージョン	0.20.2

大きく、手順は以下の通り。

javaのインストール（rootユーザ）
sshのパスワードなしログインの設定（rootユーザ）
hadoopユーザ作成（rootユーザ）
hadoopユーザのssh認証鍵生成、配置（hadoopユーザ）
hadoopのファイルを配置、設定ファイルの変（hadoopユーザ）
動作確認

まあ、こんな感じですわ。

↑

javaのインストール（rootユーザ） †

※この作業はrootユーザで実施します。

今回は、SunのJDK1.6u22を使いました。資材は普通にSunのサイトからDLし、インストール。

↑

sshのパスワードなしログインの設定 †

※この作業はrootユーザで実施します。

sshをパスワードなしでログインするための設定をします。

編集対象のファイルは以下の通り。

/etc/ssh/sshd_config

以下の3行のコメントを外します。

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

設定を変更したらsshdを再起動します。

service sshd restart

ちなみに、sshでログインにsshd再起動してもコネクションは切れないんだね～優秀笑

↑

hadoopユーザ作成（rootユーザ） †

※この作業もrootユーザで実施します。

まあ、単純にuseraddします。

useradd hadoop -p hadoop

造作もないですね。

↑

hadoopユーザのssh認証鍵生成、配置（hadoopユーザ） †

※この作業はhadoopユーザで実施します！

↑

hadoopのファイルを配置、設定ファイルの変（hadoopユーザ） †

編集対象の設定ファイルは以下の4つです。それぞれ「/{hadoop-home}/conf」配下にあります。

hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml

それぞれの編集内容は以下の通り。

hadoop-env.sh
以下の3行を編集した。

export JAVA_HOME=/usr/java/latest/　←インストールしたjavaのパスを指定

export HADOOP_HEAPSIZE=512　←　デフォルトでは1Gとなっているが、インストールするのがただのPCのため、512Mに変更

export HADOOP_OPTS=-server　←　コメントアウトを外す。

core-site.xml
デフォルトで配置されているファイルはほぼ空なので、編集後のファイルの内容をそのまま掲載

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://XXX.XXX.XXX.XXX:8020/</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop</value>
  </property>
</configuration>

hdfs-site.xml
デフォルトで配置されているファイルはほぼ空なので、編集後のファイルの内容をそのまま掲載

mapred-site.xml

デフォルトで配置されているファイルはほぼ空なので、編集後のファイルの内容をそのまま掲載

Hadoopをセットアップ のバックアップ(No.1)