- 追加された行はこの色です。
- 削除された行はこの色です。
*Hadoopをセットアップ [#z64153e4]
クリーンインストールしたCentOSにHadoopをセットアップし、疑似分散環境として動作させるまでの記録です。
セットアップ対象環境は以下の通り。
|CPU|Core2 Duo 3G|
|メモリ|3GB|
|HDD|80G|
|OS|CentOS5.4|
|Javaバージョン|Sun JDK 1.6u22|
|Hadoopバージョン|0.20.2|
大きく、手順は以下の通り。
+javaのインストール（rootユーザ）
+sshのパスワードなしログインの設定（rootユーザ）
+hadoopユーザ作成（rootユーザ）
+hadoopユーザのssh認証鍵生成、配置（hadoopユーザ）
+hadoopのファイルを配置、設定ファイルの変（hadoopユーザ）
+動作確認
まあ、こんな感じですわ。
**javaのインストール（rootユーザ） [#t31cfcda]
※この作業はrootユーザで実施します。
今回は、SunのJDK1.6u22を使いました。資材は普通にSunのサイトからDLし、インストール。
**sshのパスワードなしログインの設定 [#m42e84be]
※この作業はrootユーザで実施します。
sshをパスワードなしでログインするための設定をします。
編集対象のファイルは以下の通り。
-/etc/ssh/sshd_config
以下の3行のコメントを外します。
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
設定を変更したらsshdを再起動します。
service sshd restart
ちなみに、sshでログインにsshd再起動してもコネクションは切れないんだね～優秀笑
**hadoopユーザ作成（rootユーザ） [#t4d8ef9a]
※この作業もrootユーザで実施します。
まあ、単純にuseraddします。
useradd hadoop -p hadoop
造作もないですね。
**hadoopユーザのssh認証鍵生成、配置（hadoopユーザ） [#sea97eb9]
※この作業はhadoopユーザで実施します！
**hadoopのファイルを配置、設定ファイルの変（hadoopユーザ） [#oa22740c]
編集対象の設定ファイルは以下の4つです。それぞれ「/{hadoop-home}/conf」配下にあります。
+hadoop-env.sh
+core-site.xml
+hdfs-site.xml
+mapred-site.xml
それぞれの編集内容は以下の通り。
-hadoop-env.sh
&br;以下の3行を編集した。
export JAVA_HOME=/usr/java/latest/ ←インストールしたjavaのパスを指定
export HADOOP_HEAPSIZE=512 ← デフォルトでは1Gとなっているが、インストールするのがただのPCのため、512Mに変更
export HADOOP_OPTS=-server ← コメントアウトを外す。
-core-site.xml
&br;デフォルトで配置されているファイルはほぼ空なので、編集後のファイルの内容をそのまま掲載
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://XXX.XXX.XXX.XXX:8020/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
</property>
</configuration>
-hdfs-site.xml
&br;デフォルトで配置されているファイルはほぼ空なので、編集後のファイルの内容をそのまま掲載
-mapred-site.xml
&br;デフォルトで配置されているファイルはほぼ空なので、編集後のファイルの内容をそのまま掲載
