如果您无法下载资料,请参考说明:
1、部分资料下载需要金币,请确保您的账户上有足够的金币
2、已购买过的文档,再次下载不重复扣费
3、资料包下载后请先用软件解压,在使用对应软件打开
Linux下hadoop安装与配置试验环境两台虚拟机:CentOS—5.8-i386真实机:CentOS—5.8-x64Hadoop-1.0.3.tarjdk-7-linux-i586.tarjdk-6u29-linux-x64安装1、配置hosts与ssh首先我们拿真实机做master,IP:192.168.1.1以下简称master两个虚拟机做slave,slave1IP:192.168.1.2slave2IP:192.168.1.3以下简称slave1、slave2注:IP根据自己实际情况修改、分别在三台服务上修改/etc/hosts文件,在原文件中添加192.168.1.1master192.168.1.2slave1192.168.1.3slave2②、配置ssh无密码登陆分别在三台服务器上添加hadoop用户(用户名可随意),并设置密码在master用hadoop登陆,在/home/hadoop/下,创建.ssh目录$mkdir.ssh$chmod755./.ssh(我也不知道为什么,可能ssh无密码登陆规定)上面的操作需要在三台服务器上分别执行,之后在master上$cd.ssh$ssh-keygen(创建公钥和私钥)执行命令时,一路回车就可以。执行完成后会在.ssh目录下生成两个文件id_rsa(私钥)id_rsa.pub(公钥)执行$cpid_rsa.pub./authorized_keys$scpauthorized_keysslave1:/home/had/.ssh/$scpauthorized_keysslave2:/home/had/.ssh/测试ssh登陆是否需要密码$sshslave1(首次登陆可能会需要密码)③、安装JDK(三台服务器都需要安装)#tarjdk-7-linux-i586.tar修改环境变量文件Vi/etc/profile在文件末尾添加JAVA_HOME=/navi/jdk1.7.0/(JDK安装路径)JRE_HOME=/navi/jdk1.7.0/jreCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHexportJAVA_HOMEJRE_HOMECLASSPATHPATH保存并重新登陆服务器测试JDK是否安装成功#java–verbose(如果能出现一堆表示安装成功)注:因为我master为64位系统,所以JDK安装文件不一样④、安装配置Hadoop(三台服务器都需要配置)Hadoop需要解压到hadoop家目录下。$tarHadoop-1.0.3.ta$cdhadoop-1.0.3…./hadoop-1.0.3/conf为hadoop主配置文件首先配置hadoop-env.sh在文件中添加exportJAVA_HOME=/navi/jdk1.7.0(java安装目录)然后配置core-site.xml在原文件<configuration>和</configuration>中间添加<property><name>fs.default.name</name><value>hdfs://master:9000</value></property>配置hdfs-site.xml在原文件<configuration>和</configuration>中间添加<property><name>dfs.replication</name><value>3</value></property>这个3代表三节点配置mapred-site.xml在原文件<configuration>和</configuration>中间添加<property><name>mapred.job.tracker</name><value>master:9001</value></property>配置masters文件将原文件中的localhost删除,换成master(这个是主机名)配置slaves文件将原文件中的localhost删除,添加masterslave1slave2最后在三台服务器的/etc/profile文件末尾添加exportHADOOP_HOME=/home/hadoop/hadoop-1.0.3(hadoop安装目录)exportPATH=$HADOOP_HOME/bin:$PATH到此为止所有配置结束首次启用hadoop需要格式化HDFS文件系统$hadoopnameno