Hadoop集群安装.doc
上传人:sy****28 上传时间:2024-09-14 格式:DOC 页数:5 大小:1.4MB 金币:16 举报 版权申诉
预览加载中,请您耐心等待几秒...

Hadoop集群安装.doc

Hadoop集群安装.doc

预览

在线预览结束,喜欢就下载吧,查找使用更方便

16 金币

下载此文档

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

HADOOP完全分布式模式的安装我采用三节点,使用PC机,在PC机上安装VMwareWorkstation,其中namenode在一台物理机上;slave01,slave02在另一台物理机上,步骤如下:首先准备好三台主机,操作系统为LINUX4.7并分别命名为namenode,slave01,slave02修改所有节点的/etc/hosts文件在所有节点上新建组grid,用户grid,并设置好密码,在此都设为grid在所有节点上,以grid用户登录,在grid的主目录下进行如下操作()在所有节点上,将公钥复制到文件authorized_keys中将所有节点的authorized_keys中的内容在namenode节点上进行合并,然后再从namenode结点上分别分发到所有节点上实现了SSH的免密码登录8.将hadoop软件复制到各节点的/home/grid目录上,解压,设置权限为grid用户9.在所有节点上安装JAVA(记住安装的位置,我这里是安装在/usr/java下),在数据节点上创建存放数据的目录(我这里为/db/hadoop/data),设置存放数据的目录的权限为grid用户10.在任意一个节点的/home/grid/hadoop-0.20.2/con目录下设置配置文件,复制到各节点上设置JAVA的环境变量,JAVA_HOME为JAVA的安装目录添加如上红框中的内容,fs.default.name表示namenode的IP及工作端口,192.168.0.100为namenode的IP,9000为默认端口添加如上红框中的内容,dfs.data.dir表示数据节点中数据文件的位置,/db/hadoop/data即为存放数据节点中数据文件的位置,这个目录需先建好,并有写入的权限;dfs.replication表示将数据块复制多少份,2表示复制两份mapred.job.tracker表示作业跟踪器的位置,192.168.0.100为作业跟踪器的IPmasters文件中添加namenode的主机名,slaves文件中添加slave的主机名11.在namenode节点上,进入hadoop的安装目录,进入其子目录bin,进行如下操作:格式化namenode,表示在namenode上建立一系统的结构来存放原数据,若成功执行,则会出现hasbeensuccessfullyformatted.12.在namenode节点上,启动集群13.检测守护进程的启动情况,在每个节点上启动什么进程,运行JAVA目录bin子目录下的jps,表示观看和JAVA有关的进程信息在namnode节点上运行了namenode,jobtracker,secondarynamenode进程在slave01节点上运行了datanode,tasktracker进程这5个进程已启动好后,证明成功