title: 教程-Hadoop的HDFS配置
date: 2022-10-19 14:52:10
tags: Hexo
category: 教程
准备
VMware中执行了最小安装的CentOS 7
hadoop压缩包 hadoop-2.8.5.tar.gz
jdk压缩包 jdk-8u181-linux-x64.tar.gz
安装了rz指令:
yum install lrzsz
![点击并拖拽以移动 点击并拖拽以移动]()
Tips:我会在SecureCRTPortable执行命令,需要有一定的linux操作常识
基础工作
打开centos7并登录root用户

![点击并拖拽以移动 点击并拖拽以移动]()
新建三个文件夹
mkdir -p /export/servers/ #软件安装路径
mkdir -p /export/data/ #数据存储路径
mkdir –p /export/software/ #安装包存放路径
![点击并拖拽以移动 点击并拖拽以移动]()
在export下回有三个文件夹

![点击并拖拽以移动 点击并拖拽以移动]()
上传JDK和 Hadoop安装包到 /export/software/

![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
解压两个安装包
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /export/servers/
![点击并拖拽以移动 点击并拖拽以移动]()
tar -zxvf hadoop-2.8.5.tar.gz -C /export/servers/
![点击并拖拽以移动 点击并拖拽以移动]()
更改jdk-8u181-linux-x64.tar.gz的名字为jdk

![点击并拖拽以移动 点击并拖拽以移动]()
配置java和hadoop环境
配置vi /etc/profile
vi /etc/profile
![点击并拖拽以移动 点击并拖拽以移动]()
在文件底部添加如下命令
export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/export/servers/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
退出保存后应用
source /etc/profile
![点击并拖拽以移动 点击并拖拽以移动]()
验证java环境配置完成
java -version
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
如上图即为java配置完成
配置hadoop内部文件
进入此目录
cd /export/servers/hadoop-2.8.5/etc/hadoop/
![点击并拖拽以移动 点击并拖拽以移动]()
1)修改hadoop-env.sh文件 修改红线部分,保存并退出
vi hadoop-env.sh
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
export JAVA_HOME=/export/servers/jdk
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
2)修改core-site.xml ,保存并退出
vi core-site.xml
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop-2.8.5/tmp</value>
</property>
</configuration>
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
3)修改hdfs-site.xml,保存并退出

![点击并拖拽以移动 点击并拖拽以移动]()
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/export/servers/hadoop-2.8.5/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/export/servers/hadoop-2.8.5/tmp/dfs/data</value>
</property>
</configuration>
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
添加hosts 名字
1)查看主机名
hostname
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
2)查看ip 红色部分xxx.xxx.xxx.xxx
ip addr
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
3)在末行添加主机名 ip空格主机名
vi /etc/hosts
![点击并拖拽以移动 点击并拖拽以移动]()

![点击并拖拽以移动 点击并拖拽以移动]()
修改windows系统文件
路径 C:\Windows\System32\drivers\etc
不能更改推荐使用VS code :Visual Studio Code - Code Editing. Redefined

![点击并拖拽以移动 点击并拖拽以移动]()
修改完保存并退出
关闭防火墙
一般情况下,防火墙默认开机自启
关闭防火墙命令:
systemctl stop firewalld.service
关闭防火墙的开机自启命令:
systemctl disable firewalld.service
查看防火墙状态
systemctl status firewalld
![点击并拖拽以移动 点击并拖拽以移动]()
显示dead即为关闭

![点击并拖拽以移动 点击并拖拽以移动]()
启动HDFS
停止所有jps进程
stop-all.sh
格式化
hdfs namenode -format
重新启动所有进程
start-all.sh
![点击并拖拽以移动 点击并拖拽以移动]()
执行完格式化显示 结果为0即为正常

![点击并拖拽以移动 点击并拖拽以移动]()
根据提示输入root密码和yes,会有多次。
在浏览器查看
输入hadoop:50070
hadoop为电脑名 如果是上面就是hadoop1

![点击并拖拽以移动 点击并拖拽以移动]()
正常打开即为配置成功
可以保存当前虚拟机快照状态

![点击并拖拽以移动 点击并拖拽以移动]()