AlaxEleven's Data

Hadoop的HDFS配置

作者: 陈珏
时间: 2023-05-06
分类: 教程
评论

title: 教程-Hadoop的HDFS配置
date: 2022-10-19 14:52:10
tags: Hexo
category: 教程

准备

VMware中执行了最小安装的CentOS 7

hadoop压缩包 hadoop-2.8.5.tar.gz

jdk压缩包 jdk-8u181-linux-x64.tar.gz

安装了rz指令：

yum install lrzsz

点击并拖拽以移动

Tips：我会在SecureCRTPortable执行命令，需要有一定的linux操作常识

基础工作

打开centos7并登录root用户

点击并拖拽以移动

新建三个文件夹

 mkdir -p /export/servers/ #软件安装路径
 mkdir -p /export/data/ #数据存储路径
 mkdir –p /export/software/ #安装包存放路径

点击并拖拽以移动

在export下回有三个文件夹

点击并拖拽以移动

上传JDK和 Hadoop安装包到 /export/software/

点击并拖拽以移动

解压两个安装包

tar -zxvf jdk-8u181-linux-x64.tar.gz -C  /export/servers/

点击并拖拽以移动

tar -zxvf hadoop-2.8.5.tar.gz -C  /export/servers/

点击并拖拽以移动

更改jdk-8u181-linux-x64.tar.gz的名字为jdk

点击并拖拽以移动

配置java和hadoop环境

配置vi /etc/profile

vi /etc/profile

点击并拖拽以移动

在文件底部添加如下命令

export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/export/servers/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

点击并拖拽以移动

退出保存后应用

source /etc/profile

点击并拖拽以移动

验证java环境配置完成

java -version

点击并拖拽以移动

如上图即为java配置完成

配置hadoop内部文件

进入此目录

 cd /export/servers/hadoop-2.8.5/etc/hadoop/

点击并拖拽以移动

1）修改hadoop-env.sh文件修改红线部分，保存并退出

vi hadoop-env.sh

点击并拖拽以移动

export JAVA_HOME=/export/servers/jdk

点击并拖拽以移动

2）修改core-site.xml ,保存并退出

vi core-site.xml

点击并拖拽以移动

<configuration>
        <property>
                <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>   
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/servers/hadoop-2.8.5/tmp</value>
        </property>
</configuration>

点击并拖拽以移动

3）修改hdfs-site.xml，保存并退出

点击并拖拽以移动

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/export/servers/hadoop-2.8.5/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/export/servers/hadoop-2.8.5/tmp/dfs/data</value>
        </property>
</configuration>

点击并拖拽以移动

添加hosts 名字

1）查看主机名

hostname

点击并拖拽以移动

2）查看ip 红色部分xxx.xxx.xxx.xxx

ip addr

点击并拖拽以移动

3)在末行添加主机名 ip空格主机名

vi /etc/hosts

点击并拖拽以移动

修改windows系统文件

路径 C:\Windows\System32\drivers\etc

不能更改推荐使用VS code ：Visual Studio Code - Code Editing. Redefined

点击并拖拽以移动

修改完保存并退出

关闭防火墙

一般情况下，防火墙默认开机自启
关闭防火墙命令：
systemctl stop firewalld.service
关闭防火墙的开机自启命令：
systemctl disable firewalld.service
查看防火墙状态
systemctl status firewalld

点击并拖拽以移动

显示dead即为关闭

点击并拖拽以移动

启动HDFS

停止所有jps进程  
stop-all.sh

格式化 
hdfs namenode -format

重新启动所有进程 
start-all.sh

点击并拖拽以移动

执行完格式化显示结果为0即为正常

点击并拖拽以移动

根据提示输入root密码和yes，会有多次。

在浏览器查看

输入hadoop:50070

hadoop为电脑名如果是上面就是hadoop1

点击并拖拽以移动

正常打开即为配置成功

可以保存当前虚拟机快照状态

点击并拖拽以移动

GitHub部署

作者: 陈珏
时间: 2023-05-06
分类: Hexo博客搭建
评论

title: GitHub部署
date: 2022-04-30 16:42:39
author: AlaxEleven
tags: Hexo
category: 教程

一、创建一个GitHUb

如果已有GItHub账户，可以跳到第二步

打开GitHub官网：GitHub: Where the world builds software · GitHub

点击右上角Sign up

输入注册的邮箱

输入密码

输入用户名

是否接收咨询，我选择n 否

完成人机验证

到邮箱确认注册就完成了GitHub账号注册

二、创建个人仓库

在GitHub主页右上点击new，新建仓库界面

创建一个名为xxx.github.io的仓库（xxx为你的用户名），因为我这个已经创建，所以会提示已存在

点击下方绿色的Create repository 完成仓库的创建

三、添加SSH到GitHub

在刚才的博客文件夹，打开git界面，输入

git config --global user.name "yourname"
git config --global user.email "youremail"

yourname为你的GitHub名字，即上方的xxx

youremail为你注册GitHub的邮箱

检查是否正确，输入

git config user.name
git config user.email

创建ssh，输入

ssh-keygen -t rsa -C "youremail"

等待完成后到本地磁盘C—用户-用户名会看到一个.ssh的文件夹，打开里面的id_rsa.pub 可以选择用记事本打开

ctrl+a全选 ctrl+c复制

回到GitHub官网，点击右上角头像，点击Setting，找到右侧的SSH and GPS keys,点击右侧绿色的New SSH key,Title里面选输入这个Key的名字，我选择叫Hexo，在key里面 ctrl+v粘贴刚才复制的ssh。点击下方绿色的Add SSH key。