Hadoop——Centos 7 安装 Hadoop（二）

· 2023-06-14 · # linux # hadoop

主要是Hadoop的配置和启动

1.配置hadoop

占位

1.1添加环境变量

暂无

1.2修改 hadoop-env.sh

cd /usr/hadoop-3.2.4/etc/hadoop/
# 这个目录是 hadoop的安装路径/etc/hadoop/
# 以下几乎所有操作都在这个目录进行

vim hadoop-env.sh

# 为hadoop设置java路径
export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64
# 设置一些参数
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

1.3修改 core-site.xml

vim core-site.xml

<configuration>
    <!-- 指定 NameNode 的地址 -->
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
    </property>

    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop-3.2.4</value>
    </property>

    <!-- 配置 HDFS 网页登录使用的静态用户为 xxx -->
    <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
    </property>
</configuration>

1.4修改 hdfs-site.xml

vim hdfs-site.xml

<configuration>
    <!-- nn web 端访问地址-->
    <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
    </property>
</configuration>

1.5修改 mapred-site.xml

vim mapred-site.xml

# 指定MapReduce运行时的框架YARN
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

1.6修改 yarn-site.xml

vim yarn-site.xml

<configuration> 
    <!-- 指定 ResourceManager 的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
    </property>
    <!-- 指定 MR 走 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

1.7修改 workers

vim workers

注释掉里面本来的localhost添加非node的虚拟机主机名

# 有几个加几个
node2
node3

2克隆虚拟机

磕磕

2.1克隆

先关闭当前虚拟机
路径：右键虚拟机-管理-克隆
中间选择完整克隆，路径自选，其余默认

2.2修改虚拟机主机名称

打开克隆虚拟机

vim /etc/hostname

把node1改为node2

2.3修改IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 分配ip
IPADDR="192.168.140.141(142,123)"

service network restart

2.4ssh免密登录配置

创建密钥

 ssh-keygen

分发密钥

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

一会让你输入yes还要输入密码

2.5 windows免密登录linux（可选）

ssh-keygen -t rsa
# 上传密钥
scp 生成的id_rsa.pub目录 root@IP地址:~/.ssh
# 进入虚拟机终端
root@IP地址
cd .ssh/
# 追加密钥
cat id_rsa.pub >> authorized_keys

3启动hadoop

3.1启动

# 格式化集群
hdfs namenode -format
# 启动（一键）
start-all.sh
# 启动（分布）
start-dfs.sh
start-yarn.sh

3.2打开web面板

# 虚拟机里，两个都应该打开
http://node1:8088
http://node1:9870

可以直接在windows浏览器打开http://node1的IP:8088 http://node1的IP:9870看