Hadoop——Centos 7 安装 Hadoop(一)
安装centos的过程不是难点不做介绍
介绍了,在Centos 7 安装 Hadoop(零)
1.配置网络
为你的虚拟机配置静态IP
1.0获取你虚拟机的当前IP
按照路径打开:
VMware-编辑-虚拟网络编辑器-选择VMnet8-NET设置
记录:
子网IP
子网掩码
网关IP
IP格式应该为192.168.aaa.0
aaa
每人都可能不一样,我的是140
所以下文用192.168.140.0
作为示例
1.1修改虚拟机主机名
vim /etc/hostname
# 这个名字即下文的node1,node2等
1.2修改hosts
设置主机名和 ip 映射
在文件后面添加 ,要几个虚拟机写几行
这里的IP就是
#1.0
中的IP,但是结尾0
的IP已经被占用
所以这里使用140
开始的数字作为结尾即192.168.140.140
也可以使用其他好记的数字
后文输入命令的时候注意改动
vi /etc/hosts
# 编辑文件
# 准备建几个虚拟机就写几个
192.168.140.140 node1
192.168.140.141 node2
1.3改静态ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 把动态改为静态
BOOTPROTO="static"
# 手动添加网络配置
IPADDR="192.168.140.140" # 前面说的还记得吧?
GATEWAY="192.168.140.2" # 网关基本是`2`结尾
NETMASK="255.255.255.0"
DNS1="114.114.114.114"
1.4重启网络
service network restart
1.5ssh连接
使用主机的shell连接到linux的终端
默认root用户登录防止频繁的su提权操作
ssh [email protected]
# 第一次输入yes并回车再输入密码
如果出现 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
输入下面代码重新连接即可
ssh-keygen -R IP地址
1.6关防火墙
关就是了,主机的也关下
firewall-cmd --state
systemctl stop firewalld.service
systemctl disable firewalld.service
1.7时间同步
ntpdate ntp1.aliyun.com
2.软件安装
安装java和hadoop,同时配置ftp服务
2.1卸载java
因为openjava不是完全体java
# 查找
rpm -qa|grep java
# 卸载
# 把上面查找的包全部删除
# 语法 rpm -e --nodeps 包名(后面的版本号可以不写)
rpm -e --nodeps javapackages-tools
rpm -e --nodeps java-1.8.0-openjdk
rpm -e --nodeps java-1.7.0-openjdk
rpm -e --nodeps java-1.7.0-openjdk-headless
rpm -e --nodeps java-1.8.0-openjdk-headless
rpm -e --nodeps python-javapackages
rpm -e --nodeps tzdata-java
安装java在接下来的章节(点这里)
2.2安装FTP服务
# 安装
yum install -y vsftpd
cd /etc/vsftpd/
vi vsftpd.conf
# 修改以下配置
anonymous_enable=NO
ascii_upload_enable=YES
ascii_download_enable=YES
chroot_local_user=YES
chroot_list_enable=NO
allow_writeable_chroot=YES
2.3打开FTP服务
systemctl enable vsftpd.service
systemctl start vsftpd.service
2.4关闭SElinux
如果ftp连接出现500 OOPS: chroot
则需要关闭
vim /etc/sysconfig/selinux
将SELINUX=enforcing
改为SELINUX=disabled
完成后需要重启机器
2.5连接FTP
使用任意客户端
打开ftp://192.168.140.140
账号为非root用户
2.6FTP root登录
(这一步不是必要的)
linux默认禁止FTP以root用户登录
如果要,按照以下操作
vi /etc/vsftpd/ftpusers
#注释掉root一行
2.7安装java
先下载java
下载地址:
https://www.oracle.com/java/technologies/downloads/
要登陆,很烦
https://repo.huaweicloud.com/java/jdk/
华为镜像,不错
这里我们选择下载
https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.rpm
使用ftp传到虚拟机里(如果centos有图像界面直接火狐下载)
我是使用非root登录,传到了/home/用户名/Desktop
里
回到终端
cd /home/用户名/Desktop
# 火狐下载的直接打开下载目录
# 安装
rpm -ivh jdk-8u202-linux-x64.rpm
2.8配置java环境变量
# 打开环境变量配置文件
vi /etc/profile
文件最后添加
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64
export PATH=$PATH:$JAVA_HOME/bin
# 刷新环境变量使其生效
source /etc/profile
# 测试是否安装成功
java
javac
# 如果有大段使用介绍输出就行
至此java配置成功
2.9安装Hadoop
上面的java有打包好的rpm格式的安装包可以直接安装,但是Hadoop没有,需要手动安装
官方下载地址:
https://hadoop.apache.org/releases.html
网页里找到Binary download
下载包
我使用这个版本:
https://dlcdn.apache.org/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz
依旧是保存到/home/用户名/Desktop
# 进入目录
cd /home/用户名/Desktop
# 解压到/usr/
tar -zxvf hadoop-3.2.4.tar.gz -C /usr/
2.10配置Hadoop环境变量
# 打开环境变量配置文件
vi /etc/profile
文件最后添加
##HADOOP_HOME
export HADOOP_HOME=/usr/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
# 刷新环境变量使其生效
source /etc/profile
# 测试是否安装成功
hadoop version
# 如果有非报错的输出就行
到此Hadoop安装完成