请先关注 [低调大师说] 公众号
您现在的位置是:首页 > 文章详情

Hadoop3单机部署,实现最简伪集群

日期:2021-07-27点击:369

说明

本次实验的环境和软件版本如下表所示
  操作系统   CentOS8
  ip   10.0.0.215
  jdk   jdk-8u291-linux-x64.tar.gz
  hadoop   hadoop-3.2.2.tar.gz


安装准备

1.静态IP

    需要给运行的Linux设置静态IP

2.设置主机名

hostnamectl set-hostname hadoop00

    重启
reboot

    注:hadoop00为主机名,设置完成重启生效

3.配置host映射

vi /etc/hosts

    添加

10.0.0.215 hadoop00


    注:
        10.0.0.215为本机IP
        hadoop00为主机名

4.ssh免密码登录

    4.1.生成公钥
ssh-keygen -t rsa


    4.2.向本机复制公钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


    4.3.验证
ssh hadoop00


        注:输入yes,如果此时没有要求输入密码则配置成功

5.安装jdk

    请参考[Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装]


6.开放指定端口

firewall-cmd --add-port=9870/tcp && firewall-cmd --add-port=9870/tcp --permanent
firewall-cmd --add-port=8088/tcp && firewall-cmd --add-port=8088/tcp --permanent
firewall-cmd --add-port=9000/tcp && firewall-cmd --add-port=9000/tcp --permanent


    注:请参考[CentOS防火墙操作],为了方便可关闭防火墙做实验
systemctl stop firewalld.service && systemctl disable firewalld.service


安装

1.下载Hadoop

    下载地址:http://hadoop.apache.org/

2.解压到任意目录

tar -zxvf hadoop-3.2.2.tar.gz


    如:/data0/hadoop/hadoop-3.2.2

3.创建hadoop数据存放目录

    如:/data1/hadoop/repo
mkdir -p /data1/hadoop/repo


4.修改hadoop配置

    进入配置环境目录
cd /data0/hadoop/hadoop-3.2.2/etc/hadoop


    4.1.修改hadoop-env.sh
vi hadoop-env.sh

        输入

export JAVA_HOME=/data0/java/jdk1.8.0_291
export HADOOP_LOG_DIR=/data1/hadoop/repo/logs/hadoop


        注:
            /data0/java/jdk1.8.0_291为jdk安装目录
            /data1/hadoop/repo为hadoop数据存放目录
    4.2.修改core-site.xml
vi core-site.xml

        输入

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop00:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data1/hadoop/repo</value>
</property>
</configuration>


        注:
            hadoop00为主机名
            9000为端口
    4.3.修改hdfs-site.xml
vi hdfs-site.xml

        输入

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


        注:
            1为数据副本个数
    4.4.修改mapred-site.xml
vi mapred-site.xml

        输入

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>


    4.5.修改yarn-site.xml
vi yarn-site.xml

        输入

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>


5.修改hadoop启动/停止配置
    进入启动脚本目录
cd /data0/hadoop/hadoop-3.2.2/sbin


    5.1.修改dfs.sh的启动/停止命令
vi start-dfs.sh


vi stop-dfs.sh

        都输入

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root



    5.2.修改yarn.sh的启动/停止命令
vi start-yarn.sh


vi stop-yarn.sh

        都输入

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root



6.格式化hdfs

    进入hadoop根目录
cd /data0/hadoop/hadoop-3.2.2


    格式化
bin/hdfs namenode -format


7.启动/停止

    进入hadoop根目录
cd /data0/hadoop/hadoop-3.2.2/sbin


    启动
./start-all.sh


    停止
./stop-all.sh


    查看启动状态
jps


8.web查看状态

    浏览器访问
        http://10.0.0.215:9870
        http://10.0.0.215:8088
关注公众号

Java优质分享中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章