bigdatahadoop

hadoop运行环境搭建

本文字数: 704 阅读时长: 3 分钟
阅读次数次

虚拟机环境准备

  • 1.克隆虚拟机
  • 2.修改虚拟机静态ip
  • 3.修改主机名
  • 4.关闭防火墙
  • 5.创建root用户
  • 6./opt下创建文件夹module和software

详细搭建过程

  • 1.修改ip

    1
    2
    vim /etc/udev/rules.d/70-persistent-net.rules
    vim /etc/sysconfig/network-scripts/ifcfg-ens33

    新版centos无需修改。

  • 2.修改主机名称

    1
    2
    3
    4
    5
    vim /etc/sysconfig/network
    https://blog.csdn.net/solaraceboy/article/details/78563537
    直接hostname +主机名
    hostnamectl/hostname查看
    vim /etc/hosts修改ip及对应的主机名

  • 3.ping主机查看是否网络畅通

    1
    2
    3
    4
    5
    打开主机C:\Windows\System32\drivers\etc\hosts
    修改ip 主机名
    10.167.218.161 h101
    ping h101
    配置hadoop之间无密码登录就和mha一样做个免密

  • 4.root提权

    1
    2
    3
    sudo 
    su root
    vim /etc/sudoers查看

  • 5.创建文件夹（这部分是传输java没必要）

    1
    2
    software存储jar包
    module存储解析jar包后的内容

  • 6.JDK安装

    1
    2
    3
    4
    5
    6
    7
    8
    https://blog.csdn.net/pucao_cug/article/details/68948639
    https://blog.csdn.net/xys2333/article/details/109427522
    https://www.javatt.com/p/59561
    注意centos自带的java是没有jps命令的，需要根据对应版本安装JDK插件，yum install -y  java-1.8.0-openjdk-devel
    再配置环境变量
    vim /etc/profile
    export PATH=$PATH: /usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.141-1.b16.el7_3.x86_64/bin/ 
    source /etc/profile

  • 7.解压各台主机的hadoop

  • 8.hadoop 3.3集群配置完整步骤
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
    1.配置hadoop环境变量
    vim /etc/profile
    配置代理网络
    export http_proxy=http://xxxxx:xxxxx@xxxxx:xxxx
    export https_proxy=https://xxxxx:xxxxx@xxxxx:xxxx

    配置java环境变量
    export PATH=$PATH:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64/jre/bin/

    配置hadoop环境变量
    export PATH=$PATH:/opt/hadoop-3.3.0/bin
    export PATH=$PATH:/opt/hadoop-3.3.0/sbin

    配置/hadoop-3.3.0/etc/hadoop-env.sh
    export JAVA_HOME=$PATH:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64/jre

    2.hadoop各项目录结构
    1.bin目录
    1.hadoop管理整个hadoop集群
    2.yarn资源调度的
    其他命令暂时涉及不到
    hadoop最常用
    2.etc目录（linux中存放配置文件信息）重点
    需要大量修改配置文件
    3.include目录
    不需要了解
    4.lib目录
    本地库，后面的hive和压缩会使用本地库（了解）
    想要支持特定的压缩需要把压缩库集成到lib里面。
    5.sbin 重点掌握
    存在大量hadoop集群启动停止的命令
    hadoop-daemons.sh  slaves.sh  start-all.sh  start-dfs.sh
    start-yarn.sh       stop-all.sh  yarn-daemon.sh等

    6.share 
    存放大量说明文档手册
    ll share/hadoop/mapreduce/
    下面存放了很多的案例和说明文档
分享到