• 注册
  • BBS 大数据 关注:2 内容:74

    (九)hadoop 的 Windows 伪分布式环境部署

  • 查看作者
  • 打赏作者
  • 拉黑名单
  • 当前位置: 字节脉搏 > 大数据 > 正文
    VIP
    字节脉搏运营

    1. mapreducer shuffle过程回顾#

    (九)hadoop 的 Windows 伪分布式环境部署

    2. 需要的软件#

    https://github.com/steveloughran/winutils
    winutils-master
    (九)hadoop 的 Windows 伪分布式环境部署

    以下内容回帖刷新可见………………#

    编译之后的hadoop2.7.3的tar包

    3. 把hadoop和winutils解压#

    4. 复制解压之后的winutils文件#

    复制到解压之后的hadoop文件夹的bin目录里面,不要覆盖已存在的文件
    (九)hadoop 的 Windows 伪分布式环境部署
    (九)hadoop 的 Windows 伪分布式环境部署

    5. 在WINDOWS上配置环境变量#

    (1).HADOOP_HOME
    (九)hadoop 的 Windows 伪分布式环境部署
    (2).把hadoop的bin和sbin配置到path环境变量里
    ;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
    (九)hadoop 的 Windows 伪分布式环境部署

    6. 设置hadoop配置文件#

    core-site.xml
    (九)hadoop 的 Windows 伪分布式环境部署

    hdfs-site.xml
    (九)hadoop 的 Windows 伪分布式环境部署
    maprd-site.xml
    (九)hadoop 的 Windows 伪分布式环境部署
    yarn-site.xml
    (九)hadoop 的 Windows 伪分布式环境部署
    hadoop-env.cmd
    (九)hadoop 的 Windows 伪分布式环境部署
    把修改好的配置文件覆盖hadoop-2.7.3\etc\hadoop目录
    (九)hadoop 的 Windows 伪分布式环境部署

    7. 测试hadoop命令#

    打开cmd输入set查看设置的环境变成是否生效
    (九)hadoop 的 Windows 伪分布式环境部署
    输入hadoop version查看hadoop的版本
    (九)hadoop 的 Windows 伪分布式环境部署

    8. 格式化namenode#

    hadoop namenode -format
    (九)hadoop 的 Windows 伪分布式环境部署

    9. 启动dfs#

    start-dfs.cmd 之后弹出两个窗口
    namenode
    (九)hadoop 的 Windows 伪分布式环境部署
    datanode
    (九)hadoop 的 Windows 伪分布式环境部署
    之后在电脑上的c盘就能看到tmp目录,里面有namenode文件和datanode文件

    启动成功之后就可以查看hdfs的web页面
    (九)hadoop 的 Windows 伪分布式环境部署

    10. 启动yarn#

    start-yarn.cmd之后弹出两个窗口
    resourceManager
    (九)hadoop 的 Windows 伪分布式环境部署
    nodeManager
    (九)hadoop 的 Windows 伪分布式环境部署
    查看yarn的web界面
    (九)hadoop 的 Windows 伪分布式环境部署

    11. 测试hdfs是否好用#

    (九)hadoop 的 Windows 伪分布式环境部署

    12. 开启和关闭#

    start-all.cmd开启hadoop
    stop-all.cmd关闭hadoop

    来自海牛部落-青牛,http://hainiubl.com/topics/88

    请登录之后再进行评论

    登录
  • 做任务
  • 帖子间隔 侧栏位置: