• 注册
  • BBS 大数据 关注:2 内容:74

    Hadoop(十)Windows 开发 wordcount

  • 查看作者
  • 打赏作者
  • 拉黑名单
  • 当前位置: 字节脉搏 > 大数据 > 正文
    VIP
    字节脉搏运营

    1. 需要的软件#

    Hadoop(十)Windows 开发 wordcount

    2. 解压eclipse#

    Hadoop(十)Windows 开发 wordcount

    以下内容回帖刷新可见………………#

    3. 解压maven#

    Hadoop(十)Windows 开发 wordcount

    4. 修改maven配置使用阿里提供的maven源#

    Hadoop(十)Windows 开发 wordcount

    5. eclipse使用的java版本#

    Hadoop(十)Windows 开发 wordcount

    6. eclipse配置maven#

    Hadoop(十)Windows 开发 wordcount
    修改maven配置
    Hadoop(十)Windows 开发 wordcount

    7. eclipse配置代码模板#

    Hadoop(十)Windows 开发 wordcount

    8. eclipse设置字体大小#

    Hadoop(十)Windows 开发 wordcount

    9. eclipse安装插件#

    ExploreFS的安装地址:
    在线安装:http://www.junginger.biz/eclipse/
    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount

    重启ECLIPSE
    Hadoop(十)Windows 开发 wordcount
    eclipseFS使用方法

    Hadoop(十)Windows 开发 wordcount

    Eclipse正则表达式插件 Regex Util
    插件安装
    把下载的插件放到eclipse目录下的plugins文件夹里
    Hadoop(十)Windows 开发 wordcount

    之后重启eclipse
    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount

    10. 创建wordcount maven项目#

    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount

    11. 检查项目使用的jdk#

    Hadoop(十)Windows 开发 wordcount

    12. 通过maven增加hadoop-client#

    Hadoop(十)Windows 开发 wordcount
    查看build path里面maven已经下载的hadoop依赖包
    Hadoop(十)Windows 开发 wordcount

    13. 包结构#

    Hadoop(十)Windows 开发 wordcount

    创建包结构的本地文件目录
    Hadoop(十)Windows 开发 wordcount

    14. 写mapreducer的顺序#

    继承Mapper类,实现map函数
    继承Reducer类,实现reduce函数
    设置Job相关信息
    提交Job运行

    15. 创建wordcount类继承configured,实现tool接口#

    Hadoop(十)Windows 开发 wordcount

    16. 实现mapper内部类#

    Hadoop(十)Windows 开发 wordcount

    17. 实现reducer内部类#

    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount

    18. 设置Job相关信息#

    Hadoop(十)Windows 开发 wordcount

    19. 提交job运行#

    Hadoop(十)Windows 开发 wordcount

    20. 增加自动删除目录方法#

    Hadoop(十)Windows 开发 wordcount

    21. 配置输入输出路径,并把测试数据放到输入/tmp/input目录里#

    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount

    22. 运行任务查看任务结果#

    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount

    23. 增加job日志#

    新建resource源码目录
    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount
    拷贝hadoop配置下的log4j文件到新建的resource源码文件目录里
    Hadoop(十)Windows 开发 wordcount
    Hadoop(十)Windows 开发 wordcount
    这样运行就会打印出log4j日志
    Hadoop(十)Windows 开发 wordcount

    来自海牛部落-青牛,http://hainiubl.com/topics/89

    请登录之后再进行评论

    登录
  • 做任务
  • 帖子间隔 侧栏位置: