• 注册
  • BBS 大数据 关注:2 内容:74

    mapreducer 编程(2)

  • 查看作者
  • 打赏作者
  • 拉黑名单
  • 当前位置: 字节脉搏 > 大数据 > 正文
    VIP
    字节脉搏运营

    mapreducer 编程,多目录输出、innerjoin 实现、多目录输入并指定所用 mapper

    1. 多目录输出#

    maxout/max
    maxout在输出目录下新建的文件夹
    max输出文件的前缀
    mapreducer 编程(2)
    结果
    mapreducer 编程(2)

    以下内容回帖刷新可见………………#

    文件前缀
    mapreducer 编程(2)

    2. innerjoin实现#

    map实现使用FileSplit inputSplit = (FileSplit) context.getInputSplit();取得输入文件路径,用文件路径判断是数据那个数据集
    mapreducer 编程(2)
    reducer实现,实现join的拼接
    mapreducer 编程(2)
    job配置
    mapreducer 编程(2)
    输入数据1
    mapreducer 编程(2)
    输入数据2
    mapreducer 编程(2)

    运算结果
    mapreducer 编程(2)

    3. 多目录输入并指定每个目录所用的mapper#

    mappe1r实现
    mapreducer 编程(2)
    mapper2实现
    mapreducer 编程(2)
    job配置
    mapreducer 编程(2)
    reducer实现同第2步
    输入和输出数据同第2步

    来自海牛部落-青牛,http://hainiubl.com/topics/95

    请登录之后再进行评论

    登录
  • 做任务
  • 帖子间隔 侧栏位置: