sqoop export导出 map100% reduce0% 卡住的多种原因及解决
先说一下结果,最后查了很久才发现,是因为有一行的数据长度,超过了mysql设定的字段长度。在这里也跟大家汇总一下网上的各种原因,大家可以逐个检查在map 100% reduce 0%时卡住的可能原因:1、长度溢出。导入的数据超过了mysql表的字段设定长度解决办法:重设字段长度即可2、编码错误。导入的数据不在mysql的编码字符集内解决办法:其实在mysql数据库中对应UTF-8字符集的不是utf8编码,而是utf8mb4编码。所以你需要注意两点:导入语句中限定useUnicode=true&characterEncoding=utf-8,表示以utf-8的格式导出;mysql建表语句中有ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;3、内存不足。
下载地址
用户评论