Sqoop报错ERROR tool.ExportTool: Error during export
Sqoop报错ERROR tool.ExportTool: Error during export)
第一步:完整的检查mysql和hive表的结构(字段名称和数据类型)是否一致,以及字段的长度: 比如: 1、字段名称
比如mysql的字段cname hive字段的name,字段不一致就会有问题
2、字段类型
mysql double 字段类型 hive的string导出时如果有格式问题就报错
3.字段的长度,因为hive使用concat的情况也有,会使值的长度很长,如果较长,就会保存,如:
hive的string 对应mysql的text比较好
第二步:查看时间问题?可以将mysql和hive中的时间类型都改成string或varchar类型试一下。如果有导入,但是导入的数据不全或者不对。说明肯定是你的数据类型和实际的数据不一致。
如mysql的timestamp hive 的时间为string
第三步:null值的处理
--input-null-string \N --input-null-non-string \N
第四步:查看分隔符是否跟建表的分隔符一致
--input-fields-terminated-by
mysl表的编码与问题 看job的任务 复制控制台的任务链接 找页面上找到logs 查看更多的日志 异常详细信息
将表编码设置为utf8mb4
若需还原展示该字段,则建议此种方式。
导出脚本示例
sqoop export --connect "jdbc:mysql://xxxx:3306/xxx?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai" --username xxx --password xxx --input-null-string \N --input-null-non-string \N --input-fields-terminated-by --table fb_candidate_info --columns "resume_id, dept_id, dept_name, login_name, rule_id, group_name, cname, channel_source, specific_time, name, phone, e_mail, expect_salary, sex, education, graduation_date, graduation_school, major, order_status, remarks, demand_name, customer_name, customer_job_name, filtrate_status, filtrate_remakes, interview_date, attendance_status, attendance_remarks, interview_status, interview_remarks, offer_status, offer_remarks, initiate_status, entry_status, entry_date, entry_remarks, entry_info, creator, create_time, modify_by, modify_time, creator_name, modify_name" --hcatalog-database fb_data_report --hcatalog-table ads_fb_candidate_info -m 1;
