Sqoop报错ERROR tool.ExportTool: Error during export

Sqoop报错ERROR tool.ExportTool: Error during export)

第一步:完整的检查mysql和hive表的结构(字段名称和数据类型)是否一致,以及字段的长度: 比如: 1、字段名称

比如mysql的字段cname  
hive字段的name,字段不一致就会有问题

2、字段类型

mysql
double 字段类型
hive的string导出时如果有格式问题就报错

3.字段的长度,因为hive使用concat的情况也有,会使值的长度很长,如果较长,就会保存,如:

hive的string
对应mysql的text比较好

第二步:查看时间问题?可以将mysql和hive中的时间类型都改成string或varchar类型试一下。如果有导入,但是导入的数据不全或者不对。说明肯定是你的数据类型和实际的数据不一致。

如mysql的timestamp
hive 的时间为string

第三步:null值的处理

--input-null-string \N 
--input-null-non-string \N 

第四步:查看分隔符是否跟建表的分隔符一致

--input-fields-terminated-by 	 

mysl表的编码与问题 看job的任务 复制控制台的任务链接 找页面上找到logs 查看更多的日志 异常详细信息

将表编码设置为utf8mb4

若需还原展示该字段,则建议此种方式。

导出脚本示例

sqoop export 
--connect "jdbc:mysql://xxxx:3306/xxx?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai" 
--username xxx 
--password xxx 
--input-null-string \N 
--input-null-non-string \N 
--input-fields-terminated-by 	 
--table fb_candidate_info 
--columns "resume_id, dept_id, dept_name, login_name, rule_id, group_name, cname, channel_source, specific_time, name, phone, e_mail, expect_salary, sex, education, graduation_date, graduation_school, major, order_status, remarks, demand_name, customer_name, customer_job_name, filtrate_status, filtrate_remakes, interview_date, attendance_status, attendance_remarks, interview_status, interview_remarks, offer_status, offer_remarks, initiate_status, entry_status, entry_date, entry_remarks, entry_info, creator, create_time, modify_by, modify_time, creator_name, modify_name"  
--hcatalog-database fb_data_report 
--hcatalog-table ads_fb_candidate_info 
-m 1;
经验分享 程序员 微信小程序 职场和发展