Talend抽数工具使用整理

使用talend 创建一个作业步骤流程如下：

–首先配置作业中使用到的数据库连接(Hive组件：tHiveConnection、oracle组件：tDBConnection、impala组件：tImpalaConnection)和表的对象(使用tjava组件)最后还需要建立一个警告（警告组件tWarn）用来捕获作业中的异常消息日志 1.先建立tPrejob（是一个开始组件）组件 用来触发需要执行的任务作业 2. .…… 3.后置处理：tPostjob组件

Hive 认证：
#!/bin/bash
kinit -kt /opt/Talend-7.1.1/keytabs/hive.keytab hive/~~admin01.cdhtest.bank.cn@CDHTEST.BANK.CN~~ 
beeline -u "jdbc:hive2://~~admin01.cdhtest.bank.cn:10000/;principal=hive/admin01.cdhtest.bank.cn@CDHTEST.BANK.CN" --color=true --maxWidth=10000 --showHeader=true~~ 

Talend  
Tjava 组件自定义java 中
使用context.put("result_status", "1");  加载到类中的key 值 使用context.get(result_status) 得到键值
写在上下文中的变量可以通过 context.result_status得到

Talend组件的应用介绍整理

主线连接：需要传值进来 Talend中java日期转换

Date oldDate  = TalendDate.parseDate("yyyy-MM-dd", context.scheduleDate);
Date newDate1 = TalendDate.addDate(oldDate, -2, "dd") ;
String newDate2 = TalendDate.formatDate("yyyyMMdd", newDate1);	
context.put("dirname",newDate2);
System.out.println("T+3日期：" + context.get("dirname"));
context.put("remoteDirectory", context.ftpDirectory);
	
OracleResultSet obj = (OracleResultSet)row9.obj;
Date dbSwitchDate = obj.getDate("SWDATE");
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd" );
context.scheduleDate = sdf.format(dbSwitchDate);
System.out.println("调度日期=" + context.scheduleDate + ";可执行日期=" + context.executableDate);

Talend job上线作业的基本配置信息

Teland 打包有问题替换 :Talend-Studiostudioconfiguration.m2下的库文件

检查日切配置： (组件getCutDate)

日切是一个tac的定时job 查bigdata的oracle数据库，如果记入日切job上下文的所有系统（例如:s00 s15 s16）的日常卸数表，在数据库的schedu_log表中都有两条成功数据，也就是代表着今天所有大数据的跑批都成功，日切就会到达下一天。

待修定补充……