datax安装 及 springboot整合 datax

换了新工作,Java出身的我,弄点大数据的活.

datax安装

环境要求

1.jdk1.8 2.python

这里我下载的是最新版本的 DataX3.0 。下载地址为：

解压
[root@localhost /]# tar -zxvf datax.tar.gz -C /opt/soft/
[root@hadoop ~]$ cd /opt/software/datax/
[root@hadoop datax]$ bin/datax.py job/job.json

出现如图则安装成功

json文件就不示例了,以下是springboot整合datax,主要的问题是jar包环境的问题,这个磨了好久才能出来.

先把源码下载或者clone下来, 用idea打开.

重点

1.在根目录的pom文件中,把不需要的模块给注释掉(打包时间短) 2.把你需要的转换的数据源模块打开,我的业务需要是txtreader和mysqlwrite. 3.这个时候,maven打包,先选择root打包(第一次需要) 重点又来了 4.

(1)在core包里面新建一个 plugin 目录,位置如下

(2)上图可以看出需要引一些东西. 在txtreader和mysqlwriter中的的target包中复制到上图的目录中, mysql示例如图 (3)把core打包生成jar包(后面为我们的springboot项目使用)

ok,jar包环境搞定.不要问我为什么这么做,也是公司大佬教我的.不用像其他博客说的,一个一个打包,一个一个引入,一个一个写maven导入,太麻烦了

.

新建springboot项目

看图,大家大概了解了,给大家解释一下,新建目录变成资源目录,在把我们之前打好的jar包复制进去,其他两个是基础包,core是最重要的.下图是变成资源目录的方式

我们建立一个main方法

public class datax {
          
   
    public static void main(String[] args) {
          
   
        String getCurrentClasspath = "D:\project\datax\DataX\core\src\main";
        System.setProperty("datax.home", getCurrentClasspath);
        String[] datxArgs = {
          
   "-job", "D:\project\demo\src\main\job\txt2mysql.json", "-mode", "standalone", "-jobid", "-1"};
        try {
          
   
            Engine.entry(datxArgs);
        } catch (Throwable e) {
          
   
            e.printStackTrace();
        }
    }
}

解释一下: getCurrentClasspath:是源码目录,不是指向项目的目录. 网上有教程说用环境变量的,但是我不会. datxArgs 改变你的json目录就行. json去github上研究就行.这里不介绍了.

这篇文章的重点是把打包后数据源jar包复制给core,core再打包一次就可以直接用了