5分钟搞定 PostgreSQL 到 Doris 数据迁移和同步
简述
Apache Doris 是一个现代化的 MPP 分析型数据库产品，仅需 亚秒级 响应时间即可获得查询结果，能有效地支持实时数据分析。 本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 PostgreSQL 到 Doris 数据同步链路。
技术点
基于 StreamLoad 的导入方式
PG -> Doris 的数据类型支持
Doris 关键技术
Doris 内部自行管理数据的多副本和自动修复。保证数据的高可用、高可靠。在服务器宕机的情况下，服务依然可用，数据也不会丢失。 MySQL 兼容性好，兼容 MySQL 的网络协议，兼容 MySQL 语法。 支持 MMP 一条 SQL 如果包含了合并、聚合计算、排序等多种操作；在执行计划的时候，MPP 会将其拆分成多份，分布到每台机器执行，最后再将结果汇总，大大提升了效率。
操作示例
前置条件
-
登陆 CloudCanal ，使用参见 准备一个 PG 数据库，和 DORIS 实例（本例分别使用自建 PG 12.4 和 Doris 1.0） 登录 CloudCanal 平台 ，添加 PG 和 DORIS
任务创建
-
任务管理-> 任务创建 测试链接并选择 源 和 目标 数据库 点击下一步
-
选择 数据同步，并勾选 全量数据初始化，其他选项默认
-
选择需要迁移同步的表和列
-
确认创建任务
-
任务自动做结构迁移、全量迁移、增量同步
校验数据
-
我们使用程序对源端制造了一些数据
-
任务正常运行一段时间后，停止造数据 点击 PG -> DORIS 任务详情，功能列表 -> 创建相似任务，在创建任务的第二步选择数据校验
-
数据校验 OK
常见问题
支持什么版本的 PG 和 DOIRS ？
目前源端 PG 12.x, 13.x, 14.x 皆可使用 CloudCanal 进行迁移同步，对端 DORIS 支持 1.x 版本，后序将不断扩展源端 PG 的数据类型。
