作者
Matthew
日期
-12-13
标签
datax-web,clickhouse,mysql,datax,数据归档,finenter,财务中台
环境说明
1-ip端口概览
2-版本信息
3-常用url
clickhouse
1-clickhouse-架构图
datax-web
1-datax-web架构图
1、DataXWeb是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。
2、用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。
3、任务"执行器"支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。
4、后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。
2-以writeoff_sales_order表为配置例子
这篇文章以writeoff_sales_order为例子，介绍如何在datax-web上配置一个datax任务
整个流程如下:
添加数据源--创建项目---添加任务模板---创建mysql表--创建clickhouse本地表--创建clickhouse分布式表--构建datax任务--构建定时执行任务---配置告警机制
2.1-添加数据源
2.2-添加项目
2.3-添加datax任务模板
2.4-mysql的表结构如下：
CREATETABLE`writeoff_sales_order`(`id`int(11)NOTNULLAUTO_INCREMENT,`order_type`varchar(30)DEFAULTNULLCOMMENT单据类型,`order_no`varchar(64)DEFAULTNULLCOMMENT财务中台自身订单编号,`customer_code`varchar(32)DEFAULTCOMMENT客户编码,`customer_name`varchar(32)DEFAULTCOMMENT客户简称,`sales_