大致看了下大数据用到的技术栈，两个字太多，要快速入门，可谓困难重重，经过一段时间的摸索，先从ETL入手，比较符合传统开发人员转型大数据攻城狮。现在软件行业这么内卷，筒子们转型大数据开发吧。此次介绍的ETL工具很轻量级，入门容易，大厂背书，皮实耐操。
简介
Datax-web基于datax，增加了web界面
Datax运行时依赖python环境，默认通过命令行执行
Datax可以在各种数据源间同步数据，配置文件基于一个json文件，包括reader和writer
Datax-web把Datax基于命令行任务通过java代码串联了起来，并提供了可视化的任务管理
打包或者直接下载安装包
datax下载代码，本地打包
datax-web下载代码，本地打包
datax-admin-dev2.1.3打包之后有问题，MYSQL
前端代码包含在admin模块的static中
部署
依赖于jdk，python，mysql
1解压设置环境变量：
DATAX_HOME=/home/docker/datax-web/datax
JAVA_HOME=/home/docker/datax-web/jdk1.8.0_
exportJAVA_HOMEDATAX_HOME
2安装datax-web
交互式安装
/home/docker/datax-web/datax-web/bin/install.sh
修改数据库配置：
/home/docker/datax-web/datax-web/modules/datax-admin/conf/application.yml
3启动应用
/home/docker/datax-web/datax-web/bin/start-all.sh
包括两个应用：datax-admin,datax-executor
一个控制器，一个执行器
4查看
Ps–ef
grepdatax
查看日志确认真正起来：
Modules/datax-admin/logs
Modules/datax-executor/logs
5测试