刘*连医术怎么样 http://news.39.net/bjzkhbzy/210729/9249123.html大致看了下大数据用到的技术栈,两个字太多,要快速入门,可谓困难重重,经过一段时间的摸索,先从ETL入手,比较符合传统开发人员转型大数据攻城狮。现在软件行业这么内卷,筒子们转型大数据开发吧。此次介绍的ETL工具很轻量级,入门容易,大厂背书,皮实耐操。
简介
Datax-web基于datax,增加了web界面
Datax运行时依赖python环境,默认通过命令行执行
Datax可以在各种数据源间同步数据,配置文件基于一个json文件,包括reader和writer
Datax-web把Datax基于命令行任务通过java代码串联了起来,并提供了可视化的任务管理
打包或者直接下载安装包
datax下载代码,本地打包
datax-web下载代码,本地打包
datax-admin-dev2.1.3打包之后有问题,MYSQL
前端代码包含在admin模块的static中
部署
依赖于jdk,python,mysql
1解压设置环境变量:
DATAX_HOME=/home/docker/datax-web/datax
JAVA_HOME=/home/docker/datax-web/jdk1.8.0_
exportJAVA_HOMEDATAX_HOME
2安装datax-web
交互式安装
/home/docker/datax-web/datax-web/bin/install.sh
修改数据库配置:
/home/docker/datax-web/datax-web/modules/datax-admin/conf/application.yml
3启动应用
/home/docker/datax-web/datax-web/bin/start-all.sh
包括两个应用:datax-admin,datax-executor
一个控制器,一个执行器
4查看
Ps–ef
grepdatax
查看日志确认真正起来:
Modules/datax-admin/logs
Modules/datax-executor/logs
5测试