Web开发

注册

 

发新话题 回复该主题

大数据小白DataXWeb先跑起来 [复制链接]

1#
刘*连医术怎么样 http://news.39.net/bjzkhbzy/210729/9249123.html

大致看了下大数据用到的技术栈,两个字太多,要快速入门,可谓困难重重,经过一段时间的摸索,先从ETL入手,比较符合传统开发人员转型大数据攻城狮。现在软件行业这么内卷,筒子们转型大数据开发吧。此次介绍的ETL工具很轻量级,入门容易,大厂背书,皮实耐操。

简介

Datax-web基于datax,增加了web界面

Datax运行时依赖python环境,默认通过命令行执行

Datax可以在各种数据源间同步数据,配置文件基于一个json文件,包括reader和writer

Datax-web把Datax基于命令行任务通过java代码串联了起来,并提供了可视化的任务管理

打包或者直接下载安装包

datax下载代码,本地打包

datax-web下载代码,本地打包

datax-admin-dev2.1.3打包之后有问题,MYSQL

前端代码包含在admin模块的static中

部署

依赖于jdk,python,mysql

1解压设置环境变量:

DATAX_HOME=/home/docker/datax-web/datax

JAVA_HOME=/home/docker/datax-web/jdk1.8.0_

exportJAVA_HOMEDATAX_HOME

2安装datax-web

交互式安装

/home/docker/datax-web/datax-web/bin/install.sh

修改数据库配置:

/home/docker/datax-web/datax-web/modules/datax-admin/conf/application.yml

3启动应用

/home/docker/datax-web/datax-web/bin/start-all.sh

包括两个应用:datax-admin,datax-executor

一个控制器,一个执行器

4查看

Ps–ef

grepdatax

查看日志确认真正起来:

Modules/datax-admin/logs

Modules/datax-executor/logs

5测试

分享 转发
TOP
发新话题 回复该主题