数据平台管理后台的设计与实现
去年10月,着手重构数据平台同步,结合工作中重复的内容,设计并实现了初步版本,后面记录和分享下实现的思想以及优化的地方,比如页面中有的icon没有替换。写作比码代码其实更累,后面也尝试录制录制视频
前后端分离开发,开发语言:后端:python/golang前端:vue,后台风格vue-admin功能binlog监控,可自动创建监听容器、脚本及web编辑配置,监听增量数据进入rabbitmqrds同步,redis分布式id生成,docker部署及全量历史数据多进程导入队列/增量数据队列消费任务分析,收集统计离线任务日志,可统计开发人员任务耗时情况,便于优化程序自助sql取数,支持传递参数,过千万的表支持配置worker_num及split参数,go协程池并发执行任务,mysql表万数据量,无索引列的空值统计9分钟左右完成导出数据功能,excel万数量限制,go并行导出万行数据仅需18秒,实时查看导出进度整体风格binlog监控rds同步任务任务运行分析自助sql取数导出excelchengcxy