george
Java 开发工程师
Automation ETL 自动化调度系统
项目描述：Automation 是批量调度数据仓库任务的软件工具，整体采用分布式的 B/S 架构，Web 端采用 Dubbo
框架构建微服务，后端服务使用 Spring 框架构建。
技术栈：Spring Boot+Spring MVC+Mybatis+Oracle + Dubbo +Javascript
项目职责：
- 主要负责开发维护 Automation 的调度引擎、任务执行器等核心模块，以及数据导入、数据同步、监控告警等外围工具。
- 主导抗疫模式模块的设计及研发，通过梳理离线数仓的技术逻辑和步骤，修改调度引擎的任务调度逻辑，实现大批量动态补数及错误任务的上下游自主查询，极大地降低数据错误造成的影响范围，保证重要任务的正常进行，提高处理效率。
- 通过慢查询和执行计划定位 Oracle 数据库查询瓶颈，并解决从内部数据库至 Oracle 数据库迁移的语法适配，通过 SQL 优化以及修改索引将查询时间从 120s 降低至 4s。
- 使用 Spring Boot 实现动态定时任务，并通过梳理业务逻辑，增加任务分级管理，提升了监控告警的准确性，并优化服务质量，提升客户满意度。
- 主导服务器迁移的方案制定和项目统筹，完成从 Unix 迁移至 Linux 的部署，包含网络、服务、数据库、中间件、数据工具等，有效提升运行速度，扩大系统内存，保证系统的平稳迁移。
- 使用 Druid 实现多数据源加密连接，提高系统安全性；升级 Dubbo、Spring 等相关组件依赖，解决系统漏洞和安全隐患。
- 负责 Java7 至 Java8 的版本升级，完成开发、测试、代码修复及微服务组件的迁移部署等全流程升级管理。
项目业绩：该系统每日调度近 5 万个 ETL 任务，系统故障率低于 5%，根据客户的需求不断深度定制化，尽可能满足了客户的应用场景。
浙公网安备33011802001633号
浙ICP备1805484号-2
浙ICP备1805484号-2