Jay_杨
大数据开发工程师
Project GIMO-PA and EQ & Coral
1. Poject GIMO分为Project IC/GIPC、Project PA and EQ、Project FI、Project Coral 5大子项目,其中IC/GIPC、PA and EQ属于File to File形式的开发项目,FI以及Coral属于File to DB的开发项目.
2. Project PA and EQ总共有4000多个monthly and daily的file(文件名+文件路径+project ID+interface_id+文件格式xlsx or csv+日期+传输模式 full or delta+alert 提示等需要提前整理), 通过pipeline 各组件以及存储过程将其从landing存储到curated供PBI使用.
3. Project Coral 涉及6个新source file进Coral DB,三个GULPB DB到Coral DB,10个大指标,70多个具体细化逻辑,100多个DDL 语句:DB Table+View+数据逻辑插入等,最终PBI从DB取数进行5个Dashboard展示.
4. 利用Logic app与pipeline相结合触发office365邮箱提醒相关用户汇报数据问题(source file missing、user上传的历史file、pipeline fail、data validation等).
5. 开发结束后,进行UT/SIT/UAT测试并编写相应的report+promotion plan去拿对应的approval.
6. 在User确认UAT无误后走PRD流程,配合Devops同事进行PRD部署.
7. 每天监控实际的数据情况,如有问题需要汇报PM走流程进行Rerun 或者通知user去上传缺失的file.
logo
浙公网安备33011802001633号
浙ICP备1805484号-2