基于Kafka和Spark的实时数据质量监控平台.ppt
上传人:天马****23 上传时间:2024-09-11 格式:PPT 页数:31 大小:21.5MB 金币:10 举报 版权申诉
预览加载中,请您耐心等待几秒...

基于Kafka和Spark的实时数据质量监控平台.ppt

基于Kafka和Spark的实时数据质量监控平台.ppt

预览

免费试读已结束,剩余 21 页请下载文档后查看

10 金币

下载此文档

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

改变中的微软微软应用与服务集团(ASG)ASG数据团队我们要解决什么问题快速增长的实时数据Kafka上下游的数据质量保证工作原理简介工作原理Metadata工作原理–数据与审计流数据时延的Kibana图表数据完整性Kibana图表发送Audit的代码查询统计信息的APIs设计概述数据监控系统设计需要达成的目标系统设计系统设计系统设计系统设计高可靠性可信的质量监控问题的诊断问题的诊断目标回顾40executors6machinesforSparkHA(3+3)16Kafkamachines(8+8)10ElasticSearchmachines(5+5)Total72machinesacross2DCsLinearscaleout版本团队微信