行业资讯

数据开发治理平台

2023-05-31
浏览次数:
返回列表

基于数据生产力方法论打造的一站式数据开发治理平台,在业内首先提出并实现开发治理一体化。强调可持续集成、可持续交付、可持续部署的DataOps数据开发能力,提供数据集成、数据开发、任务运维等产品。结合包括元数据管理、数据标准、指标系统、数据建模等在内的DataFusion数据治理能力,聚焦企业数字化转型,深挖数据价值,提升企业数据生产力。


聚焦研发场景,覆盖数据全链路开发及管理流程(痛点分析)


痛点描述 : 数据是重要的资产,合理地使用能为企业带来巨大的价值,但同时数据的泄露则会对企业造成更大的风险


方案及特色 : 支持私有化部署及混合部署,用户无需将数据传输到外部环境,彻底保障数据自主权。同时支持数据权限控制、数据脱敏、审计、高危风险告警,确保数据绝对安全


痛点描述 : 当数据质量出现问题,不能及时地警报通知,只能先发现后治理再进行任务返工,影响数据产出和决策


方案及特色 : 支持表级、字段级强弱规则配置,系统内置多种监控规则,自动生成分析报告;结合数据测试报告、数据资产等级、代码比对、任务调度等功能在资损、财报等场景



痛点描述 : 面对复杂的业务和海量数据表,不知如何有效进行数仓建设、数据组织,以及如何衡量数仓的建设水平


方案及特色 : 简单可视化的多人协作管理、开发,有效缩短开发周期;独创的数仓模型评估体系保障建模流程规范可控;结构化地构建统计指标体系,保障指标体系唯一可信,避免重复性建设



痛点描述 : 对于线上调度的任务,会遇到实例失败或延期的问题,需要临时通知值班人员处理,运维成本居高不下


方案及特色 : 通过标准的模型和指标建设,减少重复性建设;打通技术元数据、业务元数据;同时提供小文件治理、生命周期管理、代码级查询成本核算等专题治理工具,实现成本的精细化管理



数据开发我们提供开放组件式、插件化产品架构,开放的API 集成生态,支持多种部署方式,支持跨多云平台的部署管理和灾备



系统支持:


指标统一管理

在指标系统完成基于审批流程的指标规范化定义,严格定义指标规范,规避指标二义性;支持和其它产品联动影响和展示,产品如模型设计中心、数据地图、数据服务、有数BI等


海量数据传输

可通过数据传输产品完成丰富数据源之间的互相传输;底层采用Spark技术引擎,Spark的分布式能力可以很好的支持大数据量的数据传输;支持场景数据源的流控


模型设计及评估

在模型设计中心完成数仓主题域或分层的设计,通过工单审批方式,完成数据模型的设计、修改。在设计过程中完成模型核心属性落地,同时提供相关核心指标来引导数据建设



开发/线上模式

对于数据开发而言,提供开发模式和线上模式,来实现代码隔离,保障开发工作不直接影响线上任务,支持多版本控制;支持测试功能,实现数据和yarn资源隔离



数据质量控制

提供离线开发的提交上线的CI/CD流程控制能力,包括代码扫描、形态探查、数据比对、节点测试检测、产出影响检测、质量监控规则配置检测等;支持工单审批


数据服务能力

在数据服务中可实现API对外提供数据服务能力,可对下游应用屏蔽数据源细节;通过向导模式和SQL模式,快速完成API自动构建;API支持降级限流熔断等功能


数据导出3D影像


数据可以用在各种3D显示场景,包含(大)数据平台、数据集成、数据建模、数据治理相关平台及工具以及数据标准体系建设方法论,助力企业数字化转型,让数据产生价值。


搜索