大数据处理经纬大数据处理平台是一站式大数据处理平台,采用先进的大数据生态底层技术,具备高性能且功能丰富的大数据处理能力,对大数据离线计算、数据仓库建设等多种应用提供有效支撑,是企业建设数据中台、数据仓库,加速数字化转型的基础设施。 产品架构
产品功能1.集群与项目配置。帮助客户高效配置计算引擎和创建项目。目前支持对接引入十多种市面上常见的计算引擎例如Hadoop、MySQL、Oracle、StarRocks等。 2. 数据集成。数据集成将不同数据库的数据相互打通,实现数据自由转化,致力于提供丰富的异构数据源之间的高效的数据同步能力,解决复杂业务背景下的数据同步需求。 3. 数据开发。数据开发面向各引擎提供可视化开发的主界面,赋予用户代码开发、参数配置、任务发布、调度配置的强大能力,让用户轻松构建离线数仓,保证数据生产的高效与稳定。 4. 调度配置。支持天、月、年、小时、分钟、Cron、自定义调度周期等多种调度周期配置,可以灵活满足客户各种业务场景,让用户可以离线安全地去提交周期任务。 5. 任务发布。主要解决多环境间任务、函数、资源、组件等对象的发布问题,可以借助该功能快速实现对象的发布,支持测试生产项目间一键发布和导入导出包的跨环境发布,满足各种复杂的发布场景。 6. 任务运维。任务运维中展示所有提交到调度运行的任务和实例情况。支持对实例进行补数据、冻结重跑、紧急去依赖等操作,让客户在任务运维时能够进行灵活调整。支持基线告警、任务告警等功能,针对任务执行的异常情况可以事前、事中、事后进行通知,让用户可以提早介入对异常情况的管控。 应用场景全域数字仓建设、企业经营分析、面向数据中台的数据治理。 产品优势1.一站式数据开发体验。随时使用产品需要的数据能力,3天即可上手开发,提供多项高级特性让用户有顺畅的开发体验,极大提升了数据中台的自助程度,企业能以更快的速度看到数据中台的价值。 2.开放兼容的开发环境。广泛支持多类型多版本的底座,包括开源/商用的Hadoop(CDP、TDH、MRS等)、RDBS类引擎(包括Greenplum、GaussDB、Oracle等)。 3.海量的异构数据同步。自研分布式同步引擎,可在多种异构数据源之间进行海量的数据同步,可视化的页面封装帮助用户便捷地完成数据同步任务配置。 4.自主可控、国产信创。坚持走自主创新、安全可控的国产化路线,自研各类组件全面兼容适配国产信创环境,包含各类品牌、厂商的CPU、服务器、数据库等,核心技术完全实现自主可控。 |