概述
在任何规模下安全地简化和操作数据管道。
CDP数据工程是唯一专为企业数据工程团队构建的云原生服务。基础上Apache火花， Data Engineering是一个包罗一切的数据工程工具集，通过Apache workflow、高级管道监控、可视化故障排除和综合管理工具实现编排自动化，以简化企业分析团队的ETL流程。
数据工程与Cloudera数据平台，实现端到端可见性和安全性对有关以及与CDP服务的无缝集成，例如bob投注下载数据仓库而且机器学习．CDP的数据工程支持在任何地方的混合云平台上一致、可重复和自动化的数据工程工作流程。
用例
处处自动化数据管道
获得ETL可视性和控制权
始终保持数据完整性
处处自动化数据管道
将高质量的数据集安全地交付给CDP数据仓库、CDP机器学习或任何其他分析工具。
数据工程简化了从机器学习到数据仓库等分析团队的数据管道。通过编排和自动化管道，以安全透明的方式在任何地方交付精心策划的高质量数据集，加快实现价值的时间。
获得ETL可视性和控制权
全面透明地管理数据生命周期。
当试图大规模地跨企业操作数据管道时，管理数据生命周期和控制成本变得越来越复杂。
Data Engineering为容量规划、管道自动化、自动谱系捕获和跨业务用例故障排除提供了一套操作控制和可见性特性。
始终保持数据完整性
完整的数据管道可见性，以保护您的业务。
随着数据数量和复杂性的增长，确保在整个业务中扩展分析工作负载的持续准确性和保真度可能很困难。
数据工程提供原生数据管道监控和警报，以便及早发现问题，并提供可视化故障排除，以便在问题影响业务之前快速解决问题。
编排复杂的数据转换工作流，该工作流由数百个操作人员支持，以满足关键任务分析需求。
数据工程是容器化的、可伸缩的和可移植的，具有隔离的工作负载环境和护栏——支持安全的管道管理，使用按需弹性计算，以经济有效地满足业务sla。
在Spark作业的所有阶段可视化包括CPU、内存和I/O在内的性能指标，以查明性能瓶颈，并在故障排除时识别大海捞针。
通过CLI和REST api利用丰富的作业管理接口，轻松实现自动化并与CI/CD管道和第三方工具等现有工作流集成。
Data Engineering在Kubernetes上提供了一个完全集成的Spark服务，可以自动化和简化工件管理、安全性和资源调度——利用Apache Yunikorn提供FIFO和GANG调度。
通过集中式界面，平台管理员可以管理访问和安全性，然后快速提供新的工作负载，同时轻松监控容量和可视化资源使用情况。SDX还支持完整的生命周期沿袭跟踪，以了解数据的来源和去向。
准备好深入研究了吗?
在Cloudera数据平台上亲身体验数据工程
