宣布针对短期、事件驱动用例的DataFlow函数的GA

概述

控制数据分布,同时允许在任何地方灵活地交付数据。


CDF-PC提供了一种基于流的低代码开发范式,它与开发人员设计、开发和测试数据分发管道的方式最好地保持一致。cdf - pc在混合云服务生态系统(包括数据湖、湖屋、云仓库和本地源)中拥有超过450个连接器和处理器,可提供无差别的数据分发。bob投注下载然后,这些数据分布流可以被版本控制到一个目录中,在这个目录中,操作人员可以自行部署到不同的运行时。

Cloudera公共云的数据流

由Apache NiFi支持的通用数据分发

公共云的CDF图

连接到任何地方的任何数据源、处理并交付到任何目的地

用例

  • 无服务器无代码微服务bob投注下载
  • 接近实时的文件处理
  • 数据湖屋摄取
  • 网络安全和日志优化
  • 物联网和流数据收集

无服务器无代码微服务bob投注下载


DataFlow Functions是第一个构建具有无限伸缩性的微服务的可视化无代码解决方案。bob投注下载

通过在AWS Lambda, Azure函数和谷歌云函数中运行NiFi流,DataFlow函数是第一个提供易于使用的无代码UI的解决方案,用于构建由HTTPS请求触发的微服务。bob投注下载它提供了在无服务器环境中构建具有无限伸缩性的API端点的选项。

无服务器无代码微服务图bob投注下载

接近实时的文件处理


DataFlow函数在无服务器架构中轻松实现接近实时的文件处理。

通过在AWS Lambda、Azure函数和谷歌云函数中运行NiFi流,DataFlow函数提供了最具成本效益的方式来处理文件,无论何时文件都可以在对象存储中使用。资源只在处理数据时运行,NiFi不再需要全天候运行。这还提供了一个完全无服务器的体系结构,不需要任何基础设施运营成本。

接近实时的文件处理图

数据湖屋摄取


通过与任何数据湖屋或数据仓库一起工作的单一工具来实现数据管道的现代化。

Cloudera DataFlow支持超过450个处理器,可以轻松地收集数据并将其转换为您所选择的湖屋所需的格式。

Cloudera DataFlow提供了处理非结构化数据的灵活性,无需强制执行模式,也无需通过应用模式为非结构化数据提供结构,并使用NiFi表达式语言或SQL查询轻松转换数据,从而实现高吞吐量。

Lakehouse摄食图

网络安全和日志优化


通过管理SIEM数据,使数据分析师能够更快、更准确地检测和分析事件。

通过现代化数据收集管道来收集和过滤来自全球数千个来源的实时数据,降低网络安全解决方案的成本。

从成本和性能的角度来看,将所有设备和应用程序日志导入SIEM解决方案并不是一种可伸缩的方法。Cloudera DataFlow允许您从任何地方收集日志数据并过滤掉噪音,使存储在SIEM系统中的数据易于管理。

DataFlow监控dkiagram

物联网和流数据收集


将数据从边缘的物联网设备发送到云中的中央数据流,该数据流可根据需要伸缩。

Cloudera DataFlow是为大规模处理流数据而构建的,允许组织小规模地启动物联网项目,但有信心他们的数据流可以管理由添加更多源设备引起的数据爆发,以及处理间歇性连接问题。

物联网和流数据收集图

关键特性

DataFlow Functions运行时为事件驱动用例提供了一种高效、成本优化、可扩展的方式,以完全无服务器的方式运行NiFi流。

DataFlow部署会根据CPU利用率自动增加或减少NiFi流。可以通过设置自动扩展的最小和最大边界来控制基础设施成本。

使用NiFi的富处理器库连接到任何数据源或目标,包括本地数据源、云数据存储、云数据仓库、日志数据源、云数据分析服务或云业务流程服务。bob投注下载开发人员还可以通过称为ReadyFlows的最小配置快速部署一组预定义的数据流,以实现最常见的数据流用例。

在一个仪表板中监视所有NiFI流部署,无论它们在哪个云上运行。通过为流程部署定义KPI警报来跟踪重要的流程性能指标。

轻松地提供安全、稳定且可伸缩的端点,使任何应用程序都可以轻松地将数据发送到流部署。

Cloudera DataFlow在构建时考虑到了自动化。在UI中执行的任何操作都可以转换为CLI语句进行自动化。部署一个新的NiFi流就像执行一个CLI命令一样简单。

在任何地方开发nifi流并部署到任何云
作为自动伸缩Kubernetes集群或无服务器NiFi流

公有云数据流流程图

公共云中的运行时选项

功能 数据流部署 数据流功能

云运行时

NiFi集群使用
Kubernetes /容器
运行在云提供商的无服务器计算服务(AWS Lambda、Azure函数和谷歌云函数)上的NiFi流bob投注下载

用例

需要低延迟的高吞吐量工作负载,需要始终运行NiFi流的用例 事件驱动,微突发用例,不需要亚秒级延迟,其中NiFi流不需要连续运行

好处

自动缩放Kubernetes集群,用于集中监控长时间运行的工作流 高效、成本优化、可扩展的无服务器运行NiFi流的方式,允许开发人员专注于业务逻辑

计量单位

Cloudera Compute Unit (CCU) 方法调用计数

亲身体验公有云DataFlow

公共云之旅的DataFlow

从边缘收集数据


管理、控制和监控流媒体和物联网计划的边缘,并使用Cloudera edge management提供无代码输入和管理的实时流媒体数据。

bob app官网

产品文档

查找关于公共云的Cloudera DataFlow的技术规范、架构和教程。

了解更多

CDF为公有云定价


评估Cloudera DataFlow跨公共云实例的公共云定价。

bob app官网

数据流概述

着手参观Cloudera DataFlow的公共云。

现在访问

Cloudera社区与nifi

与您的同行联系,询问问题,排除故障,并了解有关Apache NiFi的更多信息。

探索现在

NIFI培训

预订为期三天的Apache NiFi基础知识动手培训课程等。

去学习

产品演示

观看面向公共云的Cloudera DataFlow的介绍和演示。

去看

演示

Cloudera公共云数据平台上的DataFlow功能

网络研讨会

将企业数据从任何地方转移到任何系统变得很容易

新闻

博客:宣布DataFlow函数的GA

网络研讨会

驯服所有流数据管道

世界一流的培训、支持和服务bob投注下载

您的表单提交失败。

这可能是由以下原因之一引起的:

  • 您的请求超时了
  • 一个插件/浏览器扩展阻止了提交。如果您有广告拦截插件,请禁用它并关闭此消息重新加载页面。
Baidu