概述
什么是流处理?
Cloudera流处理(CSP)通过提供分析复杂模式流数据并获得可操作情报的功能，使客户能够将流转换为数据产品。
CSP由Apache Flink和Kafka提供支持，提供了一个完整的企业级流管理和有状态处理解决方案。Kafka作为存储流基板，Flink作为核心流内处理引擎，以及对SQL和REST等行业标准接口的一流支持，使得开发人员、数据分析师和数据科学家可以轻松构建混合流数据管道，为实时数据产品、仪表板、商业智能应用程序、微服务和数据科学笔记本提供支持。bob投注下载
欺诈检测、网络威胁分析、制造智能、商业优化、实时报价、即时贷款审批等用例现在可以通过将数据处理组件向上移动来解决这些实时需求。
混合流数据管道驱动
由cloudera流处理
用例
欺诈检测
客户分析
市场监测
日志分析
功能
-
流式分析由Apache Flink支持
-
由Apache Kafka支持的流消息传递
流分析
由Apache Flink与SQL流生成器提供支持，Cloudera流分析提供:
- 低延迟流处理能力
- 允许用户通过REST端点使用行业标准SQL和api编写流应用程序，从而简化开发
- 高级窗口技术，用于构建复杂的事件驱动分析
- 支持多云和混合云模型
SQL Stream Builder (SSB)是一个全面的交互式用户界面，用于使用SQL创建有状态流处理作业，这些作业可以转换为优化的Flink作业。通过使用SQL，您可以简单而轻松地声明用于过滤、聚合、路由和更改数据流的表达式。SSB是一个作业管理接口，您可以使用它在流上组合和运行SQL，并为结果创建持久的数据api。
确保数据在任何时候都只被处理一次，即使是在错误和重试期间。例如，当消费者支付房屋抵押贷款bob sportsbob投注下载 app时，金融服务公司需要使用流处理来协调数百个后台交易系统。
检测和处理无序的流事件。例如，实时欺诈服务需要确保数据以正确的顺序处理，即使数据延迟到达。bob投注下载
实现内存中，一次一次的流处理性能。例如，处理3000万活跃用户的信用卡支付、转账和余额查询请求，延迟时间为毫秒。
在处理数百个流媒体源和每个流每秒数百万个事件时触发事件。例如，当患者进入急诊室时，系统会联系外部系统，从数百个来源提取患者特定的数据，以便在患者到达检查室时在EMR中可用。
流数据没有什么价值，除非它可以轻松地集成、联接这些流，并将其与其他静止数据源(包括仓库、关系数据库和数据湖)进行网格化。使用开箱即用的连接器或您自己的到任何数据源的连接器配置数据提供程序。一旦创建了数据提供者，用户就可以使用DDL轻松创建虚拟表。使用联接和聚合等知名SQL结构，多个流和批处理数据源之间的复杂集成变得更加容易。
流信息
由Apache Kafka支持，Cloudera流消息提供:
- 流消息管理器监视/操作集群
- 用于HA/DR部署的Streams复制管理器
- 模式注册表，用于集中的模式管理
- Kafka连接简单的数据移动和更改数据捕获和巡航控制智能再平衡和自我修复
- 支持多云和混合云模型
支持每秒数百万条消息，低延迟和高吞吐量，弹性伸缩和透明，没有停机时间。解决广泛的流数据计划，使企业能够跟上客户需求，提供更好的服务，并主动管理风险。bob投注下载
Streams Messaging Manager提供了一个单窗格的玻璃视图，端到端可见数据如何在Kafka集群(生产者、代理、主题和消费者)之间移动，允许您跟踪数据沿袭和从边缘到云的治理。它还通过智能过滤和排序简化了Kafka环境的故障排除。
Streams Replication Manager基于Mirrormaker 2，提供容错、可扩展、健壮的跨集群Kafka主题复制，以及集群和主题级别的复制监控和度量。提供高可用性、灾难恢复、云迁移、地理邻近性等等。
Schema Registry让你在一个共享的模式存储库中管理、共享和支持所有生产者和客户模式的演进，允许应用程序在Kafka环境中灵活地相互交互。安全地减少由于模式不匹配而引起的中断。
巡航控制可以让你管理和负载平衡大型Kafka安装，以及自动检测和修复异常。解决硬问题，如频繁的硬件/虚拟机故障、集群扩展/减少和代理之间的负载倾斜。
Cloudera有关提供跨所有组件的集中安全性、控制策略、治理和数据沿袭。它们设置一次并自动执行，与供应商无关，允许您自信地采用多云和混合云策略。支持安全性的四个主要支柱:身份、访问、数据保护和可见性。
云中的流处理
通过完全安全、受治理、弹性的集群，消除云配置和基础设施设置的复杂性，在AWS、Azure和GCP上只需不到10分钟即可启动。
数据中心流分析
Streaming Analytics for Data Hub将Apache Flink和SQL Stream Builder整合到公共云中，通过SQL或应用程序代码将实时数据的流处理带入混合云环境。
数据中心的消息流
Streams Messaging for Data Hub扩展了您的本地Apache Kafka投资，通过在公共云中创建Kafka集群，提供一套全面的企业管理功能，解决模式治理、监控、灾难恢复、智能再平衡以及健壮的访问控制和审计。
进行流处理产品参观
