短期間のベントドリブン型ユスケス向けDataFlow FunctionsのGAを発表

概要

デ,タ配信を統制しながら,どこへでも柔軟にデ,タを配信


Cdf-pcは,フロベスのロコド開発パラダムを提供します。開発者がデタ配信パプランを設計,開発,テストするのに最適です。データレイク,レイクハウス,クラウドウェアハウス,オンプレミスのソースなど,CDF-PCはハイブリッドクラウドサービスのエコシステム全体で450以上のコネクターとプロセッサを備えており,ありとあらゆるデータ配信を可能にします。これらのデータ配信フローはカタログでバージョン管理され,オペレーターはさまざまなランタイムにセルフサービスでデプロイできます。

Cloudera数据流用于公共云

Apache NiFiを活用したユニバ,サルデ,タ配信

Cloudera DataFlow for Public Cloudの図

あらゆる場所のあらゆるデ,タソ,スにアクセスして処理し,どこへでも配信可能

ユ,スケ,ス

  • コディング不要のサバレスマクロサビス
  • ほぼリアルタ▪▪ムのファ▪▪ル処理
  • デタレクハウスの取り込み
  • サ▪▪バ▪▪セキュリティとログの最適化
  • IoTデ,タとストリ,ミングデ,タの収集

コディング不要のサバレスマクロサビス


コード不要の初のビジュアルソリューションであるで数据流功能,無限の拡張性を持つマイクロサービスを構築。

数据流功能はAWSλ,Azure功能,谷歌云功能内でNiFiフローを実行し,HTTPSリクエストでトリガーされるマイクロサービスをコーディングせずに構築できる使いやすいUIを実装した初のソリューションです。このソリューションを使用すれば,サーバーレス環境で無限の拡張性を持つAPIエンドポイントをすぐに構築できます。

コディング不要のサバレスマクロサビスの図

ほぼリアルタ▪▪ムのファ▪▪ル処理


数据流功能を使用し,サーバーレスアーキテクチャーでほぼリアルタイムのファイル処理を簡単に実現。

数据流功能なら,AWSλ,Azure功能,谷歌云功能内でNiFiフローを実行し,オブジェクトストアでファイルを利用するたびに,最もコスト効率の高い方法でファイルを処理できます。リソースはデータが処理されているときだけ実行されるため,NiFiを24時間365日実行する必要はもうありません。また,数据流功能ではインフラストラクチャーの運用コストを必要としない完全なサーバーレスアーキテクチャーも提供されます。

ほぼリアルタ▪▪ムのファ▪▪ル処理の図

デタレクハウスの取り込み


あらゆるデ,タレ,

Cloudera数据流は450以上のプロセッサをサポートしており,簡単にデータを収集し,選択したレイクハウスに必要な形式に変換できます。

Cloudera数据流には非構造化データを処理できる高い柔軟性が備わっているため,スキーマを適用したり,スキーマを適用して非構造化データを構造化したりせずに,高いスループットを実現できます。またNiFi表达式语言やSQLクエリを使用してデータを簡単に変換することも可能です。

デタレクハウスの取り込みの図

サ▪▪バ▪▪セキュリティとログの最適化


データアナリストが,SIEMデータをキュレーションして,すばやく正確にイベントを検出し,分析できるように。

データ収集パイプラインを最新化し,世界中の何千ものソースからリアルタイムにデータを収集してフィルタリングすることで,サイバーセキュリティソリューションのコストを削減します。

すべてのデバイスとアプリケーションのログをSIEMソリューションに取り込むことは,コストとパフォーマンスの観点から見て拡張性に優れたアプローチとはいえません。Cloudera数据流なら、どこからでもログデータを収集してノイズを取り除くことができるため、SIEM システムに保存されているデータを管理しやすくなります。

DataFlowの監視の図

IoTデ,タとストリ,ミングデ,タの収集


エッジの物联网デバイスから,必要に応じてスケールアップおよびスケールダウンするクラウド上の中央データフローにデータを送信。

Cloudera数据流はストリーミングデータを大規模に処理できるように構築されています。そのため,小規模な物联网プロジェクトから始めても,ソースデバイスの追加に伴い爆発的に増加するデータの管理や,コネクティビティが断続的になるといった問題にデータフローで確実に対応できます。

IoTデ,タとストリ,ミングデ,タの収集の図

主な特長

数据流功能ランタイムを実装すると,効率と拡張性が高くコストが最適化された方法でNiFiフローを完全にサーバーレスで実行し,イベントドリブンなユースケースに対応できます。

数据流のデプロイメント環境では,CPUの使用率に応じて自動的にNiFiフローをスケールアップおよびスケールダウンします。そのうえ,自動拡張の最小値と最大値を設定することで,。

NiFiの豊富なプロセッサライブラリを使用してあらゆるデータソースやターゲットにアクセスできます(例:オンプレミスのデータソース,クラウドのデータストレージ,クラウドのデータウェアハウス,ログデータソース,クラウドのデータ分析サービス,クラウドのビジネスプロセスサービスなど)。また,開発者はReadyFlowと呼ばれる事前に定義された最小構成のデータフローをすばやくデプロイすることで,最も一般的なデータフローのユースケースを実装できます。

どのクラウドで実行されていても,すべてのNiFiフローデプロイメント環境を単一のダッシュボードで監視できます。また,フローデプロイメント環境のKPIアラートを定義して,重要なフローパフォーマンス指標を追跡できます。

安全で安定した拡張性の高いエンドポイントを容易にプロビジョニングでき,あらゆるアプリケーションからフローデプロイメント環境にデータを簡単に送信できるようになります。

Cloudera DataFlowは自動化を前提に構築されています。UIで実行できるすべてのアクションは,cliコマンドに変換して自動化できます。そのため,CLIコマンドを1つ実行するのと同じくらい簡単に新しいNiFiフローをデプロイできます。

場所を問わずNiFiフロ,を開発し,あらゆるクラウドにデプロ
Kubernetesクラスタやサ,バ,レスNiFiフロ,を自動拡張して実現

公有云DataFlowのフロ,の図

パブリッククラウドのランタ@ @ムオプション

機能 数据流部署 数据流功能

クラウドランタ@ @ム

Kubernetes/コンテナを使用した
NiFiクラスタ
クラウドプロバイダーのサーバーレスコンピューティングサービス(AWSλ,Azure功能,谷歌云功能)で実行されるNiFiフロー

ユ,スケ,ス

常にNiFiフローを実行する高スループットのワークロードに対応するために,低レイテンシが求められるユースケース 1秒未満のレイテンシ要件がなく,NiFiフローを継続的に実行する必要がない,マイクロバースト向けのイベントドリブン型ユースケース

特長

Kubernetesクラスタを自動拡張し,実行時間の長いワ,クフロ,を一元的に管理できる 効率と拡張性が高くコストが最適化された方法でNiFiフローをサーバーレスで実行することで,開発者がビジネスロジックに集中できるようになる

測定単位

Cloudera計算単位(CCU) メソッド呼び出し回数

公有云DataFlowを体験

公有云DataFlowア

エッジからのデ,タ収集


Cloudera边缘管理のコーディング不要のデータ取り込みと管理により,ストリーミングや物联网イニシアティブにおけるエッジの管理,統制,監視を行い,リアルタイムのストリーミングデータを提供します。

始める

製品ドキュメント

Cloudera数据流的公共云の技術仕様,アーキテクチャー,チュートリアルをご覧ください。

さらに詳しく

Cloudera DataFlow for Public Cloudの価格


パブリッククラウドインスタンスでのCloudera数据流的公共云の価格をご覧ください。

詳細

DataFlowの概要ア

Cloudera DataFlow for Public Cloudを実践的にご紹介します。

今すぐ見る

ClouderaコミュニティのNiFiトピック

Apache NiFiについて同業者たちと交流し,質問やトラブルシューティングを行い,知識を得ることができます。

今すぐ調べる

NiFiトレ,ニング

Apache NiFi基礎ハンズオントレーニングの3日間コースなど,さまざまなコースを予約できます。

トレ,ニングに進む

製品デモ

Cloudera DataFlow for Public Cloudの紹介とデモをご覧ください。

今すぐ見る

演示

Cloudera数据平台公有云のDataFlow功能

网络研讨会

企業デ,タをどこからでも,どのシステムへも簡単に移動

新闻

ブログ:DataFlow功能说明のGAの発表

网络研讨会

すべてのストリミングデタパプランを掌握

世界最高クラスのトレ,ニング,サポ,ト,サ,ビス

您的表单提交失败。

这可能是由以下原因之一引起的:

  • 您的请求超时了
  • 一个插件/浏览器扩展阻止了提交。如果您有广告拦截插件,请禁用它并关闭此消息重新加载页面。
Baidu