Stormトポロジーを使って人々のアクティビティを分析する(非推奨) - 7.3

Kafka

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > メッセージングコンポーネント > Kafka
データガバナンス > サードパーティーシステム > メッセージングコンポーネント > Kafka
データクオリティとプレパレーション > サードパーティーシステム > メッセージングコンポーネント > Kafka

StormのフレームワークはTalend 7.1以降、非推奨となっています。ストリーミング関連のタスクを実行するには、Apache Sparkストリーミング用のTalendジョブを使用してください。

Talendでサポートされているテクノロジーの詳細は、Talendコンポーネントを参照してください。

このシナリオは、Talend Real Time Big Data PlatformおよびTalend Data Fabricにのみ適用されます。

このシナリオでは、所定の人々のアクティビティに関するメッセージを、設計するトポロジーに送信する目的で、コンポーネント4つのStormジョブ(トポロジー)を作成します。これは、それらのアクティビティの人気を分析するためです。

このジョブは、Kafkaトピックプロデューサーが作成した関連項目をサブスクライブします。つまり、メッセージのフィードを維持するには、メッセージングシステムにKafkaクラスターをインストールする必要があります。Kafkaメッセージングサービスの詳細は、Kafkaに関するApacheのドキュメンテーションを参照してください。

他方、このジョブはStorm上で実行されるため、Stormシステムをすぐに使える状態にしておく必要があります。Stormの詳細は、Stormに関するApacheのドキュメンテーションを参照してください。

Hortonwork Data Platform 2.1 (HDP2.1)にインストールされているStormシステムを使用する場合、Storm DRPC (分散リモートプロシージャーコール)サーバーの名前がAmbariのWebコンソールでStormの[Config] (設定)タブのCustom storm.yamlセクションで適切に定義されていることを確認します。たとえば、Server1およびServer2という2つのStorm DRPCサーバーを使用し、Custom storm.yamlセクションで次のように定義する必要があります: [Server1,Server2]

このシナリオを複製するには、次の手順に従います。