シナリオ: Stormトポロジーを使用して人々のアクティビティを分析する - 7.0

Talend Data Fabric入門ガイド

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Data Fabric
task
インストールとアップグレード
ジョブデザインと開発
データクオリティとプレパレーション > データクレンジング
データクオリティとプレパレーション > データプロファイリング
EnrichPlatform
Talend Administration Center
Talend DQ Portal
Talend Installer
Talend Runtime
Talend Studio
このシナリオでは、所定の人々のアクティビティに関するメッセージを、設計するトポロジーに送信する目的で、コンポーネント4つのStormジョブ(トポロジー)を作成します。これは、それらのアクティビティの人気を分析するためです。

このジョブは、Kafkaトピックプロデューサーが作成した関連項目をサブスクライブします。つまり、メッセージのフィードを維持するには、メッセージングシステムにKafkaクラスターをインストールする必要があります。Kafkaメッセージングサービスの詳細は、Kafkaに関するApacheのドキュメンテーションを参照して下さい。

他方、このジョブはStorm上で実行されるため、Stormシステムをすぐに使える状態にしておく必要があります。Stormの詳細は、Stormに関するApacheのドキュメンテーションを参照して下さい。

Hortonwork Data Platform 2.1 (HDP2.1)にインストールされているStormシステムを使用する場合、Storm DRPC (分散リモートプロシージャコール)サーバーの名前がAmbariのWebコンソールでStormの[Config] (設定)タブのCustom storm.yamlセクションで適切に定義されていることを確認します。たとえば、"Server1"および"Server2"という2つのStorm DRPCサーバーを使用し、Custom storm.yamlセクションで次のように定義する必要があります: [Server1,Server2]