都市内の事故が発生しやすい地域をモデリングする - Cloud - 8.0

Machine Learning

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > 機械学習コンポーネント
データガバナンス > サードパーティーシステム > 機械学習コンポーネント
データクオリティとプレパレーション > サードパーティーシステム > 機械学習コンポーネント

このシナリオは、サブスクリプションベースのビッグデータ関連Talend製品にのみ適用されます。

Talendでサポートされているテクノロジーの詳細は、Talendコンポーネントを参照してください。

このシナリオでは、tKMeansModelコンポーネントを使って、事故が発生しやすい地域をモデリングするために、都市内の救急車の目的地に関するサンプル地理データセットを分析します。

このようなモデルは、病院の建設に最適な場所を判断するのに役立ちます。

このサンプルデータはここからダウンロードできます。緯度と経度のペアで構成されます。

サンプルデータは、デモンストレーションのみを目的としてランダムに自動生成されたものであり、いかなる場合も、現実の世界におけるこれらの領域の状況を反映するものではありません。

前提条件:
  • 使うSparkのバージョンは1.4以降です。

  • サンプルデータがHadoopファイルシステムに保管されており、少なくともそれを読み取るための適切な権限とアクセス権があること。

  • Hadoopクラスターが正しくインストールされ、実行中であること。

これらの要件が不明な場合は、Hadoopシステムの管理者にお問い合わせください。
以下のコンポーネントを使用します:
  • tFileInputDelimited: サンプルデータをジョブのデータフローに読み込みます。

  • tReplicate: サンプルデータを複製し、複製をキャッシュします。

  • tKMeansModel: データを分析してモデルをトレーニングし、モデルをHDFSに書き込みます。

  • tModelEncoder: データを前処理して、tKMeansModelで使う適切な特徴ベクトルを準備します。

  • tPredict: サンプルデータの複製にK-meansモデルを適用します。現実の世界では、このデータは、モデルの精度をテストするための参照データセットである必要があります。

  • tFileOutputDelimited: 予測の結果をHDFSに書き込みます。

  • tHDFSConfiguration: このコンポーネントは、ジョブに依存するjarファイルの転送先となるHDFSシステムに接続するために、Sparkによって使用されます。

    [Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
    • Yarnモード(YarnクライアントまたはYarnクラスター):
      • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

      • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

      • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
      • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、https://help.talend.com/access/sources/content/topic?pageid=thdfsconfiguration&mapid=hdfs&afs:lang=ja&EnrichVersion=8.0を使用します。

    • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationtS3Configurationなど、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。

      ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。