テストデータを使ってデシジョンツリーモデルを実行 - Cloud - 8.0

Machine Learning

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > 機械学習コンポーネント
データガバナンス > サードパーティーシステム > 機械学習コンポーネント
データクオリティとプレパレーション > サードパーティーシステム > 機械学習コンポーネント
このセクションでは、デシジョンツリーモデルをテストする方法について説明したり、ターゲット変数がどうやって予測されるかを検証したりします。

手順

  1. Sparkをフレームワークとして指定する新しいビッグデータバッチジョブを作成します。
  2. [tHDFSConfiguration]を前のジョブからコピーして、パレットに貼り付けます。
  3. [tFileInputDelimited]を前のジョブからコピーして、パレットに貼り付けます。
  4. [tFileInputDelimited]で、テストデータをポイントするよう[Folder/File] (フォルダー/ファイル)値を変更します。
    テストデータはトレーニングデータと同じスキーマがあります。唯一の違いは、コンテンツ詳細と行数です。
  5. パレットに[tPredict]コンポーネントを追加します。[Main] (メイン)を使って、[tFileInputDelimited][tPredict]に接続します。
  6. [tPredict]をダブルクリックします。
  7. [Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスを選択して、tHDFSConfigurationを選択します。
  8. [Model Type] (モデルタイプ)としてDecision Tree Modelを選択します。
  9. 前のセクションで作成したモデルへのパスを追加します。
  10. [Sync columns] (カラムを同期)ボタンをクリックした後に、省略記号をクリックして、スキーマを編集します。
    出力パネルにラベルという名前の新しいカラムが追加されます。これは、デシジョンモデルによって生成された予測値のプレースホルダーです。
  11. パレットに[tReplace]を追加して、[Main] (メイン)を使って、それを[tPredict]に接続します。
  12. [tReplace]を以下のように設定します。

    [tReplace]は、[tPredict]からの予測結果をブール値表記(0.0,10)からテストデータの表記(はい/いいえ)に変換するのに必要です。

  13. [tAggregateRow]を追加し、[Main] (メイン)を使って、[tReplace][tAggregateRow]に接続します。
  14. [tAggregateRow]を以下のように設定します。
    [Operation] (操作)セクションの[Output] (出力)カラムはランダムに選ばれています。ageは、[Group by] (分類基準)のカウントを容易にするためだけのもので、それ以外の特別な理由で選ばれたものではありません。

    [tAggregateRow]は、次のセクションで使用されるモデルパフォーマンスの集計統計の作成に使われます。

  15. パレットに[tLogRow]を追加して、それに[tAggregateRow]を接続します。

    ジョブは次のように表示されるはずです。

  16. ジョブを実行します。
    事前に作成したトレーニングジョブは、ローカルとクラスターのどちらかで実行できます。

タスクの結果

このジョブの想定される結果は、モデル予測を現在の正しい結果に対して示す概要テーブルです。

count (年齢) conversion (実際の結果) label (予測される結果)
41 yes no
12 no yes
15 yes yes
446 no no
合計514件のテストレコードに対して、出力から以下のことがわかります:
  • このモデルは、テストケースのうち41件について(conversion = no)をtrueと誤って予測した
  • このモデルは、テストケースのうち12件について(conversion = no)をfalseと誤って予測した
  • このモデルは、テストケースのうち15件について(conversion = no)をtrueと正確に予測した
  • このモデルは、テストケースのうち446件について(conversion = no)をtrueと正確に予測した