Apache Spark StreamingのtPredictプロパティ - 7.3

[Schema] (スキーマ)および[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

使うために選択したモデルに応じて、対応する読み取り専用カラムがスキーマに自動的に追加され、予測の結果レコードを保持するために使われます。

[Model type] (モデルタイプ)

tPredictで使うモデルのタイプを選択します。これにより、tPredictのスキーマに読み取り専用のカラムが自動的に追加され、予測の結果レコードが保持されます。

[Define a storage configuration component] (ストレージ設定コンポーネントを定義)

HDFSなどのターゲットファイルシステムへの接続の設定情報を提供するために使用する設定コンポーネントを選択します。

このチェックボックスをオフにすると、ターゲットファイルシステムはローカルシステムになります。

使用する接続設定は同じジョブ内にあることが必要です。たとえば、tHDFSConfigurationコンポーネントをジョブにドロップした場合は、このコンポーネントを選択して、所定のHDFSシステム内で結果を書き込むことができます。

このラジオボックスを選択すると、[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスが表示されます。これを選択して、使うファイルシステムに接続します。

[Model on filesystem] (ファイルシステムに基づくモデル)

使うモデルがファイルシステムに保管されている場合は、このラジオボックスを選択します。参照用のボタンはSpark [Local] (ローカル)モードでは機能しません。Spark YarnまたはSpark [Standalone] (スタンドアロン)モードを使用している場合は、同じジョブ内のtHDFSConfigurationなどの設定コンポーネントで接続を適切に設定したことを確認する必要があります。

表示される[HDFS folder] (HDFSフォルダー)フィールドに、このモデルが保管されているHDFS URIを入力します。

このラジオボックスを選択すると、[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスが表示されます。これを選択して、使うファイルシステムに接続します。

[Model computed in the current Job] (現在のジョブで計算されたモデル)

このラジオボックスを選択し、同じジョブで使うモデルトレーニングのコンポーネントを選択して、使うモデルを作成します。

使用ルール

このコンポーネントは、中間ステップとして使用されます。

このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメントのシナリオでは、標準ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

この接続は、ジョブごとに有効になります。