これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtJapaneseTokenizeを設定するために使われます。
[Spark Streaming] (Spark Streaming)のtJapaneseTokenizeコンポーネントは、データクオリティファミリーに属しています。
このフレームワーク内のコンポーネントは、Talend Data Management PlatformTalend Big Data Platform、Talend Real-Time Big Data PlatformTalend Data Services Platform、およびTalend Data Fabricで使用できます。
基本設定
|
[Schema] (スキーマ)および[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
|
|
|
[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 |
|
|
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
|
[Tokenization] (トークン化) |
出力スキーマからのカラムは、[Tokenization] (トークン化)テーブルの[Column] (カラム)カラムに追加されます。 トークン化する日本語テキストを含む各スキーマカラムについて、[Tokenize] (トークン化)カラムで対応するチェックボックスをオンにします。 すべてのスキーマカラムを選択するには、ヘッダー行内のチェックボックスをオンにします。 |
詳細設定
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
使用方法
|
使用ルール |
このコンポーネントは、通常、中間コンポーネントとして使用されます。入力コンポーネントと出力コンポーネントが必要です。 |
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |