ビッグデータの実行プロファイルでのデフォルト値 - Cloud

Talend Cloud Management Console for Pipelinesユーザーガイド

Version
Cloud
Language
日本語 (日本)
Product
Talend Cloud
Module
Talend Management Console
Content
デプロイメント > スケジューリング > タスクのスケジューリング
デプロイメント > デプロイ中 > タスクの実行
管理と監視 > プロジェクトの管理
管理と監視 > ユーザーの管理

次の表は、ビッグデータの実行プロファイルで設定されているデフォルト値をまとめたものです。

実行プロファイルの作成中、[ADVANCED CONFIGURATION] (詳細設定)セクションで上書きできるパラメーター値があります。値を変更する場合は、下の表の[上書きの可否]カラムに記載されているパラメーターを追加し、Talend Cloud Management Consoleのフォームで目的の値を設定します。

プロパティ名 デフォルト値 カテゴリー 上書きの可否
[Micro-batch interval] (マイクロバッチ間隔) 5000ミリ秒 基本設定 該当せず
Streaming timeout (ストリーミングタイムアウト) 10秒 基本設定 該当せず
Yarn queue (Yarnキュー) - エグゼキューター spark.yarn.queue
Driver memory (ドライバーメモリ) 512MB ドライバー spark.driver.memory
Driver cores (ドライバーコア数) 1 ドライバー spark.driver.cores
Yarn strategy (Yarn戦略) ダイナミック ドライバー spark.dynamicAllocation.enabled
Initial number of executors (エグゼキューターの初期数) 1 エグゼキューター spark.dynamicAllocation.initialExecutors
Min number of executors (エグゼキューターの最小数) 0 エグゼキューター spark.dynamicAllocation.minExecutors
Max number of executors (エグゼキューターの最大数) 0 エグゼキューター spark.dynamicAllocation.maxExecutors
Cores per executor (エグゼキューターごとのコア数) 1 エグゼキューター SPARK_EXECUTOR_CORES
Executor memory (エグゼキューターメモリ) 512MB エグゼキューター spark.executor.memory
Executor memory overhead (エグゼキューターメモリのオーバーヘッド) 384MB 詳細設定 spark.executor.memoryOverhead
Checkpointing (チェックポインティング) 有効 詳細設定 該当せず
spark.submit.deployMode クラスター 該当せず 該当せず
Temporary storage (一時ストレージ) /tmp 基本設定 spark.local.dir