次の表は、Databricksの実行プロファイルで設定されているデフォルト値をまとめたものです。
実行プロファイルの作成中、[ADVANCED CONFIGURATION] (詳細設定)セクションで上書きできるパラメーター値があります。値を変更する場合は、下の表の[上書きの可否]カラムに記載されているパラメーターを追加し、Talend Cloud Management Consoleのフォームで目的の値を設定します。
プロパティ名 | デフォルト値 | カテゴリー | 上書きの可否 |
---|---|---|---|
SPARK_VERSION | 5.5.x-scala2.11 | 基本設定 | 該当せず |
Micro-batch interval (マイクロバッチ間隔) | 5000 | 基本設定 | 該当せず |
node_type_id | Standard_DS3_v2 (Azure)またはm4.large (AWS) | 基本設定 | 該当せず |
destination (デスティネーション) | dbfs:/tpd-cluster-logs | 基本設定 | 該当せず |
num_workers | 2 | 基本設定 | 該当せず |
Log destination (ログのデスティネーション) | /tmp/beam-staging- | 基本設定 | 該当せず |
StorageLevel | MEMORY_AND_DISK | ランタイムセット | 該当せず |