Databricksの実行プロファイルでのデフォルト値 - Cloud

Talend Cloud Management Console for Pipelinesユーザーガイド

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
task
デプロイメント > スケジューリング > タスクのスケジューリング
デプロイメント > デプロイ中 > タスクの実行
管理と監視 > プロジェクトの管理
管理と監視 > ユーザーの管理

次の表は、Databricksの実行プロファイルで設定されているデフォルト値をまとめたものです。

実行プロファイルの作成中、[ADVANCED CONFIGURATION] (詳細設定)セクションで上書きできるパラメーター値があります。値を変更する場合は、下の表の[上書きの可否]カラムに記載されているパラメーターを追加し、Talend Cloud Management Consoleのフォームで目的の値を設定します。

プロパティ名 デフォルト値 カテゴリー 上書きの可否
SPARK_VERSION 5.5.x-scala2.11 基本設定 該当せず
Micro-batch interval (マイクロバッチ間隔) 5000 基本設定 該当せず
node_type_id Standard_DS3_v2 (Azure)またはm4.large (AWS) 基本設定 該当せず
destination (デスティネーション) dbfs:/tpd-cluster-logs 基本設定 該当せず
num_workers 2 基本設定 該当せず
Log destination (ログのデスティネーション) /tmp/beam-staging- 基本設定 該当せず
StorageLevel MEMORY_AND_DISK ランタイムセット 該当せず