Databricks File System (DBFS)ステージングを設定 - Cloud

Talend Cloud Management Console for Pipelinesユーザーガイド

Version
Cloud
Language
日本語 (日本)
Product
Talend Cloud
Module
Talend Management Console
Content
デプロイメント > スケジューリング > タスクのスケジューリング
デプロイメント > デプロイ中 > タスクの実行
管理と監視 > プロジェクトの管理
管理と監視 > ユーザーの管理

これから作成するクラスターがTalend Cloud Pipeline Designerと互換性を持つよう、Databricks REST APIを使ってDBFSリソースをいくつか作成する必要があります。

手順

  1. AWS用またはAzure用REST API認証の設定方法については、Databricksのドキュメンテーションを参照してください。
  2. REST APIを使ってDatabricks File Systemを参照できるかどうかチェックします。
  3. ルートステージングディレクトリーを作成します。
    curl -n -H 'Authorization:Bearer MY_TOKEN' -d '{"path" : "/DBFS_STAGING_DIRECTORY_NAME"}' "https://<account>.cloud.databricks.com/api/2.0/dbfs/mkdirs"

    DBFS_STAGING_DIRECTORY_NAMEには新しいDBFSステージングディレクトリーが、<account>にはDatabricksアカウント名が入ります。