自分のエンジンからファイルにアクセス - Cloud

Talend Remote Engine Gen2クイックスタートガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
インストールとアップグレード
デプロイメント > デプロイ中 > パイプラインの実行
EnrichPlatform
Talend Management Console
Talend Pipeline Designer

始める前に

Livyでボリュームが正しくマウントされないという問題を回避できるよう、必ず最新バージョンのdocker-composeを使用してください。

手順

  1. Remote Engine Gen2のインストールディレクトリーに移動します。
  2. ファイルを新規作成し、
    docker-compose.override.ymlという名前を付けます。
  3. このファイルを編集して次の項目を追加します。
    version: '3.6'
    
    services: 
    
      livy: 
        volumes: 
    
      component-server: 
        volumes: 
  4. 次の形式で、volumesの下に新しいエントリーを追加します。
    YOUR_LOCAL_FOLDER:MOUNT_POINT_INSIDE_CONTAINER

    例え

    Talend Cloud Pipeline Designerで処理するファイルが自分のマシンの/home/user/my_avro_filesにある場合は、/home/user/my_avro_files:/opt/my_avro_filesを次のボリュームのリストに追加します。
    version: '3.6'
    
    services: 
    
      livy: 
        volumes: 
          - /home/user/my_avro_files:/opt/my_avro_files
    
      component-server: 
        volumes: 
          - /home/user/my_avro_files:/opt/my_avro_files
  5. ファイルを保存して変更内容を反映させます。
  6. Remote Engine Gen2を再起動します。
    これで、/opt/my_avro_filesの下にあるTalend Cloud Pipeline Designerアプリから自分のフォルダーにアクセスできるようになります。
  7. Talend Cloud Pipeline Designerに接続します。
  8. [CONNECTIONS] (接続)ページに移動し、自分のRemote Engineとローカルのユーザー名を使って新しいHDFS接続を追加します。
  9. 新しい接続を使って新しいHDFSデータセットを追加し、自分のフォルダーへのパスとしてマウントパスが使われるようにします。
  10. オプション: 自分のローカルマシンに書き込み直す場合は、マウントパスフォルダー(たとえば/opt/my_avro_files/my_pipeline_output)を使って別のHDFSデータセットを追加します。