始める前に
手順
-
Remote Engine Gen2インストールディレクトリーにある次のフォルダーに移動します:
default - AWS米国、AWS欧州、AWSアジアパシフィック、Azureリージョンでエンジンを使用している場合
eap - Early Adopter Program (早期導入者プログラム)の一部としてエンジンを使用している場合
-
ファイルを新規作成し、
docker-compose.override.ymlという名前を付けます。
-
このファイルを編集して次の項目を追加します。
version: '3.6' services: livy: volumes: component-server: volumes:
-
次の形式で、volumesの下に新しいエントリーを追加します。
YOUR_LOCAL_FOLDER:MOUNT_POINT_INSIDE_CONTAINER
例
Talend Cloud Pipeline Designerで処理するファイルが自分のマシンの/home/user/my_avro_filesにある場合は、/home/user/my_avro_files:/opt/my_avro_filesを次のボリュームのリストに追加します。version: '3.6' services: livy: volumes: - /home/user/my_avro_files:/opt/my_avro_files component-server: volumes: - /home/user/my_avro_files:/opt/my_avro_files
- ファイルを保存して変更内容を反映させます。
-
Remote Engine Gen2を再起動します。
これで、/opt/my_avro_filesの下にあるTalend Cloud Pipeline Designerアプリから自分のフォルダーにアクセスできるようになります。
- Talend Cloud Pipeline Designerに接続します。
-
[Connections] (接続)ページに移動し、エンジンとローカルのユーザー名を使って新しいHDFS接続を追加します。
-
新しい接続を使って新しいHDFSデータセットを追加し、自分のフォルダーへのパスとしてマウントパスが使われるようにします。
- オプション: 自分のローカルマシンに書き込み直す場合は、マウントパスフォルダー(たとえば/opt/my_avro_files/my_pipeline_output)を使って別のHDFSデータセットを追加します。