実行ログを保管するエンジンにAmazon EBSボリュームを追加する - Cloud

Talend Remote Engine Gen2クイックスタートガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
インストールとアップグレード
デプロイメント > デプロイ中 > パイプラインの実行
EnrichPlatform
Talend Management Console
Talend Pipeline Designer

エラスティックブロックストア(EBS)ボリュームを作成してRemote Engine Gen2にアタッチし、このエンジンで実行されるパイプラインに関連するすべてのログを保管できます。

始める前に

  • Remote Engine Gen2[INSTANCES] (インスタンス) > [Instances] (インスタンス)ページから、インスタンスのIDと利用可能ゾーンを検索してコピーしました。これらの詳細は、ボリュームをエンジンにアタッチするために必要になります。

このタスクについて

この設定は、オンプレミス、プライベートVPC(AWS)またはCloudFormationを使用してRemote Engine Gen2をインストールしたユーザーに適用されます。

手順

  1. Amazon EBSボリュームを作成します:
    1. Amazon EC2コンソールから、ELASTIC BLOCK STORE > Volumesに移動します。
    2. [Create Volume] (ボリュームの作成)をクリックして、対応する作成フォームを開きます。
    3. ボリュームタイプリストで[Magnetic] (マグネティック) を選択し、サイズフィールドで100を入力します(Gib単位)。
      以前に定義したログパージに基づいてサイズを定義します。
    4. [Availability Zone] (利用可能ゾーン)のリストで、Remote Engine Gen2がインストールされているゾーンを選択します。
    5. [Create Volume] (ボリュームの作成) をクリックして作成を検証し、IDをクリックしてリストをフィルタリング処理し、新しいボリュームを表示します。
  2. Remote Engine Gen2の実行中のEC2インスタンスにEBSボリュームをアタッチします:
    1. 新しいボリュームを選択し、[Actions] (アクション) > [Attach Volume] (ボリュームのアタッチ)をクリックします。
    2. [Instance] (インスタンス)フィールドで、入力を開始するか、Remote Engine Gen2インスタンスのIDを選択します。
      インスタンスを選択すると、[Device] (デバイス)フィールドの値が自動的に入力されます。
  3. ボリュームをフォーマットしてマウントし、使用できるようにします:
    1. SSHを使用してRemote Engine Gen2インスタンスに接続します。
    2. lsblkコマンドを実行してEBS情報(ディスクデバイスとマウントポイント)をリストし、接続されていないボリューム(例では/dev/xvdg)表示します。

      例え

      [ec2-user ~]$ lsblk
      NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
      xvdg    202:96   0   1G  0 disk 
    3. file -s <ebsvolume>コマンドを実行し、ボリュームにファイルシステムがあるかどうか確認します。次の出力例のようにデータを返す場合は、デバイスにファイルシステムがないため、1つ作成する必要があります。

      例え

      [ec2-user ~]$ sudo file -s /dev/xvdg
      /dev/xvdg: data
    4. mkfs -tコマンドを実行してボリューム上にファイルシステムを作成します。

      例え

      [ec2-user ~]$ sudo mkfs -t ext4 /dev/xvdg
    5. mkdirコマンドを実行して、Livyをボリュームのマウントポイントディレクトリーとして使用します。

      例え

      [ec2-user ~]$ sudo mkdir /livy_jobs_log
      [ec2-user ~]$ sudo mount /dev/xvdg /livy_jobs_log
      [ec2-user ~]$ lsblk
      NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
      xvdg    202:96   0   1G  0 disk /livy_jobs_log
  4. LivyからEC2インスタンスにボリュームをマウントします:
    1. Remote Engine Gen2のインストールディレクトリーにあるdocker-compose.ymlファイルを開きます。
    2. livyという名前のサービスを検索し、LIVY_JOB_LOG_PERSISTENCE_PATHパラメーターの値を/livy_jobs_logに指定します。デフォルト値は/tmp/livy/jobsです。

      例え

      livy:
      	...
      	volumes:
      		...
      		- /livy_jobs_log:/tmp/livy/jobs:rw
    3. このコマンドを実行してLivyを再起動します:
      docker-compose up -d livy