Winter '18のリリースノート - Cloud

Talend Cloudリリースノート

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
インストールとアップグレード
EnrichPlatform
Talend API Designer
Talend API Tester
Talend Data Preparation
Talend Data Stewardship
Talend Management Console
Talend Pipeline Designer

Talend Data Stewardship クラウド

Talend Data Stewardship Cloudによりデータワーカーの協力体制が作られ、データは高度な共有とキュレーションにより、すぐに使える資産となります。直感的に使え、ワークフローベースで成果指向の作業環境において、誰もがその責任分野を受け持って協力し、データキュレーション、アービトレーション、または検証を行う仕組みが実現します。

フィーチャー 説明
データのキュレーションと検証 データ認証とタスクのキュレーションにおける生産性を高め、ガイダンスを得ます。
  • 準拠すべきデータモデルを定義する。
  • ルールを定義して適用する(サバイバーシップ、バルク更新)。
  • データのマージとマッチングを行う。
  • データエラーを解決する。
  • データのアービトレーションを行う(分類と認証)。
  • 重複に近いものについて、ペアまたはグループのアービトレーションを行う。これは、Sparkで機械学習を使用して非常に大量のデータを照合するコンテキストで使用できます。
信頼できるデータのためのコラボレーション キャンペーンにおけるData Stewardshipアクティビティのオーケストレーションを行い、データに精通している担当者にタスクを委任します。
  • ユーザーロールを定義する。
  • タスクの一括割り当てと委任を行う。
  • ワークフローを定義する。
  • 優先度を定義する。
  • タグとコメントを付ける。
Data Stewardshipの統合 データ管理作業にガバナンスとスチュワードシップを組み込みます。
  • Data Integrationフローでリジェクトを管理する。
  • 人手による認証とエラーの解決をマスターデータ管理プロセスに組み込む。
  • 自動処理できないマッチングの決定を行う。
データエラー解決アクションの監査と追跡 データガバナンスポリシーに準拠し、Data Stewardship作業の結果を測定します。
  • キャンペーンの進行状況を監視する。
  • 変更を追跡する。
  • 元に戻す/やり直す。
タスクレゾリューションに関するサービスレベルアグリーメント(SLA) キャンペーンレベルとタスクレベルでも期日を設定します(Studioから)。
環境間でキャンペーンとデータモデルをプロモート 同一バージョンのTalend製品に属する複数のTalend Data Stewardship環境での作業が、一層容易になります。

キャンペーンまたはデータモデルをソース環境からエクスポートし、ターゲット環境にインポートして戻します。

Talend Data Stewardshipでキャンペーンとデータモデルをコピーする 現在のインスタンスにキャンペーンまたはデータモデルをコピーし、メタデータまたはパラメーター値を変更して、キャンペーンまたはデータモデルをゼロから再作成することなく類似のコピーを作成できます。
カラム内のデータに対するファンクション エンリッチメントとクレンジングの可能性を高めるために複数のファンクションが導入されました。

既知の問題: https://jira.talendforge.org/issues/?filter=27113

TDSユーザーキャッシュ: Talend Data Stewardship Cloudでは、パフォーマンスを高めるためにユーザーキャッシュを2つ使用しており、それぞれに独自の有効時間(TTL)があります。
  • ユーザーの資格が含まれたショートキャッシュ(SC): TTL 2mn。
  • ユーザーの名と姓が含まれたロングキャッシュ(LC): TTL 15mn。

問題

対処法

作成したばかりのユーザーアカウントでログインする:

アカウントマネージャーがTalend Cloud Management Consoleを使用して新しいData Stewardshipユーザーを作成し、ユーザーがこれをすぐに使用すると、新しく作成されたこのユーザーアカウントで「アクセス拒否」のエラーメッセージが表示される。

Data Stewardshipに接続してアクセスする前に、SC TTLの期限が切れるまで待ちます(最大2分かかります)。
作成したばかりのユーザーアカウントをキャンペーン定義に使用する:

アカウントマネージャーがTalend Cloud Management Consoleを使用して新しいData Stewardshipユーザーを作成したときに、この新しいユーザーアカウントは、「キャンペーンオーナー」/「スチュワード」ドロップダウンリストに載っていても、キャンペーン定義にすぐには使用できません。

LC TTLの期限が切れる前に、新しく作成したアカウントをキャンペーンオーナーがキャンペーン定義に使おうとすると、キャンペーンを保存することができなくなり、以下のエラーメッセージのいずれかが表示されます。
  • 次のキャンペーンオーナーが見つかりませんでした。
  • 次のデータスチュワードが見つかりませんでした。
キャンペーンオーナーは、新しく作成されたユーザーアカウントをキャンペーン定義に使用する前に、LC TTLの期限が切れるまで待つ必要があります(最大15分かかります)。
SC TTLとLC TTLの期限切れの間にData Stewardshipにログインする:

ユーザーがSC TTLの期限切れとLC TTLの期限切れの間に、Data Stewardshipに初めてログインすると、ユーザーの名と姓が正しく表示されません。ユーザーの「<名> <姓>」の代わりに「[Deleted user] (削除されたユーザー) <UUID>」が表示されます。

Data Stewardship内で主に影響を受けるページは、以下のとおりです。
  • タスク履歴
  • Data Stewardshipのページヘッダー
  • キャンペーンリスト
  • タスクグリッド
  • データモデルリスト
  • 左パネルの参加者リスト
  • 右パネルのタスクの割り当てファンクション

この表示問題は一時的なものです。長くても15分程度で解消します。両方のキャッシュ(SCとLC)が更新されると、ユーザーの<名> <姓>は正しく表示されます。

キャンペーンオーナーは、新しく作成されたユーザーアカウントをキャンペーン定義に使用する前に、LC TTLの期限が切れるまで待つ必要があります(最大15分かかります)。

Talend Data Stewardship Cloudの基本的な使い方は、このページを参照して下さい。

Talend Data Preparation

フィーチャー 説明
ジョブ内のプレパレーションのダイナミックな選択 Talend StudioでtDataprepRunコンポーネントを使用してプレパレーションを可能にする場合は、[Dynamic preparation selection] (プレパレーションのダイナミックな選択)チェックボックスをオンにして、テクニカルIDではなくアプリケーション内のパスを経由してプレパレーションを定義することができます。これにより、たとえば、入力データに応じてランタイムにプレパレーションをダイナミックに選択することができます。
CSVデータセット用の新しいパラメーター ローカルCSVファイルからのデータで作業する場合に、インポート時とエクスポート時に、エンコーディングだけでなくエスケープ文字とテキストエンクロージャ文字を設定できるようになりました。
Snowflake接続 Talend Data Preparationでは、データセットを作成するために、Snowflakeデータベースに保存されているデータへの直接接続が可能になりました。
サンプル外におけるデータのフィルタリング サンプルに一致する値がない場合でも、行をさらに取得するために個別の各カラムから、空の、無効な、または有効なデータに対するフィルターを作成する可能性があります。
データ検出に使用するカラム名 カラムのセマンティックタイプをより正確に特定するために、データ検出プロセスでカラムの名前が考慮に入れられるようになりました。
新しいファンクション エンリッチメントとクレンジングの可能性を高めるために複数の新しいファンクションが追加されました。
  • 空のセルに直前の内容を入力
  • シーケンスの生成
  • Remove negative values (負の値を削除)
  • 値の標準化 (ファジーマッチング)
  • 余り

既存のファンクションの一部が、新しいパラメーターまたは新しい動作によって改善されました。

  • すべての数値操作でパーセンテージを管理できるようになりました。
  • 日付から月、日、四半期のラベルを抽出できるようになりました。
  • 日付までの時間を計算するときに、分と秒が使えるようになりました。
  • カテゴリが正規表現に基づいているデータをマスキングするときに、各セルの式と元の有効性に基づいて、有効な値と無効な値が生成されます。辞書ベースのカテゴリの場合は、辞書からランダムな値が選択されます。

さらに、一部のファンクションはテーブル全体に適用できます。

  • 空の行を削除
  • 重複行の削除
  • 電話番号のフォーマット
  • Remove trailing and leading characters (後続文字および先行文字の削除)

最後に、一部のファンクションの効果を新しいカラムに出力するか同一カラム内に出力するかを指定できるようになりました。新しいカラムに出力するには、[Create new column] (新しいカラムを作成する)チェックボックスをオンにします。

既知の問題: https://jira.talendforge.org/issues/?filter=26475

問題

対処法

Talend StudioライブラリとTalend Data Preparationライブラリの間の互換性の問題のために、tDataprepRunコンポーネントがSparkバッチジョブまたはストリーミングジョブで機能しない。

問題を確認する: https://jira.talendforge.org/browse/TDP-5244

Talend Data Preparation Cloudを使用するには、以下の方法があります。

Talend Studioにパッチを施してCloudとの間に互換性を持たせると、その交換条件として、Talend Data Preparationのオンプレミスバージョンとの間で互換性が失われます。

その結果、Talend Data PreparationのCloudバージョンとオンプレミスバージョンの両方との間に互換性を持つSparkジョブを作成するには、Talend Studioの2つのバージョンで作業する必要があります。すなわち、1つはCloudで作業するためのパッチ有りのバージョン、もう1つはオンプレミスで作業するためのパッチなしのバージョンです。

Talend Data Preparation Cloudの基本的な使い方は、このページを参照して下さい。

Talend Integration Cloud

フィーチャー 説明
新しいPublic APIバージョン Talend Integration Cloud Public API v1.1では、Studioでコンテキストパラメーターを設定するときにフォーマット<parmname><parameter_parmname>が使用できます。コンテキストパラメーターの値は実行中に<parameter_parmname>に変更されません。
Talend Exchange 統合アクションはTalend Integration Cloudでサポートされなくなっているため、Talend Exchangeは以下のモジュールから削除されています。
  • アクションのインポート
  • Exchangeへのアップロード
  • フローの作成
Talend Cloudコンポーネント tActionRejectコンポーネントが完全に復帰しました。

コンポーネントtActionLogとtActionFailureの名前がtJobLogとtJobFailureに変更されました。

フローの設定 詳細コンテキストパラメーターは、フロー[Builder] (ビルダー)内のフローの[Configuration] (設定)パネルに表示され、そこで設定できます。

既知の問題: https://jira.talendforge.org/issues/?filter=26511

Talend Integration Cloudの基本的な使い方は、このページを参照して下さい。

Talend Cloud Management Console

フィーチャー 説明
Talend Cloud Management Consoleロール 以前の管理者ロールの権限は、2つのロール(プロジェクト管理者とセキュリティ管理者)に分割されていました。
プロジェクト管理者はを管理できます。
  • プロジェクト(プロジェクト権限を含む)
  • Nexusリポジトリーのユーザーライブラリー
セキュリティ管理者は、以下を管理できます:
  • Users (ユーザー)
  • Roles (ロール)
  • Groups (グループ)
  • サブスクリプション(アカウントページを含む)
  • Password policies (パスワードポリシー)
Talend Data Stewardshipロール Talend Data Stewardshipがクラウドに導入されたことで、以下のロールをユーザーに割り当てることができます。
  • Campaign Owner (キャンペーンオーナー)
  • [Data Steward] (データスチュワード)

既知の問題: https://jira.talendforge.org/issues/?filter=28553

Talend Cloud Management Console Cloudの基本的な使い方は、このページを参照して下さい。

Talend Studio

Talend Cloud Winter '18はTalend Real-Time Big Data Platformの6.5.1リリースに搭載されます。新しい機能のリストは、Talend Real-Time Big Data Platformリリースノートを参照して下さい。