Talend Big Data Platform Studioユーザーガイド - 7.1

EnrichVersion: 7.1
EnrichProdName: Talend Big Data Platform
EnrichPlatform: Talend Studio
task: ジョブデザインと開発

Talend Studioとは
プロジェクトとビジネスモデル図
プロジェクトの操作
プロジェクトの作成
Studioの初回起動時にプロジェクトを作成する
Studioの初回起動時にプロジェクトを新規作成する
sandboxプロジェクトの作成
デモプロジェクトのインポート
デモプロジェクトを別のプロジェクトとしてインポートする
デモプロジェクトを現在のプロジェクトにインポートする
ローカルプロジェクトのインポート
シングルプロジェクトのインポート
複数プロジェクトのインポート
リモートプロジェクトを開く
プロジェクトのエクスポート
プロジェクトアイテムでの共同作業
ロックの基本概念
アイテムのロック/ロック解除(デフォルト)
ロック済みアイテムへのアクセス(デフォルト)
ロックのタイプ
自動ロックモード
半自動ロックモード
手動ロックモード
オフラインモードでリモートプロジェクトのアイテムにアクセスする
SVNまたはGitにコミットしていない変更の処理
プロンプトが表示されたときのコミットされていないアイテムの処理(SVNのみ)
プロンプトが表示されたときのコミットされていないアイテムの処理(Gitのみ)
編集されたアイテムのログ情報
共有アイテムの削除
プロジェクトのブランチおよびタグの操作
Studioからローカルブランチを作成する(Gitのみ)
選択したソースに基づいて新規ブランチを作成する
リモートブランチをローカルブランチとしてチェックアウトする
ローカルブランチの変更をリモートエンドにプッシュする(Gitのみ)
ローカルブランチの更新(Gitのみ)
ローカルブランチを以前の更新状態に戻す(Gitのみ)
ローカルブランチの削除(Gitのみ)
プロジェクト用のタグを作成する
SVN管理プロジェクトで作業している場合は、次の手順に従います。
Git管理プロジェクトで作業している場合:
ブランチまたはタグの間で切り替える
SVN管理プロジェクトの場合
Git管理プロジェクトの場合
ブランチまたはタグに固有のプロジェクト履歴を表示する(Gitのみ)
ブランチ間のコンフリクトを解決する(Gitのみ)
コンフリクトエディターによるコンフリクトの解決
[Job Compare] (ジョブ比較)エディター
[EMF Compare] (EMF比較)エディター
[Text Compare] (テキスト比較)エディター
リモートブランチをマージする(Gitのみ)
プロジェクト参照の定義
Talend Studioでのプロジェクト参照の定義
ビジネスモデル図を使った作業
ビジネスモデル図とは
ビジネスモデル図の作成
ビジネスモデル図のモデリング
[Shapes] (シェイプ)
シェイプの接続
モデルにコメントして調整する
注記やフリーテキストの追加
モデルビューの調整
[Business Models] (ビジネスモデル図)
[Appearance] (外観)タブ
[Rulers and Grid] (ルーラーとグリッド)タブ
Assignment (割当)タブ
リポジトリエレメントをビジネスモデル図に割り当てる
ライセンス
ライセンスの管理
Studioのライセンスの確認と変更
Studioのライセンスとパースペクティブ
データ統合
Talend Data Integration機能アーキテクチャ
ジョブのデザイン
ジョブデザインとは?
基本的なジョブの使い方
ジョブの作成
ジョブへのコンポーネントの追加
パレットから最初のコンポーネントをドロップする
デザインワークスペースへの入力による2番目コンポーネントの追加
出力コンポーネントを入力コンポーネントからドラッグして追加
コンポーネントどうしの接続
右クリックしてもう一度クリック
ドラッグ＆ドロップ
コンポーネントを設定する
tFileInputDelimitedコンポーネントの設定
tLogRowコンポーネントの設定
tFileOutputDelimitedコンポーネントの設定
ジョブの実行
テンプレートからのジョブの作成
ファイルからデータをデータベーステーブルに出力する(またはその逆)
データベーステーブルから別のデータベースにデータを出力する
ファイルのデータを特定の形式でジョブレットに出力する
ジョブ作成APIを使用したジョブの作成
コンポーネントの操作
接続された2つのコンポーネントの間にコンポーネントを追加する
コンポーネントをパレットから接続にドロップする
接続への入力によるコンポーネントの追加
デザインワークスペースへのコンポーネントの追加と既存の接続の移動
コンポーネントプロパティの定義
基本設定タブ
ジョブ内に組み込みスキーマを設定する
ジョブ内にリポジトリスキーマを設定する
ジョブ内でリポジトリスキーマを部分的に使用する
フィールドのダイナミックな設定(Ctrl+スペースバー)
詳細設定タブ
データフローの測定
ジョブ内のコンポーネントタブの動的設定
ダイナミックスキーマ
ダイナミックスキーマカラムの定義
ダイナミックカラムのマッピング
[View] (ビュー)タブ
[Documentation] (ドキュメンテーション)タブ
特定のコンポーネントを含むジョブを検索する
ジョブにおけるコンポーネントのスキーマにデフォルト値を設定する
tPrejobおよびtPostjobコンポーネントの使用
コンポーネントマネージャーを使用してコンポーネントをインストールまたは更新する
Talend Component Kitを使用して作成したカスタムコンポーネントのインストールと共有
Talend Communityコンポーネントのダウンロード/アップロード
Talend Exchangeからのコミュニティコンポーネントのインストール
コミュニティコンポーネントの再インストールまたは更新
コミュニティコンポーネントのレビューおよび評価
作成したコンポーネントのTalend Exchangeへのアップロード
Talend Exchangeにアップロードしたコンポーネントの管理
ジョブにおける接続の使い方
接続タイプ
[Row] (行)接続
[Main] (メイン)
ルックアップ
[Filter] (フィルター)
[Rejects] (リジェクト)
[ErrorReject] (エラーリジェクト)
[Output] (出力)
[Uniques/Duplicates] (ユニーク値/重複値)
[Multiple Input/Output] (複数入力/出力)
[Combine]
反復接続
トリガー接続
リンク接続
接続設定の定義
行接続の設定
反復接続設定
トリガー接続設定
OnSubjobOK/OnSubjobError接続設定
[Run if] 接続設定
条件ブレークポイントの追加
データフローの分割
コンテキストおよび変数の使用
ジョブのコンテキスト変数を定義する
コンテキストビューでコンテキスト変数を定義する
コンテキストの定義
変数の定義
[Component] (コンポーネント)ビューから変数を定義する
リポジトリー内でコンテキスト変数を一元管理する
コンテキストグループを作成し、その中でコンテキスト変数を定義する
コンテキストグループおよびコンテキストの作成
コンテキスト変数の定義
組み込みのコンテキスト変数をリポジトリーに追加する
メタデータからコンテキストを作成する
リポジトリーコンテキスト変数をジョブに適用する
コンテキストグループをジョブ
コンテキストボタンを使用してコンテキスト変数をジョブまたはに適用する
ジョブで変数を使用する
選択したコンテキストでジョブを実行する
ジョブの処理: 詳細事項
SQLBuilderを使用してクエリを作成する
データベースストラクチャーの比較
クエリの作成
クエリをリポジトリに保存する
トリガー接続にチェックポイントを設定する
ジョブでリソースを使用する
ルートリソースの作成
リソースをジョブに使用
出力ストリーム機能の使用
ジョブの処理: 各種サブジョブ
フォルダーの使用
データベース接続の共有
コンポーネントまたはジョブのエラーアイコンを処理する
コンポーネントの警告およびエラーアイコン
ジョブのエラーアイコン
注記をジョブデザインに追加する
処理中データを表示する
結果データビューワー
ロウデータビューワー
ジョブのコードまたはアウトラインを表示する
アウトライン
コードビューワー
サブジョブ表示の管理
サブジョブのフォーマット
サブジョブの折り畳み
サブジョブの背景色の削除
ジョブビューでオプションを定義する
統計およびログの使用を自動化する
エクストラタブでの機能の使用
ジョブレットのデザイン
ジョブレットとは
ジョブレットを最初から作成する
ジョブからジョブレットを作成する
ジョブでジョブレットを使用する
ジョブの開始時にジョブレットを使用する
ジョブレットの起動
ジョブレットでのトリガーの使用
ジョブでのジョブレットの起動
ジョブレットの編集
ジョブ内のジョブレットを編集する
新しいタブビューでジョブレットを編集する
ジョブレットの整理
ジョブレットへのコンテキスト変数の適用
ジョブレットでルーチン依存性を設定する
ジョブ
コンポーネントあるいはサブジョブの有効化または無効化
コンポーネントの有効化または無効化
サブジョブの有効化または無効化
リンクされている全てのサブジョブの有効化または無効化
アイテムのインポート/エクスポートおよびジョブのビルド
アイテムのインポート
ジョブのビルド
ジョブをスタンドアロンジョブとしてビルドする
ジョブをESB用のOSGIバンドルとしてビルドする
ジョブをDockerイメージとしてビルドする
アイテムのエクスポート
ジョブのコンテキストパラメーターを変更する
アーティファクトリポジトリーへのパブリッシュ
ジョブをDockerイメージとしてパブリッシュする
ジョブのデプロイをカスタマイズ
リポジトリアイテムの管理
リポジトリーアイテムの更新を処理する
リポジトリーアイテムを変更する方法
影響を受けるジョブを自動的に更新する
影響を受けるジョブを手動で更新する
リポジトリーアイテムの分析
影響分析
データ来歴
影響分析/データ来歴の結果をHTMLにエクスポートする
影響分析/データ来歴の結果をXMLにエクスポートする
リポジトリ内でのジョブ検索
ジョブのバージョン管理
非アクティブなジョブのバージョンを更新する
アクティブなジョブのバージョンを更新する
異なるバージョンのジョブで作業する
ジョブのバージョンを削除する
ジョブのドキュメンテーション
HTMLドキュメンテーションの生成
ドキュメンテーションの自動生成
ドキュメンテーションをただちに更新する
参照プロジェクトの操作
参照プロジェクト内のアイテムへのアクセス
参照プロジェクトからのアイテムの使用
ジョブの比較
ジョブの実行
通常モードでジョブを実行する
Javaデバッグモードでジョブを実行する
トレースデバッグモードでジョブを実行する
行ごとの監視
ブレークポイントの監視
詳細な実行設定の指定
統計の表示
実行時間や他のオプションを表示する
コンソールに特殊文字を表示する
ジョブでのVMメモリの制限指定
各ストリーミングチャンクで使用されるMB数のTalend Data Mapperでの指定
ランタイムのlog4j出力レベルをカスタマイズする
ジョブの実行中にJVMリソースの使用状況を表示する
ジョブをリモートで実行する
SSLを有効にしてジョブをリモートで実行する
SpagoBIサーバー上にジョブをデプロイする(非推奨)
SpagoBIサーバーエントリの作成
SpagoBIサーバーエントリの編集または削除
SpagoBIサーバー上に作成したジョブのデプロイ
障害発生時にジョブ実行をリカバリする
一般概念
2ステップのプロシージャ
並列化を使用したジョブパフォーマンスの最適化
複数のサブジョブの並列実行
データ読み取りの並列繰り返しを起動する
サブジョブの並列実行の制御
並列にデータを書き込む
データフローの並列化を有効にする
並列化タブ
シナリオ: 大規模な顧客データを並列ソートする
コンポーネントのリンク
並列化の有効化
入力データフローの分割
入力フローの設定
分割ステップの設定
入力レコードのソート
tSortRowの設定
departitioningステップの設定
ソートしたデータの出力
ジョブの実行
テストケースを使用したジョブのテスト
テストケースの作成
テストケースの設定
テストインスタンスの追加
テストデータのためのコンテキスト変数の定義
埋め込みデータセットの定義
テストケースの実行
[Run] (実行)ビューからテストケースを実行する
[Test Cases] (テストケース)ビューからテストケースを実行する
[Repository] (リポジトリ)ツリービューから1つのテストケース、またはジョブのすべてのテストケースを実行する
テストケースの管理
異なるブランチおよびタグでのジョブ管理
ブランチへのジョブのコピー
タグのプロジェクトアイテムを元に戻す
データフローのマッピング
[Map editor] (マップエディター)インタフェース
tMap操作
[Map Editor] (マップエディター)での入力フロー設定
入力テーブルにスキーマを入力する
メインテーブルとルックアップテーブルのコンテンツ
Variables
明示的Joinの使用
明示的な結合に一致モデルを定義する
[Unique Match] (完全一致)
[First Match] (最初の一致)
[All Matches] (すべての一致)
内部joinの使用
[All Rows] (全ての行)オプションの使用
入力フローのフィルタリング
テーブルから入力エントリを削除する
マッピング変数
グローバルまたはコンテキスト変数へのアクセス
変数の変数
式の操作
式エディターへのアクセス
[Expression Builder] (式ビルダー)を使用したコードの作成
個別の式を編集する
複数の出力カラムに式を同時に設定する
出力設定のマッピング
自動入出力マッピングの設定
複雑な式の作成
フィルター
出力リジェクト
ルックアップ内部結合リジェクト
出力エントリの削除
エラー処理
[Map Editor] (マップエディター)でのスキーマ設定
リポジトリーからスキーマ構造を取得する
スキーマカラムの検索
[Schema Editor] (スキーマエディター)の使用
データ型自動変換の有効化
デフォルト変換動作を上書きするルールの定義
tMap利用におけるメモリ制限問題の解決
ルックアップの処理
ルックアップフローのローディングモードの設定
[Reload at each row] (行ごとにリロード)
複数のルックアップフローの並列ローディング
データのプレビュー
tXMLMapオペレーション
ドキュメントタイプを使用したXMLツリーの作成
ドキュメントタイプの設定
XMLおよびXSDファイルからXMLツリーストラクチャーをインポートする
XMLファイルからXMLツリーストラクチャーをインポートする
XSDファイルからXMLツリー構造をインポートする
リポジトリからXMLツリー構造をインポートする
インポートされたXMLストラクチャーのループエレメントを設定またはリセットする
サブエレメントまたは属性をXMLツリー構造に追加する
XMLツリーストラクチャーからエレメントまたは属性を削除する
ネームスペースの管理
ネームスペースの定義
ネームスペースのデフォルト値の変更
ネームスペースの削除
出力データのグループ化
グループエレメントの設定
定義済みグループエレメントの削除
出力データの集約
出力モードの定義
エレメントを1つのドキュメントに出力する
マップエディターで空エレメントを管理する
複数の入力ループのシーケンスを定義する
XMLツリースキーマの編集
チェンジデータキャプチャー(CDC)
CDCアーキテクチャの概要
トリガーモード
CDC再実行/アーカイブログモード
XStreamモード
CDC: パブリッシュ/サブスクライブの基本方針
CDC環境の設定
トリガーモードのCDCを設定する
トリガーモードでCDCを設定する
手順1: パブリッシャーの設定
手順2: ソーステーブルの識別
手順3: サブスクライバテーブルの作成
手順4: ソーステーブルにサブスクライブし、サブスクリプションを有効にする
トリガーモードで変更データを抽出する
Oracle再実行/アーカイブログモードのCDCを設定する
Oracle再実行/アーカイブログモードの前提条件
Oracleでのアーカイブログモードの有効化
OracleでのCDCの設定
Oracle再実行/アーカイブログモードのCDCを設定する
手順1: Oracleの再実行/アーカイブログモードによるパブリッシャーの設定
手順2: 手順2: Oracleの再実行/アーカイブログモードによるソーステーブルの識別
手順3: Oracleの再実行/アーカイブログモードによる変更の取得と処理
手順4: 変更テーブルを作成し、ソーステーブルにサブスクライブして、サブスクリプションを有効にする
Oracleの再実行/アーカイブログモードで変更されたデータを抽出する
Oracle XStreamモードのCDCを設定する
XStreamモードの前提条件
Oracle XStreamモードでのアーカイブログモードの有効化
OracleのCDBのすべてのPDBを開く
XStream管理者の設定
XStreamモードを使用したCDCの設定
Talend StudioでのXStream Outの設定
Talend StudioでのXStream Inの設定
XStreamモードでデータの変更を抽出および同期する
AS/400向けの再実行/アーカイブログモードのCDCを設定する
AS/400における前提条件
AS/400ジャーナルモードのCDCを設定する
手順1: AS/400ジャーナルモードによるパブリッシャーの設定
手順2: AS/400ジャーナルモードによるソーステーブルの識別
手順3: AS/400ジャーナルモードによるサブスクライバテーブルの作成
手順4: AS/400ジャーナルモードによるサブスクリプションの確定
AS/400ジャーナルモードで変更されたデータを抽出する
移行されたCDC環境を再利用するための前提条件
CDCのデータベースサポート
ビッグデータ
Talend Big Dataソリューション
HadoopとTalend Studio
Talendビッグデータソリューションの機能的なアーキテクチャ
MapReduceジョブのデザイン
Talend MapReduceジョブの仕組み
MapReduce ジョブの作成
MapReduceジョブでHadoop接続を設定する
MapReduce ジョブの実行
MapReduceジョブのチェックポイントの設定
Hadoopに保管されているデータをStudioで表示する
Sparkジョブのデザイン
TalendジョブがApache Sparkで機能する仕組み
Sparkジョブの作成
テストケースを使用したSparkジョブのテスト
ビッグデータジョブの処理
Oozieを経由したジョブの実行
HDFS接続詳細の設定
OozieスケジューラービューでのHDFS接続の詳細の定義
HDFSサーバー上でジョブを実行する
ジョブ実行のスケジュール
ジョブの実行ステータスを監視する
ビッグデータジョブの来歴を有効化
Clouderaナビゲーターでデータ来歴をセットアップする
Atlasでデータ来歴をセットアップする
来歴を読む
ジョブの変換
圧縮データの処理
ビッグデータのフローマッピング
tPigMapのインタフェース
tPigMapオペレーション
結合オペレーションの設定
リジェクトレコードの捕捉
式の編集
Pigユーザー定義関数のセットアップ
UDFパネルを使用したPig UDFの定義
最新のビッグデータプラットフォームをダイナミックに追加する
ダイナミックディストリビューションの設定を編集する
ダイナミックビッグデータプラットフォームディストリビューションの設定をエクスポートまたはインポートする
データプロファイリング
データプロファイリングコンセプトと基本方針
バージョン情報 Talend Data Quality
Talend Data Qualityとは
コア機能
メタデータリポジトリ
パターンおよびインジケーター
論理機能アーキテクチャ
Talend Data Quality入門ガイド
データクオリティの動作原理
データクオリティデモプロジェクトのインポート
デモプロジェクトを別のプロジェクトとしてインポートする
デモプロジェクトを現在のプロジェクトにインポートする
重要な機能と設定オプション
シノニムインデックスエディターの使用
シノニムインデックスエディターにアクセスしてインデックスを検索する
シノニムインデックスエディターでドキュメントを管理する
ドキュメントの編集
新規ドキュメントの挿入
1つ以上のドキュメントを削除する
最大メモリサイズスレッショルドの定義
分析エディターと分析結果の環境設定
デフォルト頻度テーブルパラメーターの設定
Talend Studioでヘルプの内容を表示または非表示にする
参照シートの表示
ヘルプパネルを非表示にする
モジュールビューの表示
エラーログビューの表示とログファイルの管理
新規エディターを開く
DQリポジトリの分析名に付加されるアイコン
Studioでのメタデータ管理
データソースへの接続の作成
データベースへの接続
接続の作成
カタログまたはスキーマから接続を作成する
カスタムデータベースへの接続を作成する
Profiling[ (] (プロファイリング)パースペクティブでサポートされるデータベース
一部のデータベースについて必要な知識
データベースシステムのカタログとスキーマ
ファイルへの接続
データソースへの接続の管理
データベース接続の管理
データベース接続を開く、または編集する
データベース接続のフィルタリング
データベース接続の複製
データベース接続またはそのエレメントにタスクを追加する
データベース接続のテーブルとビューをフィルタリングする
データベース接続の削除
データベース接続の復元
ファイル接続の管理
データベースコンテンツのプロファイリング
データベースの分析
データベースコンテンツの分析
分析の定義
分析するデータベース接続の選択
カタログまたはスキーマの分析の作成
SQLエディターでのデータのプレビュー
データベーステーブルのキーとインデックスの表示
メタデータ接続とデータベース構造の同期
カタログリストとスキーマリストの同期とリロード
テーブルリストの同期とリロード
カラムリストの同期とリロード
冗長性分析
冗長性分析とは?
異なるテーブルにある同一カラムの比較
分析の定義
比較する同一カラムの選択
分析の確定と実行
プライマリキーと外部キーの一致
テーブルで主キーと外部キーを一致させるための分析の定義
プライマリキーと外部キーの選択
テーブル分析
データベーステーブルの分析手順
データベース内のテーブルの分析
単純なテーブル分析の作成(カラムセット分析)
パターンを使ってカラムセット分析を作成する
分析するカラムのセットを定義する
分析の定義
分析するカラムのセットの選択
分析対象カラムにパターンを追加する
カラムセット分析を完了させて実行する
パターンを基にデータをフィルタリングする
一致した行または一致しない行の取得
単純テーブル分析からのカラム分析の作成
SQLビジネスルールを持つテーブル分析を作成する方法
SQLビジネスルールを作成する
ビジネスルールの作成
結合条件の作成
SQLビジネスルールの編集
単純なSQLビジネスルールでテーブル分析を作成する
テーブル分析の定義
分析するテーブルの選択
ビジネスルールの選択
結合条件を持つSQLビジネスルールでテーブル分析を作成する
重複を分析できるよう結合結果で分析を生成する
ショートカット手順でSQLビジネスルールを持つテーブル分析を作成する
カラム内の異常の検出(機能的な依存性の分析)
カラム内の異常を検出するための分析を定義する
「決定要素」または「依存」のいずれかとしてカラムを選択
関数依存分析の確定と実行
区切り記号付きファイル内のテーブルの分析
パターンを使って区切り記号付きファイルでカラムセット分析を作成
区切り記号付きファイル内で分析するカラムのセットを定義する
カラムセット分析の定義
区切り記号付きファイル内で分析するカラムセットの選択
区切り記号付きファイル内の分析対象カラムにパターンを追加する
区切り記号付きファイルでカラムセット分析を完了させて実行する
パターンを基に分析データをフィルタリングする
カラムセット分析からカラム分析を作成
重複値の分析
一致分析の作成
分析フォルダーから一致分析を定義する
メタデータフォルダーから一致分析を定義する
一致分析の設定
一致ルールの定義
ブロッキングキーの定義
VSRアルゴリズムを使ったマッチングキーの定義
T-Swooshアルゴリズムを使ったマッチングキーの定義
一致キーの作成
編集ルールとサンプル結果の表示
一致結果を表示する方法
一致ルールのインポートまたはエクスポート
一致ルールをリポジトリーからインポートする方法
一致ルールをリポジトリにエクスポートする方法
一致ルールの作成
ルールの定義
ルールの複製
VSRアルゴリズムを使ったルール
ブロッキングキーを一致分析から定義する
マッチングキーの定義
T-Swooshアルゴリズムを使ったルール
一致キーの作成
カラム分析
最初にすべきこと
データベースカラムでの基本分析の作成
分析するカラムの定義とインジケーターの設定
分析するカラムを定義する
分析の定義
データベースカラムの選択とサンプルデータの設定
カラムにインジケーターを設定する
システムまたはユーザー定義インジケーターの設定
システムまたはユーザー定義インジケーターのオプション設定
分析エディターからユーザー定義インジケーターを設定する
カラム分析の確定と実行
JavaエンジンまたはSQLエンジンの使用
データベースカラム分析の詳細ビューへのアクセス
分析されたデータの表示とエクスポート
カラム分析での正規表現とSQLパターンの使用
カラム分析に正規表現またはSQLパターンを追加する
カラム分析のパターンを編集する
パターンを基にしてデータを分析し表示する
有効または無効な行の再取得
インジケーターで実行したクエリの保存
カラムの重複値の特定
電話番号の標準化
重複を除いた値(個別値)の抽出
テーブル名またはカラム名から分析の作成
ファイルに対する基本的なカラム分析の作成
ファイル内で分析するカラムを定義する
カラム分析を定義する
ファイルカラムの選択とサンプルデータの設定
システムおよびユーザー定義インジケーターの設定
システムインジケーターのオプション設定
正規表現を設定して分析を完了する
ファイルの中の分析されたデータを表示しエクスポートする
ショートカット手順による区切り記号付きファイルの分析
離散データの分析
離散データの分析を定義する
分析の実行と詳細な分析結果へのアクセス
データマイニングのタイプ
Nominal (名義)
Interval (インターバル)
Unstructured text (非構造テキスト)
その他
JavaとSQLのエンジンを使ってカラム分析を実行した場合の異なるプロファイリング結果
カラム分析とデータマスキングオペレーションでサポートされる文字タイプ
セマンティックを認識した分析
セマンティックを認識した分析を使用する手順
Studioで使用されているオントロジー
事前定義されたテーブル分析の作成
サーバーの起動と環境設定
データカラムのカテゴリの検討
カラムのメタデータおよびセマンティックカテゴリとオントロジーリポジトリ内のコンセプトとの一致
オントロジーリポジトリのエンリッチメント
推奨されるテーブル分析の定義
セマンティック分析で使用されるインデックスと正規表現のカテゴリのリスト
コリレーション分析
カラムコリレーション分析とは?
数値コリレーション分析
数値コリレーション分析の作成
分析の定義
分析するカラムの選択と分析パラメーターの設定
数値コリレーション分析結果の検討
時間コリレーション分析
時間コリレーション分析の作成
時間コリレーション分析の定義
時間コリレーション分析を行うカラムの選択と分析パラメーターの設定
時間コリレーション分析結果の表示
名義コリレーション分析
名義コリレーション分析の作成
名義コリレーション分析の定義
分析するカラムの選択
名義コリレーション分析結果の検討
ビッグデータのプロファイリング
Hiveを使用したHDFSファイルのプロファイリング
HDFSファイルのプロファイリング
HDFSファイルへの分析の作成
Hadoopクラスターへの接続の作成
Hiveへの接続の作成
HDFSファイルへの接続の作成
Hiveテーブルを使用してHDFSファイルへのプロファイリング分析を作成する方法
Hiveのプロファイリング
パターンとインジケーター
パターン
パターンの種類
データベース内でのユーザー定義関数の管理
特定のデータベースにユーザー定義関数を宣言する
特定のデータベースに対するクエリテンプレートを定義する
クエリテンプレートの編集
クエリテンプレートの削除
正規表現とSQLパターンのカラム分析への追加
正規表現を再取得するジョブの生成
正規表現とSQLパターンの管理
新しい正規表現またはSQLパターンを作成する
パターンテストビューで正規表現をテストする
[Pattern Test View] (パターンテストビュー)から新しいパターンを作成する
[Date Pattern Frequency] (日付パターン頻度テーブル)から正規表現を生成する
正規表現またはSQLパターンの編集
正規表現またはSQLパターンのエクスポート
正規表現またはSQLパターンをTalend Exchangeにエクスポートする
正規表現またはSQLパターンのファミリーをTalend Exchangeにエクスポートする
正規表現またはSQLパターンをcsvファイルにエクスポートする
正規表現またはSQLパターンのインポート
正規表現またはSQLパターンをTalend Exchangeからインポートする
正規表現またはSQLパターンをcsvファイルからインポートする
インジケーター
インジケーターの種類
[Advanced statistics] (詳細統計)
不正の検出
[Pattern frequency statistics] (パターン頻度統計)
パターン頻度インジケーター
東アジアパターン頻度インジケーター
単語ベースのパターンインジケーター
パターン頻度統計インジケーターの使用時に使用されるエンジンとサポートされるデータベースタイプのリスト
[Phone number statistics] (電話番号統計)
[Simple statistics] (シンプル統計)
[Soundex frequency statistics] (Soundex頻度統計)
テラデータエラー: "無効な入力: only Latin letters allowed" (無効な入力: 使用できるのはラテン文字のみ)
[Summary statistics] (集計統計)
[Text statistics] (テキスト統計)
システムインジケーターの管理
システムインジケーターの編集
システムインジケーターとインジケーターオプションをカラム分析に設定する
システムインジケーターのエクスポートまたはインポート
システムインジケーターの複製
ユーザー定義インジケーターの管理
SQLユーザー定義インジケーターの作成
インジケーターの定義
インジケーター定義とカテゴリの設定
Javaユーザー定義インジケーターの定義
Javaユーザー定義インジケーターの作成
カスタムインジケーターの定義
カスタムインジケーターの定義およびカテゴリーの設定
ユーザー定義インジケーターのJavaアーカイブを作成する
ユーザー定義インジケーターのエクスポート
Javaユーザー定義インジケーターをアーカイブファイルにエクスポートする
Talend Exchangeにユーザー定義インジケーターをエクスポートする
ユーザー定義インジケーターのインポート
アーカイブファイルからユーザー定義インジケーターをインポートする
csvファイルからユーザー定義インジケーターをインポートする(非推奨の機能)
Talend Exchange からユーザー定義インジケーターをインポートする
ユーザー定義インジケーターの編集
インジケーターパラメーター
Oracleでカラムのプロファイリングを行う際の日付処理
レポート
レポートとは?
レポートデータベースの管理
遠隔データベースのセットアップ
個別レポートのデータベースのセットアップ
遠隔データベースの移行
一連のレポートのデータベースの移行
データベースの移行情報の保存
コンテキスト変数を使用したレポートデータベースへの接続
レポートデータマート設定をコンテキストとしてエクスポートする
レポートエディターからコンテキスト変数を選択または更新する
データマートからのプロファイルレポートの削除
デフォルトのレポートフォルダーとロゴファイルの設定
レポートの管理
新規レポートの作成
レポートの定義
レポートに含める分析の選択
レポート設定の定義
レポートのデータベースの設定
レポートファイルの生成
特定の分析のレポートの作成
レポートの編集
レポートジョブの生成とエクスポート
レポートの複製
レポートの削除または復元
レポートまたはレポートの分析へのタスクの追加
進展レポート
進展レポートの例
進展レポートの移行
Talend StudioでJRXMLテンプレートを使用する方法
JRXMLテンプレートのインポート
ユーザー定義のJRXMLテンプレートをインポートする
組み込みJRXMLテンプレートのインポート
StudioでのJRXMLテンプレートの管理
JRXMLテンプレートのパスを変更する
JRXMLテンプレートの複製または作成
JRXMLレポートツールの設定
レポートツールへのパスを設定する
エディターをJRXMLテンプレートに関連付ける
ヘブライ語コンテンツ用のJRXMLテンプレートの作成
レポートからのジョブの生成
レポートを起動するジョブの生成
しきい値違反を警告するジョブの生成
Data cleansing (データクレンジング)
データの検証
カラム分析での有効および無効な行の取得
テーブル分析での有効および無効な行の取得
一致した行および一致しない行の再取得
検証コンポーネントの使用
データの標準化
電話番号を標準化するジョブの生成
標準化コンポーネントの使用
外部ソフトウェアを使用する標準化コンポーネントの使用
データの重複除去
分析対象カラムの重複値を特定するジョブの生成
重複コンポーネントの使用
区切り記号付きファイル(csvファイル)のクレンジング
データを複製するジョブの作成
データをマッチングするジョブの作成
その他の管理手順
データクオリティ参照プロジェクトの操作
参照プロジェクトでのデータクオリティアイテムへのアクセス
参照プロジェクトからデータクオリティアイテムを使用する
SQLクエリの作成および保存
コンテキスト変数を使用したデータソースへの接続
コンテキストとしての接続のエクスポート
同じ接続に対する複数のコンテキストの作成
同じ接続の異なるコンテキストの切り替え
分析でのコンテキスト変数の使用方法
同じ分析に対する複数のコンテキストの作成
コンテキストの定義
変数の定義
分析を実行するコンテキストの選択
パーサールールの設定および管理
パーサールールセットの作成
パーサールールセットのエクスポートまたはインポート
作成されたパーサールールセットの変更
パーサールールセットのテスト
ルールテストビューへのアクセス
[Interpreter] (インタープリター)ビューのエレメントリスト
[Interpreter] (インタープリター)ビューのデータサンプル
[Interpreter] (インタープリター)ビューのルールセット
[Interpreter] (インタープリター)ビューのテストケースリスト
テスト結果のグラフィックビュー
ルールセットの保存
ルールセットの作成
ルールセットのテスト
データプロファイリングアイテムまたはプロジェクトのインポート
データプロファイリングアイテムのエクスポート
接続のグループの移行
古いバージョンからのプロジェクト項目のアップグレード
[Tasks] (タスク)
タスクを使った作業
データベース接続のカラムへのタスクの追加
特定の分析のアイテムへのタスクの追加
カラム分析のインジケーターへのタスクの追加
タスクリストの表示
タスクリストのフィルター処理
完了したタスクの削除
Studioでのメタデータの管理
Data Integration用メタデータの一元管理
目的
データベースメタデータの一元管理
データベース接続のセットアップ
一般的なプロパティの定義
接続パラメーターの定義
テーブルスキーマの取得
データベースオブジェクトのフィルタリング
データベーステーブルを名前に基づいてフィルタリングする
SQLクエリを使用してデータベースオブジェクトをフィルタリングする
テーブルの選択とテーブルスキーマの定義
JDBCメタデータの一元管理
JDBC接続の作成とデータベースドライバーのインポート
JDCB接続の詳細の完了
テーブルスキーマの取得
SASメタデータの一元管理
SAS接続のセットアップ
SASテーブルスキーマの取得
SAPメタデータの一元管理
SAP接続の設定
SAPテーブルの取得
SAPビジネスコンテンツエキストラクターの取得
SAP関数の取得
SAP BWオブジェクトメタデータの取得
SAP IDOCからファイルを作成する
Data Mapper IDocストラクチャーのインポート
区切り記号付きファイルメタデータの一元管理
一般的なプロパティの定義
ファイルのパスと形式の定義
ファイル解析パラメーターの定義
ファイルスキーマの確認とカスタマイズ
固定長ファイルメタデータの一元管理
固定長ファイル接続の一般的なプロパティを定義する
ファイルのパス、形式、マーカー位置の定義
固定長ファイルの解析パラメーターを定義する
固定長ファイルのスキーマをチェックおよびカスタマイズする
正規表現ファイルメタデータの一元管理
正規表現ファイル接続の一般的なプロパティを定義する
正規表現ファイルのパスと形式の定義
正規表現ファイルの解析パラメーターを定義する
正規表現ファイルのスキーマをチェックおよびカスタマイズする
XMLファイルメタデータの一元管理
入力ファイルのXMLメタデータの設定
XMLファイル接続の一般的なプロパティを定義する
メタデータのタイプ(入力)の設定
XMLファイルのアップロード
XSDファイルのアップロード
スキーマの定義
エンドスキーマの完了
出力ファイルのXMLメタデータの設定
出力ファイルのXMLファイル接続の一般的なプロパティを定義する
メタデータのタイプ(出力)の設定
既存のXMLファイルを使った出力ファイル構造の定義
XSDファイルを使った出力ファイル構造の定義
出力ファイルのスキーマを定義する
出力ファイルのエンドスキーマを完了する
Excelファイルメタデータの一元管理
Excelファイル接続の一般的なプロパティを定義する
ファイルのロード
ファイルの解析
Excelファイルのエンドスキーマを完了する
LDIFメタデータの一元管理
JSONファイルメタデータの一元管理
入力ファイルのJSONメタデータの設定
JSONファイル接続の一般的なプロパティを定義する
メタデータ型の設定および入力ファイルのロード
JSONファイルのスキーマを定義する
JSONファイルのスキーマを完了する
出力ファイルのJSONメタデータの設定
出力ファイルのJSONファイル接続の一般的なプロパティを定義する
メタデータ型の設定およびテンプレートJSONファイルのロード
出力ファイルのJSONスキーマを定義する
出力ファイルのエンドスキーマJSONを完了する
LDAP接続メタデータの一元管理
LDAP接続の一般的なプロパティを定義する
サーバー接続の定義
LDAPアクセスパラメーターの設定
LDAPディレクトリのスキーマを定義する
LDAPディレクトリーのエンドスキーマを完了する
Azureストレージメタデータの一元管理
Data Stewardshipメタデータの一元管理
Google Driveメタデータの一元管理
Marketoメタデータの一元化
Salesforceメタデータの一元管理
Snowflakeメタデータの一元化
ジェネリックスキーマのセットアップ
ジェネリックスキーマを最初からセットアップする
ジェネリックスキーマをXMLファイルからセットアップする
ジェネリックスキーマとしてのコンポーネントスキーマの保存
MDMメタデータの一元管理
接続のセットアップ
MDMスキーマの定義
入力MDMスキーマの定義
MDM接続のエンティティ値の取得
作成されたスキーマの編集
出力MDMスキーマの定義
受信MDMスキーマの定義
サバイバーシップルールパッケージの管理
サバイバーシップルールアイテムを表示または編集する
検証手順アイテム
ルールパッケージアイテム
検証フローアイテム
BRMS (Drools Guvnor)メタデータの一元管理
BRMS接続の一般的なプロパティの定義
接続パラメーターの設定とルールライブラリの選択
入力スキーマとリンカーターゲットスキーマの定義
入力スキーマと出力スキーマの完了
埋め込みルール(Drools)の一元管理
埋め込みルールの一般的なプロパティを定義する
ファイルのアップロードまたは作成
ルールファイルの作成
既存のルールファイルに接続する
Webサービスメタデータの一元管理
単純スキーマのセットアップ
単純なWebサービススキーマの一般的なプロパティを定義する
スキーマのタイプの選択(単純)
URIおよびメソッドの指定
エンドスキーマの完了(Simple WSDL)
詳細スキーマのセットアップ
詳細Webサービススキーマの一般的なプロパティを定義する
スキーマのタイプの選択(詳細)
ポート名と操作の定義
入力スキーマおよびマッピングの定義
出力スキーマおよびマッピングの定義
エンドスキーマの完了(Advanced WebService)
Web Service Explorer (Webサービスエクスプローラー)を使用したWebサービスの確認
検証ルールの一元管理
検証ルールの一般的なプロパティを定義する
検証するスキーマの選択
検証のトリガーとタイプの選択
リジェクトデータの処理
FTP接続の一元管理
接続FTPの一般的なプロパティを定義する
FTPサーバーへの接続
階層マッパーの操作
UN/EDIFACTメタデータの一元管理
UN/EDIFACTスキーマの一般的なプロパティを定義する
UN/EDIFACT標準とリリースの設定
スキーマUN/EDIFACTのマッピング
エンドスキーマUN/EDIFACTの完了
コンテキストとしてのメタデータのエクスポートとコンテキストパラメーターを再利用した接続の設定
接続の詳細をコンテキスト変数としてエクスポートする
既存のコンテキストグループの変数を使用して接続を設定する
CSVファイルからのメタデータのインポート
データベースメタデータのインポート
区切り記号付きファイルのメタデータをインポートする
一元管理されたメタデータをジョブ内で使用する
ビッグデータのメタデータを一元管理
NoSQLメタデータの管理
Cassandraメタデータの一元管理
Cassandraデータベースへの接続の作成
スキーマの取得
MongoDBメタデータの一元管理
MongoDBデータベースへの接続の作成
MongoDBスキーマの取得
Neo4jメタデータの一元管理
Neo4jデータベースへの接続の作成
Neo4j スキーマの取得
Hadoopメタデータの管理
Hadoop接続の一元化
Hadoop接続の自動設定
AmbariまたはClouderaから設定を取得
ローカルファイルからの設定のインポート
手動による接続の設定
カスタムHadoopディストリビューションへの接続
HBaseメタデータの一元化
HBaseへの接続の作成
テーブルスキーマの取得
MapR-DBメタデータの一元管理
MapR-DBへの接続の作成
テーブルスキーマの取得
HCatalogメタデータの一元化
HCatalogへの接続の作成
Hcatalogテーブルスキーマの取得
HDFSメタデータの一元化
HDFSへの接続の作成
ファイルスキーマの取得
Hiveメタデータの一元化
Hiveへの接続の作成
Hiveテーブルスキーマの取得
Oozie接続の一元化
再利用可能なHadoopプロパティの設定
ルーチンの使用
ルーチンの管理
ルーチンとは
システムルーチンへのアクセス
システムルーチンのカスタマイズ
ユーザールーチンの管理
ユーザールーチンの作成
ユーザールーチンの編集
ユーザールーチンライブラリーの編集
ジョブからのルーチンの呼出し
ユースケース: 現在日のファイルの作成
ユースケース: Talend studioでのパスワードの暗号化
ルートの作成
デモジョブを使ったパスワード変換の検証
パスワード暗号化のトラブルシューティング
システムルーチン
数値ルーチン
シーケンスの作成
暗黙の10進数を変換する
リレーショナルルーチン
文字列処理ルーチン
文字列をアルファベット順に保存する
文字列がアルファベットであるか確認する
文字列内のエレメントを置換する
文字列内の特定の文字またはサブストリングの位置を確認する
文字列の長さを計算する
空白文字の削除
TalendDataGeneratorルーチン
仮想データの生成
TalendDateルーチン
日付をフォーマットする
日付の確認
日付の比較
日付の設定
日付の解析
日付の一部を取得する
現在の日付をフォーマットする
TalendStringルーチン
XML文字列をフォーマットする
文字列のトリミング
文字列からアクセントを削除する
TalendStringUtilルーチン
データクオリティシステムルーチン
データクオリティシステムルーチンへのアクセス
データクオリティシステムルーチン
DataQualityルーチン
DqStringHandlingルーチン
ユースケース: DqStringHandlingルーチンを使用した文字列の処理
コンポーネントを一緒にドロップし、リンクします。
最初のコンポーネントの設定
tMapコンポーネントの設定
ジョブの完了と実行
DQTechnicalルーチン
DataMaskingルーチン
付録
Talend StudioのカスタマイズとStudioの環境設定
プロジェクト設定のカスタマイズ
コンパイラーのコンプライアンスレベルの設定
シェルコマンドテンプレートのカスタマイズ
Mavenビルドスクリプトテンプレートのカスタマイズ
POMを再同期化してTalend CI BuilderにおけるPOMのプロジェクトモジュール定義の重複を回避する
Dockerイメージビルドの設定をカスタマイズする
グローバルビルドスクリプトのテンプレートをカスタマイズする
フォルダーレベルのビルドスクリプトのテンプレートをカスタマイズする
ビルドスクリプトテンプレートをコマンドラインで使用するようにカスタマイズする
ジョブのデプロイバージョンの管理
パレット設定
タイプのマッピング
マッピングファイルへのアクセスとタイプマッピングの定義
dbTypeエレメントで頻繁に使用されている属性
バージョン管理
ステータス管理
ジョブ設定
コンポーネントとコンポーネントの更新の共有の設定
統計とログ
コンテキスト設定
プロジェクト設定の適用
Log4jの設定
ステータス設定
セキュリティ設定
カスタムコンポーネント
ワークスペースのカスタマイズ
パレットのレイアウトと設定の変更
パレットを表示または非表示にし、位置を変更する
コンポーネントファミリーの表示/非表示
コンポーネントファミリーを開いたままにしておく
パレットのフィルタリング
パレットのお気に入りを設定する
パレットのコンポーネントレイアウトを変更する
パネルの位置を変更する
ジョブ設定タブやビューの表示
Repository (リポジトリー)ツリービューにリストされているエントリーのフィルタリング
ジョブ名によるフィルタリング
ユーザーによるフィルタリング
ジョブステータスによるフィルタリング
表示するリポジトリーノードを選択する
Talend Studioの環境設定
Javaインタープリターのパス(Talend)
Designerの環境設定(Talend > Appearance)
アーティファクトリポジトリ接続の環境設定(Talend > [Artifact Repository] (アーティファクトリポジトリ))
アーティファクトリポジトリの環境設定([Talend] > [Artifact Repository] (アーティファクトリポジトリ) > [Repository Settings] (リポジトリ設定))
サーバー環境設定の更新(Talend > [Artifact Repository] (アーティファクトリポジトリ) > [Libraries] (ライブラリ))
Bonita BPMポータルの環境設定(Talend > Bonita BPM Portal)
ユーザーコンポーネントフォルダーを定義する方法(Talend > Components)
特定のコンポーネントの設定を変更する方法(Talend > Components)
Documentationの環境設定(Talend > Documentation)
Exchangeの環境設定(Talend > Exchange)
Metadata Bridgeの環境設定(Talend > Import/Export)
言語の環境設定(Talend > Internationalization)
パレットの環境設定(Talend > Palette Settings)
パフォーマンスの環境設定: [Talend] > [Performance] (パフォーマンス)
プロジェクト参照の環境設定(Talend > Repository)
デバッグとジョブ実行の環境設定(Talend > Run/Debug)
リモート実行の設定([Talend] > [Run/Debug] (実行/デバッグ))
スキーマカラムでの特殊文字の表示(Talend > Specific settings)
スキーマの環境設定(Talend > Specific Settings)
SQLビルダーの環境設定(Talend > Specific Settings)
SSL設定値の環境設定(Talend>SSL)
Usage Data Collector基本設定(Talend > Usage Data Collector)
SQLテンプレートの使用方法
ELTの概要
Talend SQLテンプレートの概要
Talend SQLテンプレートの管理
システムSQLテンプレートのタイプ
システムSQLテンプレートへのアクセス
ユーザー定義のSQLテンプレートを作成する
システムSQLテンプレートのユースケース
MySQLデータベースへの接続の設定
データのグループ化、集計されたデータの書き込み、およびソーステーブルのドロップ
ターゲットデータベースの読み取りとジョブ実行結果のリスト
ルールを記述するSQLテンプレート
SQLステートメント
コメント行
<%...%>構文
<%=...%>構文
"</.../>"構文
コンポーネントスキーマエレメントにアクセスするためのコード
コンポーネントマトリクスプロパティにアクセスするためのコード
付録: SQLServerでの正規表現
主な概念
SQL Serverで正規表現関数を作成する
Visual Studioでプロジェクトを作成する
SQL Serverに正規表現関数をデプロイする
Studioのセットアップ
作成した関数をSQL Serverエディターでテストする
Teradataで正規表現を使用する
Teradataでのユーザー作成
Cプログラムを使ったUDF (ユーザー定義関数)の作成
パターンインジケーターの編集とカラム分析での使用
[Pattern Test] (パターンテスト)ビューの使用
データ同義語辞書
利用可能なインデックスの概要
利用可能なインデックスの説明
idx_Address
idx_address_abbreviation_label_FR
idx_address_label_abbreviation_FR
idx_streets_name_FR
idx_street_type_abbreviation_label_FR
idx_street_type_label_abbreviation_FR
idx_airport
idx_business
idx_city_exonyms
idx_zip_city
idx_colors
idx_country
idx_capital_country
idx_country_codes
idx_ISO3_country_name
idx_ISO2_country_name
name_ISO2_ISO3
idx_financial
idx_geography
idx_geolocation
idx_languages
idx_people
物理データモデル(PDM)
データクオリティデータマート
テーブルの詳細
ビューの種類および説明
ディメンション上のビュー
カラム分析結果のビュー
比較分析結果のビュー
概要分析結果のビュー
ポータルにおける分析処理機能のOLAPキューブによって使用されるビュー

Back to home page