Création de fichiers ou de tables de base de données - 6.3

Talend Activity Monitoring Console Guide utilisateur

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
task
Administration et monitoring
EnrichPlatform
Talend Activity Monitoring Console

Talend Activity Monitoring Console est une application permettant de monitorer l'exécution des Jobs. Ces exécutions sont monitorées à l'aide de trois fichiers ou tables de base de données contenant les informations suivantes :

  • les données de log collectées,

  • les statistiques des composants,

  • les flux transitant dans les liens générés par les Jobs.

Pour stocker ces données, vous devez créer trois fichiers ou tables de données possédant chacun le schéma correspondant aux composants tLogCatcher, tStatCatcher et tFlowMeterCatcher (présents dans la Palette de votre studio).

Ces fichiers peuvent être vides. Leur structure est automatiquement générée si vous utilisez ces fichiers en tant que sources de données pour stocker les informations de monitoring d'activité.

Note

L'installation de la base de données <AMC> et l'utilisation de Talend Activity Monitoring Console dans le studio est facultative pour la solution ESB de Talend et est seulement requise si les composants tFlowMeterCatcher, tLogCatcher et tStatCatcher sont utilisés. Ces composants peuvent être utilisés dans des Jobs (par exemple Jobs Consommateurs ESB) pour les fournisseurs ESB de services REST et Soap. Seul le tLogCatcher est supporté pour le moment puisque les autres composants ne supportent pas entièrement les environnements "Keep listening" et que les Routes ne peuvent pour l'instant pas utiliser ces composants.

Pour créer les tables de base de données utilisées comme sources de données pour la console de monitoring, procédez comme suit :

  1. Créez une base de données et nommez-la, par exemple, amc.

  2. Démarrez le Studio Talend.

  3. Créez un Job contenant trois composants tCreateTable.

  4. Définissez les paramètres de connexion à la base de données amc pour les trois composants tCreateTable.

  5. Définissez le schéma des données en les récupérant des composants tLogCatcher, tStatCatcher et tFlowMeterCatcher.

    Notez que, après la création des tables du tStatCatcher, du tLogCatcher et du tFlowMeterCatcher, vous devez vous assurer que le type de données de la colonne moment est configuré à datetime et non à date.

Pour créer ces tables dans une base de données MySQL, vous pouvez également utiliser le script suivant :

-- MySQL dump 10.13  Distrib 5.5.24, for Win32 (x86)
--
-- Host: 127.0.0.1    Database: amc
-- ------------------------------------------------------
-- Server version	5.5.24-log

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Current Database: `amc`
--

CREATE DATABASE /*!32312 IF NOT EXISTS*/ `amc` /*!40100 DEFAULT CHARACTER SET latin1 */;

USE `amc`;

--
-- Table structure for table `tflowmetercatcher`
--

DROP TABLE IF EXISTS `tflowmetercatcher`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `tflowmetercatcher` (
  `moment` datetime DEFAULT NULL,
  `pid` varchar(20) DEFAULT NULL,
  `father_pid` varchar(20) DEFAULT NULL,
  `root_pid` varchar(20) DEFAULT NULL,
  `system_pid` bigint(8) DEFAULT NULL,
  `project` varchar(50) DEFAULT NULL,
  `job` varchar(255) DEFAULT NULL,
  `job_repository_id` varchar(255) DEFAULT NULL,
  `job_version` varchar(255) DEFAULT NULL,
  `context` varchar(50) DEFAULT NULL,
  `origin` varchar(255) DEFAULT NULL,
  `label` varchar(255) DEFAULT NULL,
  `count` int(3) DEFAULT NULL,
  `reference` int(3) DEFAULT NULL,
  `thresholds` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `tflowmetercatcher`
--

LOCK TABLES `tflowmetercatcher` WRITE;
/*!40000 ALTER TABLE `tflowmetercatcher` DISABLE KEYS */;
/*!40000 ALTER TABLE `tflowmetercatcher` ENABLE KEYS */;
UNLOCK TABLES;

--
-- Table structure for table `tlogcatcher`
--

DROP TABLE IF EXISTS `tlogcatcher`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `tlogcatcher` (
  `moment` datetime DEFAULT NULL,
  `pid` varchar(20) DEFAULT NULL,
  `root_pid` varchar(20) DEFAULT NULL,
  `father_pid` varchar(20) DEFAULT NULL,
  `project` varchar(50) DEFAULT NULL,
  `job` varchar(255) DEFAULT NULL,
  `context` varchar(50) DEFAULT NULL,
  `priority` int(3) DEFAULT NULL,
  `type` varchar(255) DEFAULT NULL,
  `origin` varchar(255) DEFAULT NULL,
  `message` varchar(255) DEFAULT NULL,
  `code` int(3) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `tlogcatcher`
--

LOCK TABLES `tlogcatcher` WRITE;
/*!40000 ALTER TABLE `tlogcatcher` DISABLE KEYS */;
/*!40000 ALTER TABLE `tlogcatcher` ENABLE KEYS */;
UNLOCK TABLES;

--
-- Table structure for table `tstatcatcher`
--

DROP TABLE IF EXISTS `tstatcatcher`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `tstatcatcher` (
  `moment` datetime DEFAULT NULL,
  `pid` varchar(20) DEFAULT NULL,
  `father_pid` varchar(20) DEFAULT NULL,
  `root_pid` varchar(20) DEFAULT NULL,
  `system_pid` bigint(8) DEFAULT NULL,
  `project` varchar(50) DEFAULT NULL,
  `job` varchar(255) DEFAULT NULL,
  `job_repository_id` varchar(255) DEFAULT NULL,
  `job_version` varchar(255) DEFAULT NULL,
  `context` varchar(50) DEFAULT NULL,
  `origin` varchar(255) DEFAULT NULL,
  `message_type` varchar(255) DEFAULT NULL,
  `message` varchar(255) DEFAULT NULL,
  `duration` bigint(8) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `tstatcatcher`
--

LOCK TABLES `tstatcatcher` WRITE;
/*!40000 ALTER TABLE `tstatcatcher` DISABLE KEYS */;
/*!40000 ALTER TABLE `tstatcatcher` ENABLE KEYS */;
UNLOCK TABLES;
/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;

/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;

Maintenant que la base de données Talend Activity Monitoring Console est crée, vous pouvez monitorer les exécutions de Job soit depuis le Studio Talend, soit depuis le module Monitoring de Talend Administration Center.

Il ne reste plus qu'à déclarer les paramètres de connexion à ces tables dans le Studio Talend et l'application Web Talend Administration Center. Pour plus d'informations, consultez Configuration des sources de données pour la console de monitoring.