Création de fichiers ou de tables de base de données

Talend Activity Monitoring Console est une application permettant de monitorer l'exécution des Jobs. Ces exécutions sont monitorées à l'aide de trois fichiers ou tables de base de données contenant les informations suivantes :

la collection de logs,
les statistiques sur les composants,
les volumes de flux de données.

Pour stocker ces données, vous devez créer trois fichiers ou tables de données utilisant chacun le schéma correspondant aux composants tLogCatcher, tStatCatcher et tFlowMeterCatcher (présents dans la Palette de Studio Talend).

Ces fichiers peuvent être vides. Leur structure est automatiquement générée si vous utilisez des fichiers comme sources de données pour stocker les informations de monitoring d'activité.

Remarque : L'installation de la base de données <AMC> et l'utilisation de Talend Activity Monitoring Console dans le Studio sont facultatives pour Talend ESB et ne sont requises que si les composants tFlowMeterCatcher, tLogCatcher et tStatCatcher sont utilisés. Ces composants peuvent être utilisés dans des Jobs (par exemple, des Jobs consommateurs ESB) pour les fournisseurs de services ESB REST et SOAP. Seul le composant tLogCatcher est supporté pour le moment puisque les autres composants ne supportent pas entièrement les environnements "Keep listening" et que les Routes ne peuvent pour l'instant pas utiliser ces composants.

Pour créer les tables de base de données à utiliser comme sources de données pour la console de monitoring, procédez comme suit :

Créez une base de données et nommez-la amc, par exemple.
Démarrez le Studio Talend.
Créez un Job contenant trois composants tCreateTable.
Définissez les paramètres de connexion à la base de données amc dans les trois composants tCreateTable .
Définissez la structure des données à l’aide du schéma des composants : tLogCatcher, tStatCatcher ettFlowMeterCatcher.

Notez qu’une fois que vous avez créé les tables tStatCatcher, tLogCatcher et tFlowMeterCatcher, vous devez vous assurer que le type de données moment est défini comme datetime et non comme date.

Pour créer ces tables dans une base de données MySQL, vous pouvez également utiliser le script suivant :

-- MySQL dump 10.13  Distrib 5.5.24, for Win32 (x86)
--
-- Host: 127.0.0.1    Database: amc
-- ------------------------------------------------------
-- Server version	5.5.24-log

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Current Database: `amc`
--

CREATE DATABASE /*!32312 IF NOT EXISTS*/ `amc` /*!40100 DEFAULT CHARACTER SET latin1 */;

USE `amc`;

--
-- Table structure for table `flowmeter`
--

DROP TABLE IF EXISTS `flowmeter`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `flowmeter` (
  `moment` datetime DEFAULT NULL,
  `pid` varchar(20) DEFAULT NULL,
  `father_pid` varchar(20) DEFAULT NULL,
  `root_pid` varchar(20) DEFAULT NULL,
  `system_pid` bigint(8) DEFAULT NULL,
  `project` varchar(50) DEFAULT NULL,
  `job` varchar(255) DEFAULT NULL,
  `job_repository_id` varchar(255) DEFAULT NULL,
  `job_version` varchar(255) DEFAULT NULL,
  `context` varchar(50) DEFAULT NULL,
  `origin` varchar(255) DEFAULT NULL,
  `label` varchar(255) DEFAULT NULL,
  `count` int(3) DEFAULT NULL,
  `reference` int(3) DEFAULT NULL,
  `thresholds` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `flowmeter`
--

LOCK TABLES `flowmeter` WRITE;
/*!40000 ALTER TABLE `flowmeter` DISABLE KEYS */;
/*!40000 ALTER TABLE `flowmeter` ENABLE KEYS */;
UNLOCK TABLES;

--
-- Table structure for table `logcatcher`
--

DROP TABLE IF EXISTS `logcatcher`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `logcatcher` (
  `moment` datetime DEFAULT NULL,
  `pid` varchar(20) DEFAULT NULL,
  `root_pid` varchar(20) DEFAULT NULL,
  `father_pid` varchar(20) DEFAULT NULL,
  `project` varchar(50) DEFAULT NULL,
  `job` varchar(255) DEFAULT NULL,
  `context` varchar(50) DEFAULT NULL,
  `priority` int(3) DEFAULT NULL,
  `type` varchar(255) DEFAULT NULL,
  `origin` varchar(255) DEFAULT NULL,
  `message` varchar(255) DEFAULT NULL,
  `code` int(3) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `logcatcher`
--

LOCK TABLES `logcatcher` WRITE;
/*!40000 ALTER TABLE `logcatcher` DISABLE KEYS */;
/*!40000 ALTER TABLE `logcatcher` ENABLE KEYS */;
UNLOCK TABLES;

--
-- Table structure for table `statcatcher`
--

DROP TABLE IF EXISTS `statcatcher`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `statcatcher` (
  `moment` datetime DEFAULT NULL,
  `pid` varchar(20) DEFAULT NULL,
  `father_pid` varchar(20) DEFAULT NULL,
  `root_pid` varchar(20) DEFAULT NULL,
  `system_pid` bigint(8) DEFAULT NULL,
  `project` varchar(50) DEFAULT NULL,
  `job` varchar(255) DEFAULT NULL,
  `job_repository_id` varchar(255) DEFAULT NULL,
  `job_version` varchar(255) DEFAULT NULL,
  `context` varchar(50) DEFAULT NULL,
  `origin` varchar(255) DEFAULT NULL,
  `message_type` varchar(255) DEFAULT NULL,
  `message` varchar(255) DEFAULT NULL,
  `duration` bigint(8) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `statcatcher`
--

LOCK TABLES `statcatcher` WRITE;
/*!40000 ALTER TABLE `statcatcher` DISABLE KEYS */;
/*!40000 ALTER TABLE `statcatcher` ENABLE KEYS */;
UNLOCK TABLES;
/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;

/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;

À présent que la base de données Talend Activity Monitoring Console a été créée, vous pouvez monitorer les exécutions des Jobs soit depuis Studio Talend, soit depuis la page Monitoring de Talend Administration Center.

Pour cela, vous n’avez qu’à déclarer les paramètres de connexion à ces tables à Studio Talend et Talend Administration Center. Pour plus d'informations, consultez Configuration des sources de données de la console de monitoring.

Création de fichiers ou de tables de base de données - 7.3

Guide d'utilisation de Talend Activity Monitoring Console