Hadoop et le Studio Talend - Cloud - 8.0

Guide d'utilisation du Studio Talend

Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Last publication date
2024-03-06
Disponible dans...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Construit sur les solutions d'intégration de données de Talend, le Studio Talend permet aux utilisateurs et utilisatrices de gérer facilement les Big Data en tirant parti de Hadoop et de ses bases de données ou technologies, comme HBase, HCatalog, HDFS et Hive.

Lorsque des spécialistes en informatique parlent de Big Data, ils font généralement référence à des ensembles de données si volumineux et si complexes qu'ils ne peuvent être traités par les outils traditionnels de gestion de données. Ces grands volumes de données sont produits pour de nombreuses raisons. Des flux de données peuvent être générés automatiquement (rapports, logs, vidéosurveillance, etc.). Des flux de données peuvent être générés automatiquement (rapports, logs, vidéosurveillance, etc.) ou peuvent résulter d'analyses détaillées du comportement des clients (données relatives à la consommation), des recherches scientifiques (le grand collisionneur de hadrons) ou de la consolidation de différentes sources de données.

Ces référentiels de données, contenant souvent des pétaoctets et exaoctets de données, sont difficiles à analyser, car les systèmes traditionnels de bases de données ne sont pas assez puissants. Les Big Data doivent être analysées dans des environnements massivement parallèles, dans lesquels la puissance de calcul est répartie entre des milliers d'ordinateurs et les résultats transférés dans un emplacement central.

La plateforme Open source Hadoop est devenue la plus utilisée pour l'analyse de données volumineuses. Ce système de fichiers distribué divise les informations en plusieurs blocs de données et répartit ces blocs dans différents systèmes du réseau (cluster Hadoop). En répartissant cette puissance de calcul, Hadoop assure un haut niveau de disponibilité et de redondance. Un "nœud maître" gère le stockage de fichiers ainsi que les requêtes.

Hadoop est une plateforme de calcul très puissante permettant de travailler avec des données volumineuses. Elle accepte les requêtes externes, les répartit dans des ordinateurs individuels dans le cluster puis les exécute en parallèle sur les nœuds individuels. Les résultats sont retournés vers un emplacement central, où ils peuvent être analysés.

Cependant, afin de tirer parti des avantages de Hadoop, les analystes de données doivent trouver un moyen de charger les données dans Hadoop et de les extraire de ce système Open source. C'est ici que le Studio Talend entre en jeu.

Le Studio Talend est un environnement de développement graphique facile d'utilisation, permettant les interactions avec des sources et des cibles Big Data, sans nécessité d'apprendre ou d'écrire du code. Une fois qu'une connexion Big Data est configurée, le code sous-jacent est automatiquement généré et peut être déployé en tant que service, exécutable ou Job standalone s'exécutant nativement dans votre cluster Big Data - HDFS, HCatalog, HBase, Sqoop ou Hive.

Les solutions Big Data de Talend fournissent le support complet des plateformes Big Data les plus importantes. Les composants Big Data de Talend fonctionnent avec les distributions les plus utilisées, notamment avec Cloudera, Greenplum, Hortonworks et MapR. Talend fournit le support natif d'un éventail de plateformes Big Data, notamment Greenplum, Netezza, Teradata ou encore Vertica.