Databricks sur AWS : écrire et lire des données depuis S3 - 7.1

Databricks

author
Talend Documentation Team
EnrichVersion
Cloud
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Création de Jobs > Distributions Hadoop > Databricks
Création et développement > Création de Jobs > Serverless > Databricks
EnrichPlatform
Studio Talend

Dans ce scénario, vous allez créer un Job Spark Batch utilisant un tS3Configuration et les composants Parquet pour écrire des données dans S3 et les lire depuis S3.

Ce scénario s'applique uniquement aux solutions Talend avec Big Data nécessitant souscription.

Pour plus d'informations concernant les technologies supportées par Talend, consultez Composants Talend.

L'échantillon de données utilisé est le suivant :
01;ychen

Ces données contiennent un identifiant utilisateur et un ID distribué à cet utilisateur.

Notez que les données d'exemple sont créées à des fins de démonstration uniquement.