Ce scénario présente comment récupérer des informations relatives à des vols depuis un registre de schéma à l'aide du tKafkaInputAvro dans des Jobs Spark Streaming.
Pour plus de technologies supportées par , consultez Composants Talend.
Dans ce scénario, vous créez le Job Spark Streaming suivant :
Avant de reproduire ce scénario, vous devez vous assurer que votre système Kafka s'exécute correctement et que vous avez les droits et autorisations appropriés pour accéder au sujet Kafka à utiliser.
Ce scénario récupère des données depuis le schéma Avro suivant :
{
"type": "record",
"name": "flightRecord",
"namespace": "flightInformation,
"fields": [
{
"name": "flightNumber",
"type": "string",
}
{
"name": "departure",
"type": "string",
}
{
"name": "destination",
"type": "string",
}
{
"name": "nbPassengers",
"type": "int",
}
{
"name": "aircraftSize",
"type": "string",
}
]
}Ce scénario récupère des données depuis les messages Avro suivants :
{"flightNumber":"OMP45","departure":"Paris","destination":"Athens","nbPassengers":120,"aircraftSize":"Medium"}
{"flightNumber":"FGH34","departure":"Paris","destination":"Oslo","nbPassengers":122,"aircraftSize":"Medium"}
{"flightNumber":"XHK20","departure":"Madrid","destination":"Buenos Aires","nbPassengers":247,"aircraftSize":"Large"}
{"flightNumber":"TUI09","departure":"Zurich","destination":"Johannesburg","nbPassengers":322,"aircraftSize":"Large"}
{"flightNumber":"CDI03","departure":"Frankfurt","destination":"New-York","nbPassengers":366,"aircraftSize":"Large"}
{"flightNumber":"JKF77","departure":"Paris","destination":"Los-Angeles","nbPassengers":380,"aircraftSize":"Large"}
{"flightNumber":"LBZ23","departure":"London","destination":"Shanghai","nbPassengers":416,"aircraftSize":"Large"}
{"flightNumber":"NSV50","departure":"London","destination":"Vienna","nbPassengers":95,"aircraftSize":"Small"}
{"flightNumber":"LRS12","departure":"Roma","destination":"Rio de Janeiro","nbPassengers":395,"aircraftSize":"Large"}
{"flightNumber":"ALJ67","departure":"Roma","destination":"Warsaw","nbPassengers":102,"aircraftSize":"Small"}
Notez que les données d'exemple sont créées à des fins de démonstration uniquement.