Propriétés du tPubSubInputAvro pour Apache Spark Streaming - 7.3

Define a Goolge Cloud configuration component

Si vous utilisez Dataproc comme votre cluster Spark, cochez cette case.

Sinon, cochez cette case pour permettre au composant Pub/Sub d'utiliser les informations de configuration de Google Cloud fournies par un composant tGoogleCloudConfiguration.

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Notez que le schéma défini ici doit correspondre exactement au schéma Avro binaire des messages reçus sur Pub/Sub. Pour vous en assurer, vous pouvez créer un autre Job Spark Streaming pour définir un schéma donné en utilisant le composant tWriteAvroFields et écrire des messages avec ce schéma via le composant tPubSubOutput.

Topic name

Saisissez le nom du topic à partir duquel vous souhaitez consommer les messages.

Subscription name

Saisissez le nom de la souscription qui doit consommer le topic spécifié.

Si la souscription existe, elle doit être connectée au topic en question ; si la souscription n'existe pas, elle doit être créée et connectée au topic en question lors de l'exécution.

Niveau de stockage

Dans la liste déroulante Storage level affichée, sélectionnez comment stocker les RDD en cache, dans la mémoire uniquement, ou dans la mémoire et sur le disque.

Pour plus d'informations concernant chaque niveau de stockage, consultez https://spark.apache.org/docs/latest/programming-guide.html#rdd-persistence (en anglais).

Use hierarchical mode

Cochez cette case pour mapper le schéma binaire (y compris le schéma hiérarchique) Avro au schéma plat défini dans l'éditeur de schéma du composant. Si le message Avro à traiter est plat, laissez cette case décochée.

Une fois cochée, vous devez configurer le(s) paramètre(s) suivant(s) :

• Local path to the avro schema : parcourez jusqu'au fichier définissant le schéma de données Avro à traiter.

• Mapping : créez le mapping entre les colonnes du schéma du composant courant et les données stockées dans le message hiérarchique Avro à gérer. Dans la colonne Node, vous devez saisir le chemin d'accès à JSON pointant vers les données à lire du message Avro.

Règle d'utilisation

Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie.

Connexion à Spark

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Autorisations d'accès à PubSub

Lorsque vous utilisez Pub/Sub avec un cluster Dataproc, assurez-vous que ce cluster possède les autorisations appropriées pour accéder au service Pub/Sub.

gcloud beta dataproc clusters create CLUSTER_ID \
    --zone europe-west1-b \
    --master-machine-type n1-standard-2 \
    --master-boot-disk-size 50 \
    --num-workers 2 \
    --worker-machine-type n1-standard-2 \
    --worker-boot-disk-size 50 \
    --scopes 'https://www.googleapis.com/auth/cloud-platform' \
    --project PROJECT_ID