Bulk-Laden von Daten aus Azure DLS Gen2 in Azure Synapse

Dieses Szenario soll Sie bei der Einrichtung und Verwendung von Konnektoren in einer Pipeline unterstützen. Es wird empfohlen, dass Sie das Szenario an Ihre Umgebung und Ihren Anwendungsfall anpassen.

Prozedur

Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
Wählen Sie den Typ der zu erstellenden Verbindung im daraufhin geöffneten Fenster aus.
Example
ADLS Gen2
Wählen Sie in der Liste Engine Ihre Engine aus.
InformationshinweisAnmerkung:
- Es wird empfohlen, die Moteur distant Gen2 und nicht die Moteur Cloud pour le design für eine erweiterte Datenverarbeitung einzusetzen.
- Wenn keine Moteur distant Gen2 in Talend Management Console erstellt wurde bzw. diese vorhanden, aber als nicht verfügbar markiert ist, d. h. sie ist nicht aktiv und wird nicht ausgeführt, dann können Sie weder einen Connection type (Verbindungstyp) in der Liste auswählen noch die neue Verbindung speichern.
- Die Liste der verfügbaren Verbindungstypen richtet sich nach der ausgewählten Engine.
Wählen Sie den Typ der zu erstellenden Verbindung aus.
Wählen Sie ADLS Gen2 aus.
Geben Sie die Verbindungseigenschaften für den Zugriff auf das Dateisystem Azure Data Lake Storage Gen2 wie in Eigenschaften von Azure Data Lake Storage Gen2 beschrieben ein, prüfen Sie die Verbindung und klicken Sie dann auf Add dataset (Datensatz hinzufügen).
Geben Sie im Fensterbereich Add a new dataset (Neuen Datensatz hinzufügen) einen Namen für Ihren Datensatz ein.
Example
BKO Taxi On ADLS Gen2
Geben Sie die erforderlichen Eigenschaften für den Zugriff auf die Datei in Ihrem Speicherkonto ein und klicken Sie dann auf View sample (Sample anzeigen), um eine Vorschau Ihres Datensatz-Samples anzuzeigen.

In diesem Fall wird eine CSV-Datei mit Daten zu Taxifahrtkosten in Bamako auf Mali im Ordner talend in einem Azure-Dateisystem mit der Bezeichnung talend-fs abgerufen. Sie können die Verzeichnisse Ihres Dateisystems auf der Seite des Storage-Explorer Ihres Azure Storage-Kontos anzeigen.
Gehen Sie genauso vor, um die Azure Synapse-Tabelle hinzuzufügen, die bei der Ausführung Ihrer Pipeline erstellt wird, in diesem Beispiel mit dem Namen taxi_data (Taxidaten). Geben Sie die Verbindungseigenschaften gemäß der Beschreibung in Eigenschaften von Azure Synapse ein.
Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
Legen Sie einen sinnvollen Namen für die Pipeline fest.
Example
From ADLS Gen2 to Synapse - trip cost per distance covered (Von ADLS Gen2 zu Synapse - Fahrtkosten pro zurückgelegter Entfernung)
Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN) und wählen Sie Ihren Quelldatensatz, lead generation campaign (Kampagne zur Leadgenerierung), im daraufhin geöffneten Fenster aus.
Klicken Sie auf , um Prozessoren zu Ihrer Pipeline hinzuzufügen, z. B. einen Typkonverter (Type converter), um Zeichenfolgenfelder (String) in Felder vom Typ Ganzzahl (Integer) oder Doppelwert (Double) zu konvertieren, eine Feldauswahl (Field selector) zur Filterung und Umbenennung einiger Datensätze und einen Prozessor vom Typ Aggregate (Aggregieren), um die Kosten einer Fahrt auf der Grundlage der zurückgelegten Entfernung zu berechnen.
(Optional) Klicken Sie auf den letzten Prozessor, um eine Vorschau der verarbeiteten Daten anzuzeigen.
Klicken Sie auf das Element ADD DESTINATION (ZIEL HINZUFÜGEN) der Pipeline, um ein Fenster zu öffnen, in dem Sie den Azure Blob auswählen können, in den Ihre Ausgabedaten geladen werden sollen.
Legen Sie für das Ziel einen aussagekräftigen Namen fest, beispielsweise bulk load to Synapse (Bulk-Laden in Synapse).
Wählen Sie auf der Registerkarte Configuration (Konfiguration) die Action (Aktion) aus, die mit der Tabelle (Bulk load (Bulk-Laden)) durchgeführt werden soll, und anschließend die zu verwendende Blob-Verbindung. Weitere Informationen zur Konfiguration von Azure Blob Storage finden Sie unter Azure Blob Storage.
Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Ihre Pipeline wird ausgeführt, die in Azure DLS Gen2 gespeicherten Informationen zu Taxifahrten wurden pro zurückgelegter Entfernung aggregiert und der Ausgabe-Flow wird in die Azure Synapse-Tabelle geladen, die bei Ausführung der Pipeline erstellt wird.

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!

Geben Sie hier Ihr Feedback ab