Kafkaデータセットの作成中にカスタムのJSONスキーマを入力すれば、選択したトピックとの間の読み書きに使用できます。
JSONとKafka入力での作業に関する注意事項
現在、KafkaにおけるJSONサポートは次のように実装されています。
- 最初のJSONレコードからスキーマが推測され、後続のJSONレコードの変換に使用されます。
- 推測されたJSONスキーマと一致しないJSONレコードは、暗黙のうちに(デバッグメッセージと共に)ドロップされます。
次のJSONレコードを伴うKafkaトピックの例:
1 - {"title":"The Matrix","year":1999,"cast":["Keanu Reeves","Laurence Fishburne","Carrie-Anne Moss","Hugo Weaving","Joe Pantoliano"],"genres":["Science Fiction"]}
2 - {"Test" : true}
3 - {"title":"Toy Story","year":1995,"cast":["Tim Allen","Tom Hanks","(voices)"],"genres":["Animated"]}Kafka入力コネクターは以下のようなメッセージを処理します。
- 最初の入力JSONレコード(メッセージ1)から推測スキーマします。
- メッセージ1を次のコネクターに転送します。
- メッセージ2は推測されたスキーマに一致しないので、ドロップします。
- メッセージ3は推測されたスキーマに一致するので、次のコネクターに転送します。
JSONとKafka出力での作業に関する注意事項
Kafka出力コネクターはバイト型を正しく処理できません。