Ronin Engineer

🧊 Iceberg Topics for Apache Kafka: Zero ETL, Zero Copy

Vài năm gần đây, Apache Iceberg là chủ đề được bàn tán nhiều trong các cộng đồng big data, data engineering. Những ý tưởng xung quanh Iceberg cũng “mọc lên như nấm”. Và Iceberg Topic cho Kafka là một trong số đó.

Iceberg Topic được cho rằng là “game changer” đối với những ai cần phải xử lý những use cases cả về data streaming và analytics. Design idea ở đây là lưu dữ liệu của Kafka topic dưới dạng Iceberg table và kết hợp với tính năng diskless của Kafka để lưu Iceberg table ở tiered storage. Như vậy, consumer vẫn có thể consume Kafka topic, đồng thời, các query engine có thể xử lý trên cùng Iceberg tables (data layer). Lợi ích của idea này là chúng ta sẽ “không” cần ETL pipelines (Zero ETL), không cần thêm các thao tác copy data giữa các hệ thống (Zero Copy).

Cụ thể Iceberg topic giải quyết những vấn đề gì của Kafka?
Mọi người đọc thêm idea này của Aiven (một trong những contributor chính của Kafka) ở bên dưới nha. 👇
👉 Iceberg Topics for Apache Kafka: https://aiven.io/blog/iceberg-topics-for-apache-kafka-zero-etl-zero-copy
👉 Why is Everyone Talking About Apache Iceberg: https://youtu.be/BTwVhkQcg7g

PS:
+ Bạn thấy idea này thế nào?
+ Liệu idea này có vấn đề gì ko?
+ Nó có khác gì so với Tableflow của Confluent?
Comment bên dưới để mình nha. 👇
Cám ơn mn 🙏