演讲主题:Apache Paimon:Streaming LakeHouse 最新进展
贵宾会议室
目前业界主流数据湖存储格式项目都是面向 Batch 场景设计的,在数据更新处理时效性上无法满足 Streaming Lakehouse 的需求,因此 Flink 社区在一年多前内部孵化了 Flink Table Store 子项目——一个真正面向 Streaming 以及 Realtime的数据湖存储项目。2023年3月12日,Flink Table Store 项目顺利通过投票,正式进入 Apache 软件基金会 (ASF) 的孵化器,改名为 Apache Paimon (incubating)。 \n
Apache Paimon (incubating) 是一项流式数据湖存储技术,可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念,可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接,共同推进 Streaming Lakehouse 架构的普及和发展。\n
\n
主题大纲:\n
1. 湖存储技术的场景与特质\n
2. Paimon 的架构与核心优势\n
3. Paimon 的应用场景\n
4. Paimon 的后续探索\n
5. 总结和展望\n
\n
听众收益:\n
1. 了解湖存储相关技术\n
2. 了解实时计算最新进展\n
3. 了解流式数据湖的应用场景\n