目前业界主流数据湖存储格式项目都是面向 Batch 场景设计的，在数据更新处理时效性上无法满足 Streaming Lakehouse 的需求，因此 Flink 社区在一年多前内部孵化了 Flink Table Store 子项目——一个真正面向 Streaming 以及 Realtime的数据湖存储项目。2023年3月12日，Flink Table Store 项目顺利通过投票，正式进入 Apache 软件基金会 (ASF) 的孵化器，改名为 Apache Paimon (incubating)。 \n Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。\n \n 主题大纲：\n 1. 湖存储技术的场景与特质\n 2. Paimon 的架构与核心优势\n 3. Paimon 的应用场景\n 4. Paimon 的后续探索\n 5. 总结和展望\n \n 听众收益：\n 1. 了解湖存储相关技术\n 2. 了解实时计算最新进展\n 3. 了解流式数据湖的应用场景\n

本次分享将重点介绍快手内部在HUDI数据湖技术上的生产实践。通过数据同步、数据更新和宽表拼接等典型业务场景的应用，说明如何用数据湖技术解决传统离线生产链路中的痛点，并优化效率、时效性和成本。最后介绍目前还存在的痛点和正在建设中的工作，并对未来的工作进行展望。这次分享的核心目标是突出数据湖技术在重塑离线生产方式中的关键作用。\n \n 主题大纲：\n 1. 简介：\n 快手内部数据生产链路的挑战和痛点\n 数据湖技术引入的动机和意义\n \n 2. 数据湖技术概述：\n 数据湖的基本概念和特点\n HUDI数据湖技术的优势和适用场景\n \n 3. 数据同步应用：\n 数据同步需求和挑战\n 基于 HUDI的数据同步解决方案和实践\n \n 4. 数据更新应用：\n 传统离线生产链路中的数据更新问题\n 基于HUDI实现增量数据更新的案例和经验\n \n 5. 宽表拼接应用：\n 宽表拼接在离线生产中的重要性和难点\n 基于HUDI建设大宽表的方案和实践\n \n 6. 未来展望：\n 目前的痛点\n 建设中的工作\n 未来工作\n \n 听众收益：\n 了解数据湖技术在数据同步、数据更新和宽表拼接等业务场景的经验\n 获得数据湖技术最新进展\n

本次分享将重点介绍在字节跳动内部庞大的数据体量下，如何能够支持高性能的实时入湖，通过业务场景来阐述现有数据入湖方式存在的痛点，介绍目前字节跳动内部的对于实时入湖的优化，并说明如何使用这些优化来解决入湖时效性的问题。最后还将介绍未来整体规划以及希望达成的预期。\n \n 主题大纲：\n 1. LAS 介绍；\n 2. 实时数仓场景；\n 3. 生产落地与优化；\n 4. 未来规划\n