World Of Tech 2023
参会嘉宾
2023/06/16-17 北京·粤财JW万豪酒店
新技术
瞰未来
张静
快手 数据架构研发专家

快手数据架构研发专家,先后就职于百度、阿里、快手。专注于大数据技术,包括计算引擎和数据湖方向。热爱开源技术,Apache Flink && Apache Calcite Committer,Apache HUDI Contributor。

演讲主题:数据湖在快手的生产实践

贵宾会议室

本次分享将重点介绍快手内部在HUDI数据湖技术上的生产实践。通过数据同步、数据更新和宽表拼接等典型业务场景的应用,说明如何用数据湖技术解决传统离线生产链路中的痛点,并优化效率、时效性和成本。最后介绍目前还存在的痛点和正在建设中的工作,并对未来的工作进行展望。这次分享的核心目标是突出数据湖技术在重塑离线生产方式中的关键作用。\n \n 主题大纲:\n 1. 简介:\n 快手内部数据生产链路的挑战和痛点\n 数据湖技术引入的动机和意义\n \n 2. 数据湖技术概述:\n 数据湖的基本概念和特点\n HUDI数据湖技术的优势和适用场景\n \n 3. 数据同步应用:\n 数据同步需求和挑战\n 基于 HUDI的数据同步解决方案和实践\n \n 4. 数据更新应用:\n 传统离线生产链路中的数据更新问题\n 基于HUDI实现增量数据更新的案例和经验\n \n 5. 宽表拼接应用:\n 宽表拼接在离线生产中的重要性和难点\n 基于HUDI建设大宽表的方案和实践\n \n 6. 未来展望:\n 目前的痛点\n 建设中的工作\n 未来工作\n \n 听众收益:\n 了解数据湖技术在数据同步、数据更新和宽表拼接等业务场景的经验\n 获得数据湖技术最新进展\n
关于我们
About us
51CTO成立于2005年,以服务一亿数字化人才职业成长为己任。通过技术社区、技术博客和新媒体矩阵等综合产品服务体系,凝聚了2000万IT技术人员、50万位技术博主和近千家公司CTO。是中国知名的数字化人才学习平台和技术社区,并以规模大、用户多、技术门类全等特点为市场充分认可。
合作联系

媒体合作:15611889277

商务赞助:13801332155

商务邮箱:wj@51cto.com

议题提交:zhangxn@51cto.com

票务咨询

咨询电话:15611889277