主题介绍：\n 腾讯 AngelHCF 推理加速框架针对混元 LLM 大语言模型做了深度推理优化，结合全新的 Hybrid 模型结构整体上取得了不错的推理成本优势，支撑元宝线上混元模型上万卡推理。同时，AngelHCF 支持 PD 分离部署，针对 P 和 D 的推理特性分别采用不同的切分策略，叠加框架原有的模型压缩、并行解码等优化手段，显著降低线上推理成本。结合全新的Turbos 模型结构，本次分享将从不同角度介绍腾讯混元推理加速框架 AngelHCF 所做的一些针对性优化。\n \n 主题大纲：\n 1. 混元模型 & AngelHCF 推理加速框架介绍；\n 2. AngelHCF 推理框架性能优化具体实践；\n 3. 混元全新 Turbos 模型及其对应优化；\n 4. PD 分离部署结合特定切分策略极致优化；\n 5. 总结与展望。\n \n 听众收益：\n 1. 了解混元 Turbos Hybrid 结构带来的性能收益以及针对性的推理优化手段；\n 2. 了解 PD 分离结合超大规模 MoE 模型切分策略的优化方法。\n

主题介绍：\n 在数字经济与人工智能技术深度融合的今天，推荐系统已成为平台提升用户体验、增强用户粘性的核心技术引擎。传统推荐系统以判别式推荐​​为主导，但受限于被动响应用户历史行为，难以挖掘潜在需求与长尾内容和冷启动困境。随着Transformer等生成式模型的突破，​​生成式推荐​​通过建模用户历史序列与目标token的联合概率分布 ，并利用自注意力机制解析长序列行为，能更加精准的发掘用户兴趣。\n 本次分享将重点介绍网易云音乐推荐范式从判断式到生成式的范式跃迁，以及如何解决生成式模型在大规模部署应用中面临的诸多问题，并总结出一些性能优化的方法论。\n \n 主题大纲：\n 1. 网易云音乐从判别式推荐到生成式推荐的越迁；\n 2. 生成式推荐模型的落地痛点；\n 3. 性能优化与落地实践总结，包括：减少跨机数据通信；提升计算访存比；异构硬件计算等。\n \n 听众收益：\n 1. 了解生成式模型在推荐场景的应用落地；\n 2. 了解生成式模型的性能优化方法。\n