演讲主题：AI大模型云上异构算力加速指南
JEN1厅
主题介绍：\n
随着集群规模的增加，无论训练还是推理对硬件性能的利用均呈现指数难度上升，需要精细的软硬件协同来提升性能。腾讯云的Taco-LLM开箱即用性能方案基于Continuous Batching、预测解码、模型量化等技术，提高吞吐的同时，也降低了客户端延迟，并全面兼容hugging face主流大语言模型，可保障复杂多变的公有云应用场景。\n
\n
主题大纲：\n
1. 大模型时代AI基础设施的机会和挑战；\n
2. 腾讯云自研计算、存储、网络架构；\n
3. 长稳训练；\n
4. 基于TKE的AI集群管理及故障自愈；\n
5. Nemo on TKE；\n
6. 客户案例；\n
\n
听众收益：\n
1. 了解大模型时代“蒸汽机”：云上大规模算力集群的来龙去脉；\n
2. 交流大模型推理优化腾讯云的实战经验及独门秘诀；\n
3. 畅谈国产化替代背景下云计算及AI发展的思考；\n
