主题介绍：\n 异构算力设备已经逐渐成为机器学习产品和服务中的常态化需求，近年来国产异构算力发展迅速，产生了一批相当有竞争力的产品。但其相对封闭的生态与云原生粗粒度的分配方式造成了生产环境中异构算力的使用率往往不尽如人意。\n 大模型成为趋势的当下，对于算力的需求呈现指数级别上升，如何能让大模型可以平稳部署在信创设备上，并提升其利用率已经成为了一个重要的课题。\n 本次演讲主要介绍Project-HAMi，一个基于云原生的开源异构算力整合与虚拟化解决方案，以此方式降低国产异构算力的使用门槛，解决资源分配粒度过粗的问题，从而提升了集群中异构算力设备利用率。\n \n 主题大纲：\n 1. 背景与趋势；\n 2. 产业痛点；\n 3. 异构算力池整合与虚拟化方案设计；\n 4. 异构算力迁移服务；\n 5. 应用实践。\n \n 听众收益：\n 了解异构算力的现状与痛点，以及使用异构算力部署大模型的实践步骤，了解一套基于开源的云原生的异构算力池化解决方案。

主题介绍：\n 今年3月份SUNO AI 发布V3版本，在音乐人圈子里引发了不小轰动，网友评价其为：音乐界的ChatGPT。作为音乐平台开发者，即感叹技术的日新月异，同时感受到变革带来的挑战。\n 本次分享，将介绍网易云音乐的大模型应用实践以及在大模型方向的技术创新和规划。分享包括三个部分：首先是平台和实践，介绍基于LLMOps理念实现的大模型微调、部署、评测、标注链路，分享我们采用 zero offload技术来降低微调需要的资源门槛。此外，还会介绍基于自研 Modelzoo 实现大模型分布式管理、推理部署、推理优化以及平台提供的人工标注和机器标注流程。实践部分，将分享在音乐社区领域，如何基于大模型的闲聊对话全链路解决方案增加用户主动会话意愿，提升用户留存率。其次，也将会介绍我们在Agent实践领域，共同探讨Agent 落地存在的问题及解决方案。最后，会介绍网易云音乐在多模态方面的一些应用。\n 为迎接未来AI应用浪潮，我们也在大模型推荐、交互式 AI以及内容生成方向进行了探索，在规划部分，也会分享我们在技术创新方面的进展。\n \n 主题大纲：\n 1.演进历程：平台定位、背景；\n 2.平台架构：技术栈、架构；\n 3.LLMOps：大模型微调、部署、评测、标注链；\n 4.实践：大模型应用案例：基于LLM对话系统、Agent实践、多模态内容生成等；\n 5.创新和规划：大模型推理、AIGC搜索方面的探索。\n \n 听众收益：\n 对大模型应用、部署及推理优化感兴趣的同行。\n