主题介绍：\n 随着生成式AI技术浪潮的兴起，内容生态作为最前沿的创新和业务落地场景，对技术架构不断提出新挑战。百度内容生态作为百度核心用户产品信息流和搜索内容总供给，在内容理解和内容生成方向上不断进行探索和创新。本次分享主要介绍在百度视频创作平台建设过程中面临的AI算力托管、AI模型治理、推理加速等方面的挑战和一线解决方案实践。\n \n 主题大纲：\n 1. 百度内容架构及百度视频创作平台介绍\n 2. AI大模型工程架构的新挑战和实践\n 3. 思考AI工程架构的未来发展方向\n \n 听众收益：\n 1. 了解百度内容架构和百度视频创作平台\n 2. 了解当前AI大模型工程技术架构新挑战和实践\n 3. 了解未来AI大模型工程的思考和洞察\n

主题介绍：\n 今年3月份SUNO AI 发布V3版本，在音乐人圈子里引发了不小轰动，网友评价其为：音乐界的ChatGPT。作为音乐平台开发者，即感叹技术的日新月异，同时感受到变革带来的挑战。\n 本次分享，将介绍网易云音乐的大模型应用实践以及在大模型方向的技术创新和规划。分享包括三个部分：首先是平台和实践，介绍基于LLMOps理念实现的大模型微调、部署、评测、标注链路，分享我们采用 zero offload技术来降低微调需要的资源门槛。此外，还会介绍基于自研 Modelzoo 实现大模型分布式管理、推理部署、推理优化以及平台提供的人工标注和机器标注流程。实践部分，将分享在音乐社区领域，如何基于大模型的闲聊对话全链路解决方案增加用户主动会话意愿，提升用户留存率。其次，也将会介绍我们在Agent实践领域，共同探讨Agent 落地存在的问题及解决方案。最后，会介绍网易云音乐在多模态方面的一些应用。\n 为迎接未来AI应用浪潮，我们也在大模型推荐、交互式 AI以及内容生成方向进行了探索，在规划部分，也会分享我们在技术创新方面的进展。\n \n 主题大纲：\n 1.演进历程：平台定位、背景；\n 2.平台架构：技术栈、架构；\n 3.LLMOps：大模型微调、部署、评测、标注链；\n 4.实践：大模型应用案例：基于LLM对话系统、Agent实践、多模态内容生成等；\n 5.创新和规划：大模型推理、AIGC搜索方面的探索。\n \n 听众收益：\n 对大模型应用、部署及推理优化感兴趣的同行。\n

主题介绍：\n 异构算力设备已经逐渐成为机器学习产品和服务中的常态化需求，近年来国产异构算力发展迅速，产生了一批相当有竞争力的产品。但其相对封闭的生态与云原生粗粒度的分配方式造成了生产环境中异构算力的使用率往往不尽如人意。\n 大模型成为趋势的当下，对于算力的需求呈现指数级别上升，如何能让大模型可以平稳部署在信创设备上，并提升其利用率已经成为了一个重要的课题。\n 本次演讲主要介绍Project-HAMi，一个基于云原生的开源异构算力整合与虚拟化解决方案，以此方式降低国产异构算力的使用门槛，解决资源分配粒度过粗的问题，从而提升了集群中异构算力设备利用率。\n \n 主题大纲：\n 1. 背景与趋势；\n 2. 产业痛点；\n 3. 异构算力池整合与虚拟化方案设计；\n 4. 异构算力迁移服务；\n 5. 应用实践。\n \n 听众收益：\n 了解异构算力的现状与痛点，以及使用异构算力部署大模型的实践步骤，了解一套基于开源的云原生的异构算力池化解决方案。

主题介绍；\n AI模型急速增大与硬件算力缓慢增长的尖锐矛盾，已成为制约AI生产力解放和发展的主要痛点。基于多年在学术上的卓越成就和工业界的深厚积累，尤洋教授团队攻克多维张量并行、序列并行、异构内存管理、大规模优化库、自适应任务调度等多项核心关键技术，开源了面向大模型时代的通用深度学习系统Colossal-AI，可实现高效快速部署AI大模型训练和推理，降低AI大模型应用成本。发布后仅用时一年多，已在AI大模型软件基础设施细分赛道开源指标排名世界第一。潞晨科技全球首个开源复现ChatGPT的RLHF训练过程的完整解决方案，全球首个开源类Sora架构视频生成模型及完整低成本解决方案Open-Sora，目前已更新至v1.1，总训练成本仅1万美元，发布后一个月已收获GitHub Star近两万颗，在类Sora模型细分赛道排名世界第一。\n \n 主题大纲：\n 1.大模型时代的挑战与机遇；\n 2.底层系统和基础设施；\n 3.成功案例分享。\n \n 听众收益：\n 1.了解低成本开发和应用AI大模型的系统优化能力；\n 2.了解类Sora、ChatGPT等前沿大模型的实践能力。\n