wot
如有任何问题,欢迎扫码,联系我们!
World Of Tech 2024
出品人详情
2024/06/21-22 北京·粤财JW万豪酒店
谭中意
中国开源推进联盟常务副主席 开放原子基金会TOC主席

中国开源推进联盟常务副主席、开放原子基金会TOC主席。在Sun、百度、腾讯工作超过20年,曾任百度开源技术委员会负责人,百度深度学习布道师,PaddlePaddle第一本官方中文书作者。

专题:大模型部署与应用

随着大模型的研究和应用越来越广泛,企业对于应用大模型的需求变得越来越迫切,本专题将邀请业内领先企业,分享大模型在生产环境中高效部署与应用的实践经验。
李孟轩
第四范式 高级研发工程师
使用信创算力与虚拟化技术提升大模型部署效率
主题介绍:\n 异构算力设备已经逐渐成为机器学习产品和服务中的常态化需求,近年来国产异构算力发展迅速,产生了一批相当有竞争力的产品。但其相对封闭的生态与云原生粗粒度的分配方式造成了生产环境中异构算力的使用率往往不尽如人意。\n 大模型成为趋势的当下,对于算力的需求呈现指数级别上升,如何能让大模型可以平稳部署在信创设备上,并提升其利用率已经成为了一个重要的课题。\n 本次演讲主要介绍Project-HAMi,一个基于云原生的开源异构算力整合与虚拟化解决方案,以此方式降低国产异构算力的使用门槛,解决资源分配粒度过粗的问题,从而提升了集群中异构算力设备利用率。\n \n 主题大纲:\n 1. 背景与趋势;\n 2. 产业痛点;\n 3. 异构算力池整合与虚拟化方案设计;\n 4. 异构算力迁移服务;\n 5. 应用实践。\n \n 听众收益:\n 了解异构算力的现状与痛点,以及使用异构算力部署大模型的实践步骤,了解一套基于开源的云原生的异构算力池化解决方案。
神秘嘉宾
敬请期待
神秘嘉宾
敬请期待