演讲主题:多模态大模型动态训练与推理优化的协同实践
主题介绍:\n
本次分享将集中于大模型与多模态技术演进及强化学习问题的探讨,系统性地回顾其演进路径,并深入探讨以下关键方向:\n
1. 课程学习(Curriculum Learning):从静态数据采样到动态难度调整,如何通过渐进式训练策略提升模型收敛效率;\n
2. 针对思维优化如何缓解“过度思考”(Overthinking)问题进行分析,探索推理步骤与模型性能的平衡;\n
3. 推理加速MTP;\n
4. 模型效果提升Infer Scaling的实践;\n
5. 强化学习结合大模型GRPO。\n
\n
主题大纲:\n
1. 系统性地回顾大模型和多模态大模型演进路径、训练方法;\n
2. 课程学习(Curriculum Learning):从静态数据采样到动态难度调整,如何通过渐进式训练策略提升模型收敛效率;\n
3. 思维优化如何缓解“过度思考”(Overthinking)问题分析,探索推理步骤与模型性能的平衡;\n
4. 强化学习结合大模型GRPO;\n
5. 推理加速MTP;\n
6. 模型效果提升Infer Scaling的实践。\n
\n
听众收益:\n
了解强化学习发展路径以及后续问题,多模态大模型发展及现有问题。