ACL 2025 第二弹:维也纳风情舞会点燃学术之夜
维也纳时间7月28日-29日,ACL 2025会议进入第二、三天的议程,现场热度持续攀升。从模块化语言模型的前沿演讲到充满维也纳特色的学术舞会,与会者在思维碰撞与艺术氛围中沉浸式体验了这一学术盛宴。以下是现场亮点回顾~
主题演讲
“模块化语言模型”主题演讲中提出的观点引发广泛关注。该技术通过将模型拆分为多个专家模块(Experts),每个模块专门处理特定类型的数据或任务。在推理阶段,系统可以动态地混合、添加或移除这些模块,实现模型的实时灵活配置。
"这就像用乐高积木搭建模型,"演讲者形象地比喻道,"研究者可以根据具体需求自由组合不同能力的专家模块,而无需重新训练整个模型。"这种设计不仅大幅提升了模型的适应性,还显著降低了计算资源消耗。
海报展示
在随后进行的海报展示环节中,来自全球的研究团队带来了最新实践成果。与会学者们围绕各展位展开热烈讨论,现场交流氛围浓厚。
华中科技大学与平安科技团队开发的MoQAE方法创新性地解决了长上下文场景下KV缓存内存占用过高的问题。该方法采用分块处理策略,通过路由器网络动态选择最优量化专家,实现了内存使用与模型精度的智能权衡。特别值得注意的是,该方法仅需微调路由器参数,大幅降低了训练成本。
上海交通大学与武汉大学联合团队提出的IAM方法针对大型语言模型(LLM)自注意力机制中的二次方复杂度问题提出了创新解决方案。研究发现,不同规模的LLM在注意力分数上表现出高度相似性。基于这一发现,IAM通过在不同规模LLM之间建立注意力分数映射关系,显著降低了计算复杂度。
维也纳之夜
傍晚,维也纳风情舞会将氛围推向高潮。组委会巧妙复刻“维也纳新年音乐会”经典曲目:从轻快的《Tritsch-Tratsch Polka》到优雅的《蓝色多瑙河》,最后以激昂的《拉德茨基进行曲》收尾。学者们暂别代码与公式,在华尔兹节奏中交换研究灵感。
ACL2025盛会仍在如火如荼地展开,每一天都带来了新的亮点和突破。请持续关注我们的报道,紧随我们的步伐,深入这场科技与创新的盛宴,共同见证每一个精彩瞬间!