吴健教授团队6篇论文入选EMNLP 2024，涵盖医学AI、多语言处理等前沿领域
吴健教授团队6篇论文入选EMNLP 2024，涵盖医学AI、多语言处理等前沿领域
近日，在计算语言学和自然语言处理领域的国际顶级会议EMNLP 2024上，浙江大学刘佐珠/吴健课题组共有6篇论文成功入选，其中4篇为主会论文，2篇为Findings论文。这一成果不仅展示了团队在自然语言处理领域的深厚实力，也为相关领域的研究提供了新的思路和方法。
医学视觉问答系统的新突破：MedCoT
在医学视觉问答系统（Med-VQA）领域，团队提出了MedCoT（Medical Chain of Thought via Hierarchical Expert），一种新型的分层专家验证推理链方法。该方法通过初诊专家、复诊专家和诊断专家的多级审核机制，解决了传统方法中推理路径不清晰、解释性不足的问题。在四个标准的Med-VQA数据集上的实验评估显示，MedCoT显著提高了性能和解释性。
多语言处理的深入探索
团队还对大语言模型（LLMs）在多语言处理中的神经元激活模式进行了系统研究。通过将稠密LLMs转化为细粒度的混合专家（MoE）架构，研究人员首次实现了对LLMs多语言激活模式的可视化分析。研究揭示了不同语言在模型内部的处理机制，并为模型剪枝和优化提供了新的视角。
机器翻译的创新解决方案
针对当前机器翻译任务中训练资源消耗巨大的问题，团队提出了MT-Ladder框架。该框架通过伪改进三元组和分层微调策略，能够在不依赖大量计算和数据的情况下，显著提升各种规模LLM的翻译性能。实验结果显示，MT-Ladder-7B在多个翻译方向上甚至能与GPT-4o mini的性能相匹配。
社会偏见检测工具BiasAlert
随着大语言模型的广泛应用，确保其公平性成为研究热点。团队开发的BiasAlert工具，通过结合外部人类知识与LLM的推理能力，能够可靠地检测各种开放文本生成任务中的社会偏见。实验表明，BiasAlert在检测偏见方面显著超越了现有工具和最先进的模型。
领域专家混合模型Med-MoE
团队还提出了Med-MoE（Mixture of Domain-Specific Experts）框架，通过领域专家混合模型来实现轻量级的医学语言模型。该方法通过专家选择器和领域专家的协同工作，显著提高了模型在医学领域的性能，同时保持了较低的计算成本。
跨语言知识迁移的创新方法
在跨语言知识迁移领域，团队提出了基于提示的跨语言知识迁移方法。通过设计特定的提示策略，该方法能够有效地将源语言的知识迁移到目标语言，显著提升了模型在低资源语言任务中的性能。
这些研究成果得到了国家基金委、浙江省基金委和浙江大学-时代天使智慧医疗联合研究中心的资助支持，体现了其重要的学术价值和应用前景。吴健教授团队的这些成果不仅在学术界产生了重要影响，也为相关技术的实际应用奠定了坚实基础。