“AI+Security”：AI系统处理模糊信息的新突破
“AI+Security”：AI系统处理模糊信息的新突破
2025年1月，一场聚焦“AI+Security”的技术盛会在北京成功举办，来自 academia 和 industry 的专家们齐聚一堂，共同探讨AI驱动的漏洞挖掘新范式。其中，水木羽林技术专家张强博士分享的LLM辅助模糊测试增强技术，为AI系统处理模糊信息开辟了新的应用场景。
ECG框架：嵌入式操作系统内核模糊测试的新突破
嵌入式操作系统（Embedded Operating System）广泛应用于工业物联网、航天航空、自动驾驶、医疗设备和工业控制等领域，其安全性直接关系到关键基础设施的稳定运行。然而，随着应用场景的不断拓展，安全漏洞隐患也随之增加。传统的模糊测试方法在面对嵌入式操作系统时，存在生成高质量语料库难度大、难以把握未知内核状态路径等问题。
为解决这些挑战，张强博士团队提出了ECG（Embedded Core Fuzzing）框架，该框架充分利用大语言模型（LLM）的能力，实现了嵌入式操作系统内核模糊测试的重大突破。ECG框架分为两个关键阶段：
规范构建阶段：从内核模块中提取约束信息，生成实际代码，并收集系统调用定义。这一阶段通过LLM将访问内核模块的程序转换为系统调用序列，解决了传统方法中语料库生成的难题。
测试阶段：基于LLM预测并选择更优的测试输入变异方式，评估输入质量，并收集分析覆盖率数据和执行路径信息。LLM的上下文理解和推理能力在此阶段发挥重要作用，能够探索深层内核状态路径，提高测试覆盖率。
实验结果显示，ECG框架在三个嵌入式操作系统（RT-Linux、OpenWrt、RaspiOS）中发现了32个未知bug，在商用嵌入式操作系统ZHIXIN上也发现了10个bug。在代码分支覆盖率方面，ECG平均达到183,452.4，相比其他工具提升了16.02%。在LLM辅助生成有效性方面，使用Mixtral8x7b时，平均每个程序仅消耗781.9个token。
LLM在数据库模糊测试中的应用挑战
尽管LLM在嵌入式操作系统内核模糊测试中展现出强大能力，但在数据库模糊测试领域仍面临诸多挑战。张强博士指出，LLM在以下三个方面存在局限性：
幻觉问题：LLM可能生成看似合理但实际错误的输出，影响测试输入的准确性和bug报告的可信度。
长文本理解能力不足：在处理复杂长篇文本时，LLM的效果往往不尽人意，这限制了其在某些场景下的应用。
训练语料库局限性：如果缺乏特定任务的相关知识，LLM的表现会大打折扣。
针对这些挑战，张强博士提出了以下建议：
- 摒弃一次性合成：改为依据错误迭代查询LLM进行修复。
- 收集函数相关信息：用于提示工程，提供更准确的上下文。
- 复杂系统采用传统方法：在某些情况下，传统程序分析方法可能更可靠。
AI在安全领域的其他创新应用
除了在模糊测试中的应用，AI还在安全领域展现出更多可能性。华清未央CEO朱文宇博士分享了机器语言大模型（MLM）的创新成果。与自然语言大模型（如GPT-4）和代码大模型相比，MLM在反编译代码领域展现出独特优势：
- 卓越的代码分类能力：能够快速判断代码类型和敏感性，精准锁定目标代码。
- 精准的代码相似性检测：有助于识别恶意代码和漏洞模式。
- 高效的性能瓶颈定位：辅助优化系统性能。
此外，前阿里云高级安全专家郑瀚深入探讨了大语言模型的安全对齐技术。他指出，LLM面临多重风险挑战，包括生成内容不可靠、用户隐私泄露、版权侵权等问题。为应对这些挑战，研究者提出了“云-边缘-端”策略，涵盖防御技术、评测技术和安全左移三个关键领域，旨在全面提升模型的安全性。
未来展望
AI与安全领域的深度融合正在开启新的篇章。从LLM辅助的模糊测试到机器语言大模型的创新应用，AI正在为软件安全检测带来革命性的变化。然而，这一领域仍面临诸多挑战，如LLM的固有局限性、安全对齐问题等。未来，随着技术的不断进步和研究的深入，我们有理由相信，AI将在保障网络安全方面发挥越来越重要的作用。