平安科技王磊：大规模预训练模型在金融领域应用的缺陷与改进

平安科技王磊：大规模预训练模型在金融领域应用的缺陷与改进

随着BERT、GPT-3等大规模预训练模型的相继问世，"模型越大，性能越好"的理念逐渐深入人心。然而，在实际应用中，这些模型在垂直领域却面临着诸多挑战。平安科技前沿技术部门负责人王磊在CNCC 2021上的报告中，深入探讨了大规模预训练模型在金融领域应用中遇到的主要问题，并提出了相应的解决方案。

目前，大规模预训练模型已经在自然语言处理领域取得了巨大的成功。BERT、GPT-3等大规模预训练模型被看做是"暴力美学"的一次胜利，验证了"模型越大，性能越好"的逻辑，业界也普遍形成了"炼大模型"的竞赛趋势，国内研究机构和企业也相继发布了大规模预训练模型，呈现百花齐放、百家争鸣的发展格局。

大规模预训练模型在垂直领域的"致命"问题

在2021年12月的CNCC 2021"产业共话：大型预训练模型的商业应用及技术发展方向"论坛上，平安科技前沿技术部门负责人王磊做了《大规模预训练模型金融领域应用中面临的主要问题与应对技术探讨》的报告。在报告中，他指出了当前大规模预训练模型在垂直领域的"致命"问题。

王磊认为，大规模预训练模型在垂直领域性能达不到要求的原因主要有两个：

1. 大规模预训练模型的训练语料库规模很大，既包含了该领域的关键信息也包含了其他无关信息，使得模型缺少对关键信息的关注。
2. 当前大规模预训练模型的机制改进也很少涉及对关键信息的提取。

平安科技的解决方案

针对上述问题，王磊提出了平安科技的解决方案。他认为，大规模预训练模型本质上都是在处理信号，但只要是信号，就可能进行分解，将背景信息和垂直领域的信息分离开来，从而有效贴合下游场景。

此外，金融客户对上线模型的精度要求很高，不少场景直接使用预加载模型往往很难满足需求。王磊提出置信度评估方法，利用强化学习和Bagging思想评估模型靠谱程度。

这一解决方案不仅解决了大规模预训练模型在金融领域应用中的关键问题，也为其他垂直领域的应用提供了有益的参考。