因果推断如何革新推荐系统？从理论框架到应用实践
因果推断如何革新推荐系统？从理论框架到应用实践
推荐系统作为与日常生活紧密相关的人工智能技术，经过多年发展仍面临诸多挑战。近年来，因果推断技术在推荐算法研究中备受关注。本文系统性地回顾了截至2023年的超过120篇相关研究，构建了一个理论连贯的分类框架，将基于因果推断的推荐算法分为三大类：基于Neyman-Rubin潜在结果框架的算法、基于Pearl结构因果模型框架的算法以及基于通用反事实的算法。
图1 图文摘要
统计学中有句名言：“相关性不代表因果性”。以推荐系统为例，某用户观看了《流浪地球》，推荐算法可能就会认为他喜欢科幻片，进而推荐更多类似电影。然而，这位用户可能仅仅是因为电影的高人气而选择观看，并不一定真正喜欢科幻类型。这种情况下，传统推荐算法错误地建立了该用户与科幻片之间的“伪相关性”，可能会损害用户体验。相比之下，基于因果推断的推荐算法能够从因果角度出发，分析用户的真实兴趣及从众心理对其观看行为的影响，从而减少对科幻片的错误推荐。
因果推断可以建模推荐系统中的因果关系，从根源上缓解众多偏差问题，如流行度偏差、曝光偏差等；还能提高推荐算法的可控性，比如在推荐流行商品和用户真正喜欢的商品之间取得平衡。更进一步，因果推断可以回答推荐系统中的反事实问题，即想象和推断与现实不同的情境，解决推荐系统中的数据增广、分布外泛化、增量估计、公平性、可解释性等挑战。
图2 因果推断在推荐系统中建模因果关系，并回答反事实问题
现有的综述大多基于应用驱动的框架对因果推荐工作进行分类，这容易导致因果理论的碎片化，使研究人员难以全面理解因果推断，不利于因果推断与推荐算法的深入发展。本文立足于因果推断，构建了一个理论连贯的分类框架，系统地回顾了截至2023年的超过120篇相关研究，并将他们分为三大类：基于Neyman-Rubin潜在结果（potential outcome, PO）框架的算法，基于Pearl结构因果模型（structural causal model, SCM）框架的算法，以及基于通用反事实的算法。
基于PO的算法主要分为倾向性分数和因果效应两种策略，前者利用预估得到的倾向性分数来调整样本权重，后者关注干预（treatment）和控制条件下潜在结果的差异。与PO框架相比，基于SCM的算法显式地使用因果图，因此按照具体推荐算法中的因果图结构，可以划分为对撞（collider）结构、中介（mediator）结构、混杂（confounder）结构。基于通用反事实的算法则根据关注的问题，分为领域泛化、数据增广、公平性与可解释性三类。图3展示了完整的因果推荐算法分类框架，并在最右侧列出了各类因果推荐策略解决的具体应用问题。
图3 基于因果推断的推荐算法分类框架
此外，本文还追踪了因果理论与推荐系统结合的发展脉络，使读者能够了解到各个方法系列是如何迭代发展的，以及它们在发展过程中所关注的具体挑战，如图4、图5所示。
图4 基于倾向性分数的推荐算法发展脉络
图5 用显式分离的模型结构预估反事实推断中的多种潜在结果
因果推断能够使推荐系统理解用户交互行为背后的因果性，提高推荐算法的可解释性，从而有潜力重塑现有的推荐系统。本文通过因果理论的视角，系统性地梳理了基于因果推断的推荐算法，涵盖了基于潜在结果框架、结构因果模型框架以及通用反事实的策略。这一创新性的框架确保了理论的连贯性，为深入持续的研究提供了坚实的基础。尽管基于因果推断的推荐系统研究已经取得了一定的进展，但该领域仍处于初级阶段。如何满足因果理论中的假设条件、如何利用因果发现技术减少对专家经验的依赖、因果推断与推荐大模型的结合等，都是未来需要探讨的问题。
作者简介
庄福振，北京航空航天大学教授、博士生导师，入选国家级人才计划。主要从事机器学习和数据挖掘相关研究工作，包括迁移学习、推荐系统以及知识图谱等方面。相关研究成果已经在Nature Communications, PIEEE, TKDE, KDD, IJCAI, AAAI, WWW, ICDE等本领域顶级、重要国际期刊和国际会议上发表录用论文150多篇，Google Scholar引用14200+次，H指数51。曾获得CIKM2023最佳短文奖，SDM2010、CIKM2010、ICDM2018和ISWC2023最佳论文提名；著《迁移学习算法：应用与实践》；译著《迁移学习》《机器学习算法》《机器学习：应用视角》。2013年获得中国人工智能学会优秀博士学位论文奖；获得中国科学院计算所2015年度“卓越之星”，2017年入选中国科学院青年创新促进会。
本文原文来自Cell Press合作期刊The Innovation