相比于更多数据,行为洞察能更好地改善人工智能驱动的推荐系统

在线购物和流媒体平台越来越热衷于提升其推荐系统的精准度,从而更好地为客户提供个性化的建议,告诉他们下一个要购买的商品或要观看的节目。应用程序愿意投入巨额资源来优化这些推荐引擎的原因显而易见:Amazon上超过一半的商品销售额以及YouTube和Netflix上超过70%的观看时长都归功于这些推荐系统。

但是,这些推荐系统在某些方面仍然存在很多问题。虽然将人工智能融入算法使其功能更强大,但也让它们变得更加不透明。斯坦福商学院市场营销助理教授Yuyan Wang认为,这种透明度的缺乏是个问题。在算法运行良好时,开发者无法确定它们是否能被应用到其他的新场景中;而当它们出现问题时,开发者也无法知道确切的原因。

在一篇新论文中,Wang和她的合作者们,Google的Cheenar Banerjee、Samer Chucri和Minmin Chen,尝试对YouTube的推荐系统进行改进。改进后的系统不再是通过神秘的黑箱自行处理海量数据,而是首先执行一个特定的高层次步骤:预测用户在访问平台时的实时意图究竟是寻求熟悉的内容还是渴望新鲜事物。

在将用户意图预测纳入推荐系统后,其有效性得到了显著提升。更新后的推荐系统让YouTube的日活跃用户数增加了0.05%。虽然这个数字看似很小,但研究人员指出,这是该平台在近期实验中改善最显著的指标之一。新系统还提升了整体用户的满意度。

Wang强调,这项研究成果最令人兴奋的地方在于,这表明人工智能模型不一定需要更多或更好的数据来改进表现;它真正需要的是更优化的结构。

她说:“当下的人工智能研究中有一种思路,如果我们能给模型提供无穷无尽的数据,那么不需要告诉它该做什么,模型自己就能生成预测。但我认为,人们往往忽视了从行为学、心理学和经济学角度理解世界的价值。这些理解实际上能帮助系统学得更好、更快、更稳健,从而实现长期优化。”

捕捉用户信号

Wang对机器学习研究人员在面对人工智能驱动的推荐系统时的挫败感表示理解。毕竟,她自己就曾在Google DeepMind和Uber做过这类工作。她承认,构建拥有足够预测能力的人工智能系统,使其能够识别某些行为模式,这种想法很吸引人。

她说:“人类决策的维度如此之高,以至于几乎不可能写出一个可以用来描述我们所有决策过程的完整物理函数。于是开发者发现,只要有足够多的数据和算力,就可以把这些数据输入一个高度灵活的系统,让这个黑箱找到统计模式并据此生成预测。这种方法也确实有效。”

但她逐渐意识到这其实是一种偷懒的解决方案,最终产生的产品也主要是以结果为导向的。“你不用去思考事物背后的原理和机制,而只是让一个黑箱统计机器去找出它的关联模式。”

人类决策的维度如此之高,以至于几乎不可能写出一个可以用来描述我们所有决策过程的完整物理函数。
—Yuyan Wang

Wang在工作中遇到的挑战推动她重返学术界,并形成了她当前研究的核心问题:我们如何利用对人类行为的科学理解来改进黑箱式人工智能系统的设计,使其更稳健、更以人为本、更具普适性?

她以行为学研究作为起点。消费者行为研究中的一个既定观点是,消费者的购物决策主要是由无意识的潜在意图驱动的。例如,一个打开Uber Eats的用户,很可能已经预先倾向于某类食物,比如健康vs.美味。她不一定会用“健康”作为关键词进行搜索,但更有可能会点击推荐列表里的健康餐选项。

Wang知道,她必须能够在不收集额外数据或不打扰用户填写烦人的问卷调查的情况下识别出用户的意图。

更深入的理解

于是,她和同事调整了推荐系统本身的结构。他们提出的框架称为IS-Rec(全称Intent-Structured Whole-Page Recommender System,即“意图结构化全页面推荐系统”),它从意图预测阶段开始,基于用户的行为信号生成输出。因此,系统呈现的主页推荐列表能够反映用户的实时意图。

Wang解释道:“我们认为,当用户进入主页时,应该已经带有某种高层次的目标或意图。因此,这些推荐系统需要超越对单个物品的预测,从更高层次理解用户。”

研究人员在YouTube上测试了这一假设,重点关注两类意图:新鲜感(倾向于此前未见过的创作者的内容)与熟悉感(倾向于已知创作者的内容)。

Wang指出,这种方法之所以能提升推荐系统的有效性,是因为它能帮助理解用户表面上的“异常”行为。“比如,你在周六晚上选择在YouTube观看的视频,可能是之前从来没有选择过的类别,这对平台来说确实是意料之外的。但如果从意图层面考虑,你在周六晚上倾向于寻求新鲜感,这仍是可以预测的。我们希望利用这种更高层次的可预测性,来更好地推动具体项目层面的预测。”

将“意图”这一维度融入人工智能推荐系统需要更多人为生成的行为洞察。毕竟,这种方法是建立在对产品用户群的深入理解之上的。

她说:“你首先要明确都有哪些可能的意图,而回答这个问题就需要丰富的领域知识,因为你必须理解消费者在你的平台上可能有哪些偏好。”

简而言之,人不能被排除在外。

Wang说:“我想对各行业的企业家和算法开发者传递的信息就是:不要盲目地指望黑箱系统能够捕捉一切信息。你们关于所在行业的商业洞察对于改进人工智能系统的设计将会非常非常有价值。”