增强信任感可以使机器学习工具更有效

机器学习能够通过解决一些较难预测的问题(例如ICU入住率或哪些患者可能会重新入院)来大幅提高医院的效率和护理质量。

然而,任何技术能够被充分应用的一大障碍就是能否获得用户的全面支持。特别是当用户是一些忙碌的医务人员,而这些医务人员又需要依据准确可靠的信息做出很多会影响患者健康的瞬间决定的时候。使用人工智能来提高分析准确性的机器学习工具,在应用初期很可能会受到怀疑。

斯坦福商学院组织行为学荣誉教授和斯坦福医学院教授Sara Singer说:“现在,机器学习还是一种尚未被充分理解从而不太受信任的技术。由于不了解它是如何工作的,人们常常将其描述为一个黑匣子。它的确可以对用户有所帮助,但前提是要获得足够多的信任。”

位于纽约郊区的威彻斯特医疗中心医疗卫生网络最近找到了一种可以更顺利地推广机器学习工具的方法,Singer和她的合著者为此在《医疗保健管理评论》杂志上发表了一篇论文。通过在技术开发人员和医院工作人员之间建立起一个往返协作的流程,该网络中的两家医院最近成功构建了同时具有输入和输出能力且高度准确的预测工具。

“这项研究展示了在现实环境中的用户反馈可以如何促进对机器学习工具的设计,这是以前从未做到过的。” Singer说。

寻求用户输入

技术开发通常都是单向的:一个由开发人员创建的工具,用户要去学习如何使用它。如果这个工具设计得对用户不够友好,用户可能就无法有效地使用或根本就不去使用它。但是,在展示Westchester Medical Center如何促进软件工程师和医院工作人员之间的双向对话时,Singer和她的同事提出了一种可能适用于各种环境的新方法。

Singer的研究团队,其中包括麻省理工学院斯隆管理学院的Katherine Kellogg,哥伦比亚大学博士生Ari Galper,以及威彻斯特医疗中心负责数据管理和分析的副总裁Deborah Viola。他们采访了负责构建两个利用机器学习工具的应用程序的开发人员。两个应用程序分别是旨在提高预测ICU和其他病房床位的The Low Bed Tool,和可帮助临床工作人员识别哪些患者在出院后再次返院的风险最高的Readmission Risk Tool。

在一年多的时间里,研究人员对6名开发人员和使用这两个新工具的7名医院工作人员先后进行了共37次每次半小时的采访,从而收集到了开发人员从医院工作人员那里征求具体反馈后利用这些信息来解决用户具体需求和顾虑的详细示例。

现在,机器学习还是一种尚未被充分理解从而不太受信任的技术。由于不了解它是如何工作的,人们常常将其描述为一个黑匣子。它的确可以对用户有所帮助,但前提是要获得足够多的信任。
– Sara Singer

例如,当在研制初期发现第一代的Low Bed Tool无法预测急诊科突然涌入的患者数量时,开发人员及时转换了方向并在医院内找到了新的用户群。“我们在开始时确实遇到了无法解决的问题—急诊科患者数量的激增通常与意料之外的紧急情况或灾难有关,但我们的工具无法预测这些。” 一位开发人员告诉研究者。

第二代Low Bed Tool的用户群主要是那些负责临床护理和病房使用管理方面的医生。起初,他们也不相信新版应用程序的数据是准确无误的。“那时,我也说不清楚究竟是为什么,但就是感觉有点不对劲,可能只是我多年工作积攒下来的一种直觉。” 一名医院工作人员说,“后来,开发人员经过研究,解决了不同部门之间出现的一些数据问题。我们也最终确定了自己的详细需求。问题就都被解决了。”

信任度练习

现在,Low Bed Tool可以通过预测四个医院的病床使用率来帮助那里的临床医生更好地管理患者流量。它提供三天和五天的容量和占用率预测,并每天更新以适应患者趋势线、季节性和其他模式的变化。自从这个工具被采用以来,用户报告说患者需要等待的时间更短,容量也有所提高。一位医院高管表示,使用该工具的儿科部门“除了在流感季节以外,容量都不会出现问题。”

为了让机器学习工具满足用户的需求,开发人员不仅必须调整他们的初始产品,还必须调整他们与非技术人员的交流方式。Singer说:“在任何一个拥有不同专业背景成员的团队中,你都很难从坐在桌子对面的人那里听到,他们做错了什么或是有哪些没考虑到的事情。信任是随着时间的推移而逐渐建立起来的。如果开发人员听取用户意见改进了产品,用户就会对产品产生更多的信任,进而愿意考虑试用这个产品。’”

Singer指出,这种协作框架还可以扩展到其他的医院环境中。例如,机器学习可用于帮助确定手术室容量或预测哪些患者因COVID-19而住院的风险最大。

在许多其他的商业和社会环境中,寻求更好的开发和实施机器学习技术的方法也是有价值的。“重要的是要意识到技术不是一成不变的。” Singer说,“用户的意见对于任何开发新技术的人都至关重要。而且,开发人员和用户都应该了解相互合作的好处。”