不仅仅是技术工作，还有重要的社会和情感劳动，使杜克大学的深度学习模型脓毒症观察(Sepsis Watch)成为一个成功的例子。

2018年11月，一种新的深度学习工具在杜克大学卫生系统急诊科上线。这项名为“脓毒症观察”（Sepsis Watch），旨在帮助医生提前发现败血症引发时出现的征兆。

当感染引发全身炎症并最终导致器官关闭时，败血症就会产生。如果诊断足够早，那它可以得到治疗，但众所周知这是一项的艰巨任务，因为感染的症状很容易被误认为是其他症状。

脓毒症观察的出现会改变这一点。该产品经过三年半的开发（包括对健康记录进行数字化，并分析3200万个数据点以及以iPad应用程序的形式设计一个简单的界面），它每小时患者病情发展的可能性进行评分，然后，它会标记出中高风险者和已经符合标准的人。一旦医生确认诊断，病人就会立即得到治疗。

自该工具推出以来的两年中，杜克健康公司的医院经理和临床医生的实践表明，脓毒症观察确实有效。它显着减少了败血症引起的患者死亡，而且现已成为一项联邦注册的临床试验的一部分，该试验有望在2021年分享结果。

乍一看，这是一个重大技术胜利的例子。通过仔细的开发和测试，人工智能模型成功地增强了医生诊断疾病的能力。但数据与社会研究所（datasocietyresearch institute）的一份新报告称，这只是故事的一半。另一半是项目的临床医生们为了将工具整合到他们的日常工作流程中而需要执行的社会劳动量。这不仅包括设计新的通信协议和创建新的培训材料，还包括了解工作场所的政治和权力动态。

案例研究真实地反映了AI工具在现实世界中取得成功所需的一切。文化人类学家马德琳·克莱尔·埃利什（Madeleine Clare Elish）说，“这确实很复杂”，他研究了AI的影响。

修复创新

创新应该是颠覆性的。它颠覆了旧的做事方式，以获得更好的结果。但在有关技术颠覆的对话中，很少有人承认颠覆也是一种“破坏”形式。“现有的协议过时了;社会等级变得混乱。要让这些创新在现有系统内发挥作用，需要Elish和她的合著者Elizabeth Anne Watkins所说的“修复工作”。

在杜克健康中心为期两年的脓毒症观察研究中，他们记录了大量脓毒症中断和修复的例子。其中一个主要问题是，该工具挑战医学界医生和护士之间根深蒂固的权力格局的方式。

在工具设计的早期阶段，很明显，快速响应团队（RRT）的护士需要成为主要用户。尽管主治医师通常负责评估患者并进行败血症诊断，但他们没有时间在急诊室的现有职责之外继续监视另一个应用程序。相反，RRT护士的主要职责是持续监控患者的健康状况，并在需要时提供额外的帮助。检查Sepsis Watch应用程序是否自然地适合其工作流程。

但是挑战来了。一旦应用程序将患者标记为高风险，护士将需要致电主治医师（医学术语称为“急诊护理”）。这些护士和护理人员不仅常常没有事先的联系，他们或许根本就不认识，因为他们在医院的完全不同的地方度过了一天的时光，而且该协议完全颠覆了任何一家医院的典型指挥链。一位护士回忆说：“这是在开玩笑吧？而在了解了事情的运作方式后，她曾思考过：“我们要通知急诊护理吗？”

但这确实是最好的解决办法。因此，项目组着手以各种大大小小的方式修复“中断”。护士长举办非正式的披萨派对，在护士同事中建立对脓毒症观察的兴奋和信任。他们还制定了交流策略，以使问诊者的通话更加顺畅。例如，他们决定每天只打一个电话，一次讨论多个高危患者，而时间会安排在医生最不忙的时候。

除此之外，项目领导开始定期向临床领导报告脓毒症观察的影响。项目团队发现，并不是所有医院的员工都认为疾病导致的死亡是杜克健康中心的问题。尤其是医生，他们对医院的统计数据没有一目了然，他们每天都忙于处理紧急情况，比如骨折和严重的精神疾病。结果，一些人发现脓毒症是一种讨厌的东西。但对于临床领导层来说，脓毒症是一个巨大的优先事项，他们看到脓毒症手术工作得越多，就越有助于手术的顺利进行。

改变标准

Elish指出了最终帮助脓毒症观察成功的两个主要因素。首先，这个工具是为一个局部的，特定的环境而设计的：它是为杜克健康中心的急诊科而开发的，而不是其他地方。她说：“这项特殊定制的开发是成功的关键。 这与典型的AI规范背道而驰。“

其次，在整个开发过程中，在整个开发过程中，团队定期从护士、医生和医院层级上下的其他员工那里寻求反馈。这不仅使该工具更易于使用，而且还培养了一小部分有奉献精神的工作人员来帮助维护它的成功。Elish说：“这个项目是由杜克医疗公司自己的临床医生领导的，而不是从一家软件公司空降下来的技术人员，这和平常是不同的，如果你没有一个可解释的算法，你就需要用其他方式来建立信任。”

这些课程对麻省理工学院即将上任的助理教授Marzyeh Ghassemi来说非常熟悉，他研究机器学习应用于医疗保健。她说：“所有旨在被人类评估或使用的机器学习系统都必须在社会技术上受到约束。” 并补充说：“尤其是在由人类决策者管理的，涉及到照顾最脆弱人群的临床环境中。人们需要意识到的限制实际上是人为和后勤方面的限制。”

Elish希望她对脓毒症观察的案例研究能够说服研究人员重新思考如何进行医学AI研究和整个AI开发。她说，目前正在进行的很多工作都集中在“理论上人工智能可能会或可能做的事情”上。“关于实际发生的事情的信息太少了。” 但是要使AI兑现其诺言，人们需要对社会融合以及技术开发的思考。

她的工作也引发了一个严肃的问题。她说：“负责任的AI必须要求关注当地和特定的环境。我的阅历和知识告诉我，你不能只在特定环境开发一件东西，然后再推广到其他不同环境中。”

她补充道：“因此，我们面临的挑战实际上是如何在努力扩大规模的同时保持这种局部特异性。这将是人工智能研究的下一个前沿。“