随着时间的流逝，预测算法变得越来越专业化，以适应越来越小的人群，并且其预测的平均质量下降。

像Netflix和Hulu这样的公司为，了确保他们的业务繁荣而竞争用户。但在工作中还有另一种竞争却没那么引人注意——这类竞争公司所使用的机器学习算法之间的竞争。

斯坦福大学生物医学数据科学助理教授，斯坦福大学以人类为中心的人工智能研究所的附属教员詹姆斯·邹（James Zou）表示，随着算法争夺点击次数和相关的用户数据，它们变得更加专注于吸引到其网站的亚人群。他在与研究生安东尼奥·吉纳特（Antonio Ginart）和本科生伊娃·张（Eva Zhang）的新论文中发现，这可能对公司和消费者都产生严重影响。

也许消费者不介意Hulu的建议似乎是针对城市青少年的，或者Netflix为中年农村男子提供了更好的选择，但是当涉及到预测谁应该获得银行贷款或谁的简历可以到达招聘经理时，这些算法具有现实世界的影响。

Ginart说：“关键的见解是，发生这种情况并不是因为企业选择针对特定年龄段或特定人群。”

“这是由于比赛的反馈动态而发生的。”

不可避免的专业化

在开始研究之前，Zou的团队认识到，如果公司的机器学习算法在争夺用户或客户，同时使用客户数据来训练他们的模型，则动态反馈是有作用的。“通过赢得客户，他们从这些客户那里获得了新的数据集，然后通过根据这些新数据集更新模型，他们实际上是在改变模型并将其偏向于已赢得的新客户结束。” Ginart说。

团队想知道：反馈如何影响算法提供质量建议的能力？为了获得答案，他们用数学方法分析了算法竞争，并使用一些标准数据集对其进行了模拟。最终，他们发现，当机器学习算法竞争时，它们最终（不可避免地）会变得专业化，从而更好地预测用户亚群的偏好。

邹说：“拥有多少数据无关紧要，您将始终看到这些影响。”

此外，“随着时间的流逝，视差越来越大，由于反馈回路，视差越来越大。”

此外，该团队还表明，除了一定数量的数学上可计算的竞争对手之外，对于一般人群而言，预测质量下降了。Ginart说：“实际上是一个最佳选择-最佳数量的竞争对手可以优化用户体验。”

超过此数目，每个AI代理都可以访问一小部分用户的数据，从而降低了他们生成质量预测的能力。

Ginart说，只要在线数字平台竞争为用户提供预测，该团队的数学定理就会适用。现实世界中的示例包括使用机器学习来预测用户的娱乐偏好（Netflix，Hulu，亚马逊）或餐厅口味（Yelp，TripAdvisor）的公司，以及专门从事搜索的公司，例如Google，Bing和DuckDuckGo 。

Ginart说：“如果我们去Google或Bing并输入搜索查询，则可以说Google试图做的是预测我们认为最相关的链接。”

而且，如果Bing在做出这些预测方面做得更好，也许我们会更倾向于使用该平台，这反过来会改变对该机器学习系统的输入，并改变其未来进行预测的方式。

该定理也适用于预测用户信用风险甚至可能获得保释的可能性的公司。例如，银行可能会非常擅长预测特定人群（例如45岁以上的人群或特定收入阶层的人群）的信誉，这仅仅是因为他们已经为该人群收集了大量数据。Ginart说：“针对该同类人群的数据越多，他们可以为他们提供的服务越好。”

而且，尽管这些算法在为一个子群体做出准确的预测方面变得更好，但是随着对其他人群的预测越来越不准确，平均服务质量实际上会下降。

想象一下一种银行贷款算法，该算法依赖于来自中年白人客户的数据，因此可以熟练地预测该人群中的哪些成员应该获得贷款。该公司实际上错过了准确识别其他组成员（例如拉丁裔千禧一代）的机会，而这些人也将是良好的信用风险。反过来，这种失败将这些客户转移到其他地方，从而增强了算法的数据专业化水平，更不用说加剧了结构不平等。

寻求解决方案

关于下一步，团队正在研究购买数据集（而不是仅从客户那里收集数据）对算法竞争的影响。邹还对确定一些规范性解决方案感兴趣，他的团队可以向决策者或个别公司推荐这些解决方案。“既然我们已经确定了问题，我们将如何减少这些偏见？”

邹说：“这仍然是非常新的，非常前沿的工作。”

“我希望本文能激发研究人员研究AI算法之间的竞争以及该竞争的社会影响。”