近年来，许多人工智能（AI）和机器人技术研究人员一直在尝试开发可以为其动作或预测提供解释的系统。他们的工作背后的想法是，随着AI系统变得越来越广泛，可以解释为什么它们以特定的方式运行，或者为什么做出某些预测可以增加透明度，从而增加用户对它们的信任。

雷恩不列塔尼大西洋研究中心和图卢兹法国国家科学研究中心的研究人员最近进行了一项研究，对该假设进行了探索和质疑，希望能更好地理解AI的可解释性实际上如何影响用户对AI的信任。他们在《自然机器智能》上发表的论文，认为人工智能系统的解释实际上可能不像某些用户认为的那样真实或透明。

两位从事这项研究的研究人员Erwan Le Merrer和GillesTrédan告诉TechXplore：“本文源于我们渴望探索直觉的鸿沟。“作为互动的人，我们并不总是信任所提供的解释，但是作为计算机科学家，我们不断听到可解释性对于公众接受AI至关重要。尽管我们认识到在某些情况下AI的可解释性（例如，是一位在“白盒子”上工作的AI设计师），我们希望从用户（即“黑盒子”）的角度来阐明其局限性。”

最近许多研究人员认为，机器学习算法和其他AI工具应该能够以类似于人类的方式解释其决策背后的原理。另一方面，Le Merrer和Trédan认为，虽然AI解释可能在本地环境中具有价值，例如向试图调试系统的开发人员提供有用的反馈，但它们可能在远程环境中具有欺骗性，而AI系统是由特定服务提供商进行培训和管理，因此其决策将通过第三方交付给用户。

Le Merrer和Trédan解释说：“用户对自己面临的决策的理解是采用基于AI的算法决策的核心社会问题。”

“我们暴露出提供者的逻辑解释总是容易受到攻击（即谎言），对于孤立的用户来说很难或不可能检测到。我们表明，功能和可能的攻击的空间非常大，因此，即使如果用户共谋发现问题，这些谎言仍然难以发现。”

为了更好地解释他们的想法背后的原因，Le Merrer和Trédan在夜总会外面举了个类似的弹跳床，他们在向个别顾客解释为什么拒绝他们入场时可能会撒谎。类似地，研究人员建议，远程服务提供商可能会向用户撒谎，说明人工智能的预测或动作背后的原因，例如，利用歧视性功能。他们在论文中将这种并行性称为“保镖问题”。

Le Merrer和Trédan说：“我们的工作使人们普遍相信，解释会增强用户对AI系统的信任。” “我们宁可得出相反的结论：从用户的角度出发，没有预先存在的信任，解释很容易成为谎言，因此无论如何都可以解释。我们认为，应该使用其他方法（例如，内部白盒）来寻求用户的信任。算法审核，加密方法等）。”

Le Merrer和Trédan在他们的论文中提供了一些实际示例，说明了“保镖问题”如何影响远程情境中AI动作的可解释性。将来，他们的工作可能会激发进一步的研究，探索开发机器学习算法或机器人的好处和局限性，这些好处和局限性可以解释其行为背后的原因，同时也有可能促进替代解决方案的开发，以提高人们对AI的信任。

“我们计划继续从用户（即“黑匣子”）的角度研究人工智能系统，特别是探讨以下问题：普通用户可以发现、学习、理解、推断哪些因素正在影响着他们生活中日益增长的一部分？Le Merrer和Trédan说。“例如，我们目前正在研究声称没有使用此方法的平台上的用户影子禁止（即，阻止或部分排除用户无法访问在线社区）的现象。”