9月18日，“2018世界人工智能大会·人工智能安全高端对话”在上海国际会议中心召开。值得注意的是，本次对话重磅推出了三份人工智能安全专题报告。牛金行研究员代表中国信息通信研究院安全研究所发布了《人工智能安全白皮书》（以下简称《白皮书》）。
白皮书从人工智能的安全内涵出发，首次归纳了人工智能安全体系框架，在系统梳理人工智能安全风险和安全应用情况的基础上，进一步总结了全球人工智能安全的管理现状，提出了应对人工智能安全风险应对和未来发展的建议。
中国信息通信研究院安全研究所发布《人工智能安全白皮书》（图片来源：央广网）
《白皮书》称，技术的进步往往是一把“双刃剑”，人工智能作为一种通用目的技术，为保障国家网络空间安全、提升人类经济社会风险防控能力等方面提供了新手段和途径。但同时，人工智能在技术转化和应用场景落地过程中，由于技术的不确定性和应用的广泛性，带来冲击网络安全、社会就业、法律伦理等问题并对国家政治、经济和社会安全带来诸多风险和挑战。
《白皮书》项目组认为，人工智能安全风险包括网络安全风险、数据安全风险、算法安全风险、信息安全风险、社会安全风险和国家安全风险六方面。
从网络安全风险看，人工智能学习框架和组件存在安全漏洞风险，可引发系统安全问题。同时，人工智能技术可提升网络攻击能力，对现有网络安全防护体系构成威胁与挑战。
从数据安全风险看，一方面逆向攻击可导致算法模型内部的数据泄露，另一方面，人工智能技术可加强数据挖掘分析能力，加大隐私泄露风险。Facebook数据泄露事件即是典型案例。
从算法安全风险看，算法设计或实施有误可产生与预期不符甚至伤害性结果；算法潜藏偏见和歧视，导致决策结果可能存在不公；算法黑箱导致人工智能决策不可解释，引发监督审查困境；含有噪声或偏差的训练数据可影响算法模型准确性；此外，对抗样本攻击可诱使算法识别出现误判漏判，产生错误结果。例如，使用Northpointe公司开发的犯罪风险评估算法COMPAS时，黑人被错误地评估为具有高犯罪风险的概率两倍于白人。
从信息安全风险看，智能推荐算法可加速不良信息的传播，人工智能技术可制作虚假信息内容，用以实施诈骗等不法活动。2017年，我国浙江、湖北等地发生多起犯罪分子利用语音合成技术假扮受害人亲属实施诈骗的案件，造成恶劣社会影响。
从社会安全风险看，人工智能产业化推进将使部分现有就业岗位减少甚至消失，导致结构性失业；人工智能特别是高度自治系统的安全风险可危及人身安全；人工智能产品和应用会对现有社会伦理道德体系造成冲击。项目组对此举例道，企业具有天生的资本逐利性，在利用用户数据追求自身利益最大化时，往往忽视道德观念，从而损害用户群体的权益。例如：携程、滴滴等基于用户行为数据分析，实现对客户的价格歧视；Facebook利用人工智能有针对性地向用户投放游戏、瘾品甚至虚假交友网站的广告，从中获取巨大利益。
从国家安全风险看，人工智能可用于影响公众政治意识形态，间接威胁国家安全；还可用于构建新型军事打击力量，直接威胁国家安全。
“当前，人工智能技术发展呈现加速趋势，由于其自身的学科交叉性和垂直应用性，未来必将与传统行业进行深度融合。随着人工智能技术的创新突破和应用场景的日益增多，其安全风险也会动态演进，将越发具有泛在化、场景化、融合化等特点，对人类生产生活、国家政治经济等方方面面产生深远安全影响。”项目组写道。
在《白皮书》中，项目组也提出了八条人工智能安全发展建议。
这些建议包括加强自主创新，突破共性关键技术；完善法律法规，制定伦理道德规范；健全监管体系，引导产业健康发展；强化标准引领，构建安全评估体系；促进行业协作，推动技术安全应用；加大人才培养，提升人员就业技能；加强国际交流，应对共有安全风险；加大社会宣传，科学处理安全问题。
此外在本次对话中，上海国际问题研究院全球治理研究所副研究员鲁传颖代表上海赛博网络安全产业创新研究院和上海社科院互联网研究中心的联合课题组，发布了《人工智能时代的国家安全：风险与治理》报告。报告根据人工智能技术和应用的发展趋势，分析了各国在不同领域所面对的安全风险，提出应从提升风险意识、完善治理体系、加强监管能力和探求国际合作等来构建风险分析和应对框架，提升国家安全的韧性。
腾讯公司生态安全研究中心高级研究员韩李云博士代表腾讯公司安全管理部和上海赛博网络安全产业创新研究院发布了《人工智能赋能网络空间安全：模式与实践》报告。该报告聚焦网络安全，分析了网络空间安全的演进和风险趋势，结合腾讯AI安全应用全布局和国内外企业的30多个最佳实践，详细阐释人工智能赋能网络空间安全（AI+安全）的最新进展。最后韩李云指出，人工智能安全将成为人工智能产业发展最大蓝海，人工智能技术路线丰富将改善安全困境，网络空间安全将驱动人工智能国际合作。
Facebook数据泄露事件的主角剑桥分析公司通过关联分析的方式获得了海量的美国公民用户信息，包括肤色、性取向、智力水平、性格特征、宗教信仰、政治观点以及酒精、烟草和毒品的使用情况，借此实施各种政治宣传。
ForresterResearch预测统计，人工智能技术将在2025年之前取代美国7%的工作岗位，其中16%的美国工人将被人工智能系统取代。《未来简史》作者尤瓦尔·赫拉利预言，二三十年内超过50%工作会被人工智能取代。
