全国政协委员、启明星辰首席执行官严望佳接受南方都市报采访，畅谈人工智能安全防范、伦理准则、独立安全运营等问题。以下为文章原文：

……………………………………………………

人工智能法律尚未出台，需伦理准则规范

今年两会上，“人工智能伦理”成为高频词。机器会抢走人的饭碗吗？机器会不会伤害人？从会场到民间，人们讨论最多的话题，莫过于如何处理人和机器的关系。

在全国政协委员、启明星辰首席执行官严望佳看来，新的技术正在改变我们的时代，而且这种改变是“开弓没有回头箭”，没有回头路走的。如果一项新技术应用得太快，我们可能来不及看清楚其中的风险，以后真的回不了头时就很麻烦，所以要及早研究，关注人工智能安全。

观点：

如果数据本身已经成为资产，带来了权力和大量的财富，那么普通人作为数据的主体，也应该参与分配。只有通过立法，才能明确数据权属，保护普通人的数据权益。

关乎人类生命的事情，最终的决定权应该交给人类自身，而绝不能完全交给缺乏弹性的人工智能。

独立的网络安全运营部门，其实就像网络上的大楼监控室。通过统一的监管和协调，及时发现各个部门、系统中的安全态势、预警情报，更好地发挥网络安全保障的作用。

谈人工智能安全：人工智能带来的社会不平等，可能更需要警惕

南都：为什么今年特别关注到人工智能安全？

严望佳：做安全的人其实有一种思维惯性，面对任何新的技术，都会首先考虑风险问题。不仅是人工智能，大数据、移动互联网、工业互联网这些新兴领域，风险把控都是蛮重要的。

原因在哪？新的技术正在改变我们的时代，而且这种改变是“开弓没有回头箭”，没有回头路走的。就比如通讯软件，现在你想要完全不用，基本上是不可能的事情。

人工智能对未来社会的影响，目前还有很多不确定因素。我们中国人很聪明，有很多做创新研究和开发应用的人，能够特别快地进入新的领域。但如果一项新技术应用得太快，我们可能来不及看清楚其中的风险，以后真的回不了头时就很麻烦。所以要及早研究。

南都：目前来看，人工智能应用，可能有哪些潜在风险？

严望佳：从网络安全的角度，程序员编码漏洞、数据样本偏差等因素，都可能导致人工智能实际应用中出现决策错误或歧视问题。如果问题发生在涉及国计民生的重要领域，比如自动驾驶、医疗、金融，会带来严重的危害。

从更宏观的层面看，人工智能应用带来两方面的风险，一个是人和机器的关系，一个是人和人的关系。关于前者，现在有很多讨论，未来是人控制机器？还是机器控制人？机器人会不会伤害人类？但我更担心的其实是后者。

南都：为什么？

严望佳：有未来学家提出，随着人工智能的发展，财富和权力会日益集中在拥有数据和算法的极少数精英手中，造成前所未有的社会不平等。我很认同这一看法。

未来可能只有两种人，一种是控制人工智能的人，一种是被人工智能控制的人。如果还有第三种人，他们大概是隐居在深山，不跟社会发生任何联系。

南都：控制了数据和算法的人，会有这么大的权力吗？

严望佳：算法推荐就是很好的例子。平台持续地收集你的数据，理由是要了解你喜欢什么，为你做更精准的推送。但反过来想，知晓了你的喜好，是不是就可以慢慢引导你，让你喜欢它希望你喜欢的东西？不知不觉间，你被控制了。

1%的人所利用的数据，其实来源于每一个人。如果数据本身已经成为资产，带来了权力和大量的财富，那么普通人作为数据的主体，也应该参与分配。所以我今年的另一个提案是关于大数据立法，只有通过立法，才能明确数据权属，保护普通人的数据权益。

谈人工智能伦理：法律尚未出台时，需要用伦理准则规范应用发展

南都：前面说的问题其实属于伦理范畴。我们也注意到，很多代表委员今年都在建议加强人工智能伦理的研究。

严望佳：因为技术上的风险，相对更好解决。伦理问题很复杂，大家首先要达成共识，哪些领域可以去发展应用，哪些领域不行。

举个例子，2017年有外国研究者推出了“AI杀人蜂”，是一种比人的手掌还小的无人机，能够实时捕捉和识别人脸，对目标人物进行精准猎杀。据说还很便宜，2500美元就可以买到一个。这样的人工智能应用，可能会导致战争冲突的升级，想想还是挺可怕的。我认为，人工智能只能应用在对人类有益的领域，杀伤性武器方面的应用必须禁止。

南都：目前发展较快的无人驾驶领域，已经面临很多非常具体的伦理问题。

严望佳：有一个著名的伦理难题，电车难题。一辆刹车坏了的有轨电车，即将撞上前方轨道上的五个人，而旁边的备用轨道上只有一个人。你手边有一个按钮，按下按钮，车会驶入备用轨道，只撞死一个人。是否应该牺牲这一个人的生命去拯救另外五个人？

在人都很难判断的紧急情况下，无人车该怎样决策？如果无人车马上要发生车祸，它是保护乘客还是保护路人？一定会撞到路人的话，去撞谁？伦理原则，实际上决定着技术的发展方向。

2017年，德国已经出台了无人驾驶道德准则，明确人的生命高于任何财产。在发生不可避免的事故时，严禁将人群属性作为评判标准，比如年龄、性别、身体及精神状况等。

在一个新的领域，立法总是会滞后于现实应用，所以需要先达成伦理上的共识，确定一些准则。关乎人类生命的事情，最终的决定权应该交给人类自身，而绝不能完全交给缺乏弹性的人工智能。

谈网络安全运营：需要独立的网络安全运营部门，去强化保障效果

南都：你今年还有一个提案，强调要把网络安全放在与信息化同等的地位。具体怎么理解？

严望佳：目前国家提出“网络安全与信息化发展并重”，但在实际工作中，基层部门对网络安全的重视程度普遍还不够高。很常见的一种情况是，一个单位让信息化建设承包商同时负责网络安全建设，实际运营时出现“安全舞弊”现象。

南都：什么叫安全舞弊？

严望佳：网络安全建设既然附属于信息化建设，那么信息化部门完全可以设计一些“后门”让网络安全部门看不到，或者出了问题以后悄悄掩盖。相当于信息化部门既做运动员，又做裁判员。但网络安全部门其实应该是第三方的独立部门，这样才能起到真正的安全监督作用，推动安全措施去落实。

另外，现在的信息系统变得越来越复杂，不断地进行研发迭代，安全挑战更大，任务更重。简单的反病毒或者反黑客的产品，已经不能满足安全需要。所以也需要独立的网络安全运营部门，去强化网络安全的保障效果。

南都：一个独立的网络安全运营部门，有什么优势？

严望佳：比如说一个大楼，保安会有专门的监控室。大楼入口、核心资产仓库等所有重要的地方，都装了摄像头。保安利用摄像头进行24小时的监控，哪里出现可疑情况都能及时发现。

独立的网络安全运营部门，其实就像网络上的大楼监控室。通过统一的监管和协调，及时发现各个部门、系统中的安全态势、预警情报，更好地发挥网络安全保障的作用。