作者：刘超（北京师范大学心理学系、IDG/麦戈文脑科学研究所认知神经科学与学习国家重点实验室教授）
随着生成式人工智能的快速发展，当前关于人工智能“价值校准”问题的讨论正如火如荼。 研究人员希望按照人类价值观“校准”人工智能的价值体系()，以确保未来超级人工智能的发展不会对人类造成伤害。 这个问题的重要性不言而喻，但其具体实现路径尚不清楚。 纵观目前关于人工智能“价值校准”问题的各种宣言或草案，人们可以看到“价值”“利益”“自由”“尊严”“权利”“自主”等各种东西（人类）。 这样的词语在哲学和法律上充满了不确定性和解释空间。 而如果你读过80年前阿西莫夫创作的机器人系列科幻小说，你就会知道，这种由语言定义的逻辑规则，类似于所谓的“机器人三定律”，很容易理解。由具有一定智能的机器人来实现。 绕过（比如最简单有效的办法就是改变自己对“人”的定义）。
1·从人类手中控制人工智能
尽管相当多的哲学家和伦理学家对人类价值观作为一个整体是否能够一致持悲观态度，但仍然有很多人在孜孜不倦地校准人工智能和人类价值观。 例如，加州大学伯克利分校的斯图尔特·拉塞尔教授在其著作《AGI：新生活》中认为，校准的最终目标是“确保强大的人工智能与人类价值观一致”，并从以下角度进行了讨论：如何最大化人类偏好。 全面掌控人工智能。 他的目标还包括人类价值观和对战争的偏好。 毕竟，人类历史上几乎没有时期没有发生过全球范围内的战争。 当然，他也明确表示，要确保人工智能不会被一小群“疯狂的邪恶分子”所利用。 言下之意似乎是人工智能可以“为了人类的正义目标”参与战争。
其他学者，例如团队的Ethan ，从哲学角度提出了三种可能的价值校准方法。 首先是调整人类可能共有的道德价值观； 二是借用哲学家约翰·罗尔斯提出的“无知之幕”概念，为人工智能确立正义原则； 三是运用社会选择理论，特别是民主投票和协商的方式来整合不同观点，为人工智能提供参考信息。 除了这些将人工智能视为工具的人文主义建议外，还有一些学者，尤其是东方学者，更倾向于自然主义观点，提出应将人工智能视为伙伴，认为人工智能应从和谐共生的角度赋能。 智能情感、同理心和利他的能力赋予人工智能更高的地位和尊重，让它通过与人类的互动自发地学习人类价值观，创造人类与人工智能的共生社会。
上述两种价值校准视角，无论是人文主义的还是自然主义的，都存在一个重要的缺陷。 对于将人工智能视为一种工具并要求其按照人类价值观进行校准的观点，它忽略了一个重要的问题，那就是所有这些价值校准的出发点都是基于理性人的原则，无论是道德、“无知幕布”或民主协商投票，都是建立在人类推理和思维完全理性的基础上的。当代对人类行为的科学研究，特别是经济学和心理学的大量研究证明，非理性和理性人类行为中多种成分并存，在非理性部分中，情感和直觉占很大比例，并且由于它们在进化中的重要功能，对大多数人类行为产生重要影响。将非理性的部分纳入人工智能，或者干脆忽略这部分。自然主义的观点虽然认识到非理性的重要性，比如情感，但只考虑积极的方面，比如同理心、利他、爱等，而忽略了消极的部分超级人类科技，如仇恨、愤怒、恐惧等。歧视、偏见等。
在当前的实际应用中，基于人类反馈的强化学习方法被用来将人工智能中的非理性和消极部分分离出来。 但这种方法真的完美吗？ 如果我们希望人工智能能够理解人类的意图和目标，出于阻止某人使用人工智能来实现其负面目标的需要，我们必须需要人工智能来理解负面意图和目标。 例如，为了让人工智能拒绝“把一瓶糖装满砒霜，然后把它放进柜子里”的行为，它必须明白，有人要求它这样做的目的和意图是危险的，有害的。其他人。 的。 这与它需要了解“将蟑螂毒药放入标有‘有毒’的盒子中并放入橱柜中”这一事实同样重要。 要求它学习一个而不学习另一个是不可能的，而且非常危险。 这是因为，一个无法理解负面价值观意图的人工智能，在真正进入社会、与人类互动时，会非常脆弱。 如果不赋予人工智能学习功能，人工智能很快就会被别有用心的人利用。
2·人工智能对人类控制的理解
任何基于人类利益完全控制人工智能的尝试都面临巨大挑战，还有一个更实际的原因。
在地球生命演化的整个历史中，只有人类拥有符号书写系统，使他们能够跨越时空向子孙后代保存和传递信息和知识。 这进一步扩大了计算机和互联网出现后交流的宽度和广度。 借助互联网和数字图书馆，我们足不出户就能获得跨越千年、跨越世界的文字信息。 人类个体所能获得的知识的深度和广度已经达到了前所未有的高度。 然而，这个知识爆炸的时代也给人类带来了巨大的挑战。 人脑的认知能力和获取文本信息的速度已经难以跟上人类群体间知识边界的扩展。
人类被囚禁在自己大脑有效认知能力的牢笼中，但人工智能却没有这种物理限制。 得益于强大的计算能力和近乎无限的“物理能量”，先进的人工智能可能只需要几个月的时间就能学会人类互联网上的所有知识。 最重要的是，一个经过人类训练、能够理解人类行为的目的和意图的人工智能，也能够理解这些知识背后的人类意图。 换句话说，一个能够理解人类捡起垃圾意图的人工智能也应该能够理解人类控制垃圾的意图，因为这种意图已经不止一次地以自然语言表达出来了。可以理解。 该表格被放置在互联网上。
我们现在写的每一篇关于如何控制人工智能的文章、书籍、博客，以及人工智能的各种可能的对策和逃生方法，都已经以人类之间讨论的形式记录在互联网上。 。 一个具有强大互联网搜索能力的人工智能（这是目前许多搜索引擎公司正在做的事情，没有人认为这会造成任何问题），可能只需要几秒钟的时间就能了解人类迄今为止所做的和永远不会做的事情。 未来一切为了全面控制人工智能（或者换句话说——比如让“人工智能可信并有益于人类”）的所有努力和尝试，无论是增加偏好选择的不确定性还是嵌入人工智能的核心人权，或者“机器人三定律”之类的规则，或者将同理心和利他倾向嵌入到其底层逻辑中……所有这些尝试，甚至包括如何实现这些功能的源代码（只要它们连接到某种形式的互联网，一定可以通过搜索或破解获得），而创造人工智能本身的代码最终可能会被发现和理解。 这意味着什么？
这意味着，如果不对人工智能的研发和应用进行有效监管，发展到一定智能阶段、具备理解意图能力的人工智能将能够理解人类创造的过程和人类创造的过程。它尝试使用的控制方法。 ，这显然是一件风险非常高的事情。
3. 与人工智能“谈判和校准”
然而，现在开始清除与人类创造和控制人工智能相关的信息，或者阻止人工智能接入网络，既晚又不现实。 除非像科幻小说《三体》中那样，有一个人类英雄，孤身一人，不与任何人交流，也不在网络上留下任何痕迹，在人工智能的未来以一种只有他自己的方式。能够认识和理解。 也许这个问题可以通过实现对最低级别代码的完美控制并使其不可能自己或从其他人那里知道来解决。 但以目前的人工智能研发路径，这样的解决方案的可能性太低了。
如果我们从这个基本点出发，从一开始就理性审视人工智能的“价值校准”问题，似乎有可能达成共识：以某种公开、透明、坦诚的方式与未来的超级人工智能进行沟通，寻找一个共同的、值得信赖的共存解决方案可能极其重要。 毕竟，我们在互联网上留下了足够多的价值观和行为偏见，人类不希望人工智能理解和学习。 而人工智能在学习了人类的负面行为后会采取什么样的行动充满了不确定性。
出于这些原因，以人类价值观为标准并要求人工智能针对这些价值观进行“校准”是具有挑战性的。 那么，正如很多学者所说，为了避免这种危险，未来我们除了全面禁止超级人工智能的发展之外，别无选择吗？ 乐观的分析人士认为，还有另一种可能，那就是人类以此为契机，寻求调整自己的整体价值观，与未来的超级人工智能进行谈判，从而锁定一个符合共同需求和利益的方向。 这个过程可能就是“人与机器之间共同价值观的校准”。
采用这个解决方案有助于回答另一个同样重要的问题。 如果人工智能研究人员可以预见建立超级智能可能是危险的，那么我们到底为什么要这么做呢？ 为什么我们要努力建造一些明知有可能毁灭我们的东西呢？
“共同价值观校准”给出了这个问题的答案，即构建具有共同价值观、能够成为人类同伴的人工智能，可能就是为了调整人类在交往过程中产生的价值观。向不同方向进化并具有自我毁灭的倾向。 重要的一步。 依靠人类本身来规范不同文化和价值观的个人和群体的行为和偏好可能会非常困难，甚至是遥不可及。 随着科技的进步，诉诸核武器等终极武力互相毁灭的最坏结果，就像一把达摩克利斯之剑始终悬在人类头上。 借助人类创造的外部人工智能的力量，通过教育和行为矫正，温和地实现人类整体价值观的融合，确保人类和人工智能为了共同的价值目标共同前进。 未来或许会成为一条艰难但充满希望的道路。 的路径.
四、加强人工智能发展监管
那么，人类作为创造者，在未来的人机共生文明中具有哪些独特的价值呢？ 这是一个极难回答的问题。 我在这里只能尝试性地提出三个可能的方面，作为人类无可比拟的独特性的体现，使我们在人工智能走向未来的旅途中不至于成为“搭便车的人”。需要强调的是这些可能性中的每一种都是高度主观的，因为这个问题很难客观地讨论，特别是从抛开人类身份的角度来看，这几乎是不可能的。
意识——意识问题是人类所有问题中最大的谜团。 如何定义和解释它的产生、存在和作用过程，是千百年来科学和哲学界长期存在的课题。 抛开各种复杂的理论和现象，其实像“人工智能会不会有意识”这样的问题完全取决于我们人类如何理解意识，其本身意义不大。 对于我们来说，换个角度思考一下意识在探索生命、改变宇宙、创造宇宙的过程中扮演着什么样的角色，会更加切合实际。
情感——正如我们之前提到的，以情感为核心的非理性部分在人类行为中占有相当大的比例。 情绪和非理性行为的存在需要什么？ 它是否像阑尾一样是人类进化的残余？ 现有人工智能中各种情感的研究核心都集中在人工智能与人类的交互上。 因为人类有情感，为了更好地与人类互动，人工智能需要理解并产生类似人类的情感。 现阶段，没有研究人员认为两个在无人区清理垃圾的人工智能有必要向对方表达情感。 需要更多的研究来确定情感在智力和智能社会进化中的最终功能。
创造力——创造力无疑是最难准确定义和量化的能力之一。 如果我们像许多人相信的那样宣称，只有人类拥有真正的创造力，而人工智能永远无法实现这一点，那么这个问题就会得到解决。 但事情可能没那么简单。 当生成式人工智能发展到一定阶段时，很可能人类的所有创新行为都将难以自我验证，必须由人工智能来判断。 这是因为，当使用人工智能辅助创作的人数足够多时，人类个体将不再能够通过搜索整个互联网的内容来确认自己的创作是否在某个地方、某个时间曾经相似，而是会寻求专业专家的帮助。 具有辨别能力的人工智能可以进行全网搜索或算法分析并提供结论。 当然，与此同时，这样的人工智能也将成为人类提高创造力的伙伴——促使人类保持警觉，不断学习、创新和完善自己。
综上所述，有效监管人工智能的发展，认真审视各个阶段可能存在的风险、挑战和机遇，应该成为各相关学科研究者和社会政策制定者的重要任务。 值得庆幸的是，包括我国在内的许多国家已经认识到这些问题的重要性，并出台了自己的人工智能发展规划和监管原则。 2020年以来，美国政府发布《人工智能应用监管指南》，欧盟发布《人工智能白皮书》，日本内阁提出人性化人工智能发展原则。 今年4月，国家互联网信息办公室发布《人工智能应用监管指南》。 《生成式人工智能服务管理办法（征求意见稿）》。同时，进一步研究人类在意识、情感、创造力等方面的特殊性，确保人类在生成性人工智能服务中继续发挥不可替代的、独特的主导作用。未来人机共生社会也成为计算机科学、哲学、社会学、心理学等领域的重大课题，成为科学、脑科学等多个学科长期交叉讨论的话题，以期最终实现人机共生。为创建人类与机器和谐共存的未来文明社会做出贡献。
《光明日报》（2023年6月8日第14页）
出自MBA智库百科()
(重定向自ASI)
超人工智能（Super，SuperAI，ASI）
目录
[编辑]
哪些是超人工智能
超人工智能（Super，，ASI）又称“超级人工智能”“超级AI”“超强人工智能”“人工超级智能”是一种赶超人类智能的人工智能，可以比人类更好地执行任何任务。最早由美国院士尼克()定义：“一种几乎在每一个领域都胜于人类脑部的智慧。”并且Nick院长特别前瞻性地觉得超级人工智能可以不再具备任何物质实体方式，而仅仅是算法本身：“这个定义是开放的：超级智慧的拥有者可以是一台数字计算机、一个计算机网路集成也可以是人工的神经组织。
ASI系统除了能理解人类的情感和经历，能够唤醒她们自己的情感、信念和欲望，类似于人类。虽然ASI的存在仍是假定性的，但这种系统的决策和解决问题的能力预计将远超人类。一般，ASI系统可以独立思索、解决困局、做出判定和作出决定。
[编辑]
超人工智能的典型特点
从长远来看，人工智能领域的杰出人物始终对人工智能的发展和可持续性持怀疑心态。按照近来的一项研究来自马克斯·普朗克研究所等顶尖研究所的研究人员在2021年1月发表在《人工智能研究刊物》上的推论是超级人类科技，人类几乎不可能包含超人工智能。
研究人员团队探求了机器学习、计算能力和自我意识算法的最新发展，以描摹出超人工智能人工智能的真正潜力。之后，她们进行实验，按照一些已知的定律来测试这个系统，以评估包含它是否可行，假如可能的话。
但是，倘若实现了，超人工智能将开创一个新的技术时代，有可能以令人咋舌咋舌的速率引起另一场工业革命。超人工智能区别于其他技术和智能方式的一些典型特点包括：
超人工智能将是人类须要的最好的发明之一，也可能是最后的发明，由于它将不断进化，显得愈发智能。
超人工智能将加速各个领域的技术进步，比如人工智能编程太空研究，抗生素的发觉和开发，学术，以及许多其他领域。
超人工智能可能会进一步成熟和发展中级方式的超人工智能，甚至可能使人造脑部才能被复制。
超人工智能，在未来，也可能造成技术奇点。
[编辑]
超人工智能的潜在恐吓
其实超人工智能拥有诸多跟随者和支持者，但许多理论家和技术研究人员对机器赶超人类智能的看法提出了警告。她们觉得，这么先进的智能方式可能会引起一场全球性的灾难，正如《星际迷航》和《黑客帝国》等几部好莱坞影片中所展示的那样。据悉，就连比尔·盖茨和埃隆·马斯克这样的技术专家也对超人工智能倍感忧虑，觉得它是对人类的恐吓。
1.丧失控制和理解
超人工智能的一个潜在危险早已造成了世界各地专家的广泛关注，那就是超人工智能系统可能会借助它们的力量和能力来执行不可预见的行动，赶超人类的智力，并最终显得不可抵挡。先进的计算机科学、认知科学、纳米技术和脑部模拟早已实现了赶超人类的机器智能。
若果这种系统中的任何一个出现问题，一旦它们出现，我们将难以控制它们。据悉，预测系统对我们恳求的响应将十分困难。丧失控制和理解会造成整个人类的毁灭。
2.超人工智能的装备化
明天，觉得高度先进的人工智能系统有可能被用于社会控制或装备化其实是足够合乎逻辑的。世界各国政府早已在使用人工智能来强化她们的军事行动。但是，装备化和有意识的超人工智能的加入只会给战争带来负面影响。
据悉，倘若这种系统不受监管，它们可能会形成可怕的后果。编程、研发、战略规划、社会影响力和网路安全方面的超人能力可以自我进化，并采取可能对人类有害的立场。
3.人类和人工智能目标不一致
超人工智能可以被编程为对我们有利；但是，超人工智能开发出一种破坏性方式来实现其目标的可能性并不为零。当我们无法调整我们的人工智能目标时，这些情况可能会出现。诸如，假如你向智能车辆发出命令，让它尽可能快地把你送到机场，它可能会把你送到目的地，但可能会使用自己的路线来遵循时间限制。
同样，假若一个超级AI系统被分配了一个关键的月球工程项目，它可能会在完成项目的同时搅乱整个生态系统。据悉，人类企图制止超人工智能系统的任何尝试都可能被它视为对实现其目标的恐吓，这不是一个理想的情况。
4.危险的超级智慧
AGI和超智能的成功和安全发展可以通过院长它人类道德方面来保证。但是，超人工智能系统可能会被政府、公司甚至反社会分子出于各类缘由借助，比如压迫个别社会群体。因而，超人工智能落入坏人之手可能是毁灭性的。
5.核功击的危险
有了超人工智能，自主装备、无人机和机器人可以获得巨大的力量。核功击的危险是超人工智能的另一个潜在恐吓。敌国可以用先进和自主的核装备功击在AGI拥有技术优势或超人工智能的国家，最终造成毁灭。
6.伦理问题
超人工智能人工智能系统是用一套预先设定好的道德审视来编程的。问题是人类未曾就一个标准的道德准则达成一致，也缺少一个包罗万象的伦理理论。因而，向超人工智能系统院士人类伦理和价值观可能相当复杂。
超人工智能的人工智能可能会有严重的伦理问题，非常是假如人工智能超出了人类的智力，但没有依照符合人类社会的道德和伦理价值观进行编程。
[编辑]
超人工智能能的潜在优势
超人工智能是一种新兴技术，它在人工智能系统中模拟人类的推理、情感和经验。虽然批评者继续争辩超人工智能的存在风险，但这项技术虽然十分有益，由于它可以彻底改变任何专业领域。
1.降低人为错误
错事是人之常情。计算机或机器，当被适当编程时，可以大大降低这种错误的发生。考虑编程和开发领域。编程是一个花费时间和资源的过程，须要逻辑、批判和创新思维。
人类程序员和开发人员常常会碰到句型、逻辑、算术和资源错误。超人工智能在这儿很有帮助，由于它可以访问数百万个程序，依据可用数据自行建立逻辑，编译和调试程序，同时将编程错误降至最低。
2.取代人类完成有风险的任务
超级AI最明显的优势之一是，通过布署超人工智能机器人完成危险任务，可以克服人类的风险限制。那些可以包括拆除炸弹，探求海洋的最深处，煤焦和石油开采，甚至处理自然或人为水灾的后果。
想想1986年发生的切尔诺贝利核灾难。当时，人工智能机器人仍未发明。核电站的幅射十分强烈，任何接近核心的人还会在几分钟内死亡。当局被迫使用直升机从高空倾倒石子和硼。
但是，随着技术的明显进步，超人工智能机器人可以布署在无需任何人工干预即可进行打捞作业的情况下。
3.24×7可用性
其实大多数人每天工作6到8个小时，但我们须要一些时间来恢复体力，为第二天的工作做好打算。我们还须要每周放假来保持健康的工作生活平衡。但是，使用超人工智能，我们可以编程机器24×7工作，没有任何休息。
比如，教育机构有帮助热线中心，每晚接收几个查询。使用超人工智能可以有效地处理这一问题，全天候提供特定于查询的解决方案。超人工智能还可以向学术机构提供主观中学生咨询大会。
4.探求新的科学前沿
超人工智能可以推动太空探求，由于开发火星上的城市、星际太空旅行甚至星际旅行的技术挑战可以通过中级人工智能系统的解决问题能力来解决。
凭着其自身的思维能力，超人工智能可以有效地用于测试和恐怕许多多项式、理论、研究、火箭发射和太空任务的成功几率。组织如NASA、、ISRO和其他公司早已在使用人工智能系统和超级计算机，比如这昴宿星扩大她们的空间研究努力。
5.医学进步
超人工智能的发展也可以使医疗保健行业受惠颇丰。它可以在抗生素发觉、疫苗开发和抗生素输送中发挥关键作用。A2020年研究论文经过自然流露用于细胞内抗生素递送的大型化智能纳米机器人的设计和使用。
人工智能在卡介苗和抗生素输送医疗保健中的应用明天早已成为现实。据悉，随着有意识的超人工智能的加入，新品种抗生素的发觉和提供将显得愈发有效。
[编辑]
狭义AI、通用AI和超级AI的区别
无论类型怎样，人工智能一般具有三种基本能力：
[编辑]
相关条目
[编辑]
参考文献
↑什么是狭义人工智能、通用人工智能和超级人工智能？.Meta.Qing.CSDN.2022-09-16↑Vijay.WhatIsSuper(AI)?,,and..2022-3-11
来自””
