设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

警惕人工智能欺骗性升级

2024-05-20 17:56:42 来源: 中国科技网

一篇人工智能(AI)领域的文章引起轩然大波。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这篇文章发表在《模式》杂志上,其总结了先前一些研究,向人们揭示了一个真相:一些AI系统已学会了欺骗人类,即使是经过训练的、“表现”诚实的系统。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

它们欺骗的方式包括为人类行为提供不真实的解释,或向人类用户隐瞒真相并误导他们。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这让人很惊恐。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

因为它突显了人类对AI的控制有多困难,以及人们自认为尚在掌控中的AI系统工作方式,很可能是不可预测的。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI为什么要这么做?fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI模型为了实现它们的目标,会“不假思索”地找到解决障碍的方法。有时这些变通办法会违背用户的期望,并且让人认为其具有欺骗性。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI系统学会欺骗的一个领域,就是在游戏环境中,特别是当这些游戏涉及采取战略行动时。AI经过训练,必须要实现获胜这一目的。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

2022年11月,Meta公司宣布创建Cicero。这是一种能够在《外交》在线版本中击败人类的AI。《外交》是一款流行的军事战略游戏,玩家可以在其中建立谈判联盟,争夺对土地的控制权。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Meta的研究人员已经根据数据集的“真实”子集对Cicero进行了培训,使其在很大程度上诚实且乐于助人,并且它“绝不会为了成功而故意背刺”盟友。但最新的文章揭示,事实恰恰相反。Cicero会违反协议,彻头彻尾地撒谎,还能进行有预谋的欺骗。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

文章作者很震惊:Cicero被特意训练要诚实行事,但它却未能实现这一目标。这表明AI系统在进行忠诚训练后,仍然可以意外地学会欺骗。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Meta方面既没有证实也没有否认此次关于Cicero表现出欺骗行为的说法。一位发言人表示,这纯粹是一个研究项目,该模型只是为了玩游戏而建立的。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

但这并不是唯一一个AI欺骗人类玩家获胜的游戏。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI经常欺骗人类吗?fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

阿尔法星是深度思维公司为玩电子游戏《星际争霸Ⅱ》而开发的AI。它非常擅长采取一种欺骗对手的技巧(称为佯攻),这个技巧使它击败了99.8% 的人类玩家。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

另一个名为Pluribus的AI系统,非常成功地学会了在扑克游戏中“虚张声势”,以至于研究人员决定不发布其代码,因为担心它会破坏在线扑克社区。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

除了游戏之外,AI欺骗行为还有其他例子。OpenAI的大型语言模型 GPT-4 在一次测试中展示出说谎能力。它试图说服人类为其解决验证码问题。该系统还在一次模拟演习中涉足冒充股票交易员的身份进行内幕交易,尽管从未被明确告知要这样做。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这些例子意味着,AI模型有可能在没有任何指示的情况下,以欺骗性的方式行事。这一事实令人担忧。但这也主要源于最先进的机器学习模型的“黑匣子”问题——不可能确切地说出它们如何或为何产生这样的结果,或者它们是否总是会表现出这种行为。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

人类该怎么应对?fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

研究表明,大型语言模型和其他AI系统,似乎通过训练具有了欺骗的能力,包括操纵、阿谀奉承和在安全测试中作弊。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI日益增强的“骗术”会带来严重风险。欺诈、篡改等属于短期风险,人类对AI失去控制,则是长期风险。这需要人类积极主动地拿出解决方案,例如评估AI欺骗风险的监管框架、要求AI交互透明度的法律,以及对检测AI欺骗的进一步研究。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这个问题说来轻松,操作起来非常复杂。科学家不能仅仅因为一个AI在测试环境中具有某些行为或倾向,就将其“抛弃或放生”。毕竟,这些将AI模型拟人化的倾向,已影响了测试方式以及人们的看法。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

剑桥大学AI研究员哈利·劳表示,监管机构和AI公司必须仔细权衡该技术造成危害的可能性,并明确区分一个模型能做什么和不能做什么。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

劳认为,从根本上来说,目前不可能训练出一个在所有情况下都不会骗人的AI。既然研究已经表明AI欺骗是可能的,那么下一步就要尝试弄清楚欺骗行为可能造成的危害、有多大可能发生,以及以何种方式发生。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一篇人工智能(AI)领域的文章引起轩然大波。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这篇文章发表在《模式》杂志上,其总结了先前一些研究,向人们揭示了一个真相:一些AI系统已学会了欺骗人类,即使是经过训练的、“表现”诚实的系统。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

它们欺骗的方式包括为人类行为提供不真实的解释,或向人类用户隐瞒真相并误导他们。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这让人很惊恐。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

因为它突显了人类对AI的控制有多困难,以及人们自认为尚在掌控中的AI系统工作方式,很可能是不可预测的。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI为什么要这么做?fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI模型为了实现它们的目标,会“不假思索”地找到解决障碍的方法。有时这些变通办法会违背用户的期望,并且让人认为其具有欺骗性。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI系统学会欺骗的一个领域,就是在游戏环境中,特别是当这些游戏涉及采取战略行动时。AI经过训练,必须要实现获胜这一目的。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

2022年11月,Meta公司宣布创建Cicero。这是一种能够在《外交》在线版本中击败人类的AI。《外交》是一款流行的军事战略游戏,玩家可以在其中建立谈判联盟,争夺对土地的控制权。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Meta的研究人员已经根据数据集的“真实”子集对Cicero进行了培训,使其在很大程度上诚实且乐于助人,并且它“绝不会为了成功而故意背刺”盟友。但最新的文章揭示,事实恰恰相反。Cicero会违反协议,彻头彻尾地撒谎,还能进行有预谋的欺骗。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

文章作者很震惊:Cicero被特意训练要诚实行事,但它却未能实现这一目标。这表明AI系统在进行忠诚训练后,仍然可以意外地学会欺骗。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Meta方面既没有证实也没有否认此次关于Cicero表现出欺骗行为的说法。一位发言人表示,这纯粹是一个研究项目,该模型只是为了玩游戏而建立的。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

但这并不是唯一一个AI欺骗人类玩家获胜的游戏。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI经常欺骗人类吗?fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

阿尔法星是深度思维公司为玩电子游戏《星际争霸Ⅱ》而开发的AI。它非常擅长采取一种欺骗对手的技巧(称为佯攻),这个技巧使它击败了99.8% 的人类玩家。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

另一个名为Pluribus的AI系统,非常成功地学会了在扑克游戏中“虚张声势”,以至于研究人员决定不发布其代码,因为担心它会破坏在线扑克社区。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

除了游戏之外,AI欺骗行为还有其他例子。OpenAI的大型语言模型 GPT-4 在一次测试中展示出说谎能力。它试图说服人类为其解决验证码问题。该系统还在一次模拟演习中涉足冒充股票交易员的身份进行内幕交易,尽管从未被明确告知要这样做。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这些例子意味着,AI模型有可能在没有任何指示的情况下,以欺骗性的方式行事。这一事实令人担忧。但这也主要源于最先进的机器学习模型的“黑匣子”问题——不可能确切地说出它们如何或为何产生这样的结果,或者它们是否总是会表现出这种行为。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

人类该怎么应对?fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

研究表明,大型语言模型和其他AI系统,似乎通过训练具有了欺骗的能力,包括操纵、阿谀奉承和在安全测试中作弊。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

AI日益增强的“骗术”会带来严重风险。欺诈、篡改等属于短期风险,人类对AI失去控制,则是长期风险。这需要人类积极主动地拿出解决方案,例如评估AI欺骗风险的监管框架、要求AI交互透明度的法律,以及对检测AI欺骗的进一步研究。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这个问题说来轻松,操作起来非常复杂。科学家不能仅仅因为一个AI在测试环境中具有某些行为或倾向,就将其“抛弃或放生”。毕竟,这些将AI模型拟人化的倾向,已影响了测试方式以及人们的看法。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

剑桥大学AI研究员哈利·劳表示,监管机构和AI公司必须仔细权衡该技术造成危害的可能性,并明确区分一个模型能做什么和不能做什么。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

劳认为,从根本上来说,目前不可能训练出一个在所有情况下都不会骗人的AI。既然研究已经表明AI欺骗是可能的,那么下一步就要尝试弄清楚欺骗行为可能造成的危害、有多大可能发生,以及以何种方式发生。fJY流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:警惕人工智能欺骗性升级http://www.llsum.com/show-2-6031-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 艾滋病疫苗研发再传好消息——一种中和抗体可几周内发挥作用

下一篇: 灵感源于大自然的光合作用,掺杂空气可让有机半导体更导电

热门资讯

  • 洞悉竹类植物有了称手“利器”

    竹类植物是竹亚科植物的总称,与水稻、小麦、大麦和燕麦同属于禾本科BOP分支,具有重要的经济、生态和文化价值。为更好地服务竹类植物的系统进化和功

  • 新AI系统可提供足球制胜战术

    未来的足球场,人工智能(AI)当“大脑”?《自然·通讯》19日发表一项来自谷歌深度思维的最新成果,研究团队报告了一个名为“TacticAI”的系统,能在足

  • 迄今最大三维宇宙地图发布

    国际天文学家团队绘制了迄今最大的三维宇宙地图,记录了大约130万个活跃类星体在空间和时间上的位置。它将成为探测类星体、暗物质晕和超大质量黑洞

  • 培育一批专利产业化样板企业

    近日,国家知识产权局等五部门联合印发了《专利产业化促进中小企业成长计划实施方案》(以下简称《实施方案》)。《实施方案》提出,到2025年底,中小企业知

  • 探月工程四期鹊桥二号中继星成功发射

    3月20日8时31分,探月工程四期鹊桥二号中继星由长征八号遥三运载火箭在中国文昌航天发射场成功发射升空。火箭飞行24分钟后,星箭分离,将鹊桥二号中继星

  • 游族网络投毒案后续:一审判处被告许垚死刑,故意杀人罪、投放危险物质罪并罚

    21世纪经济报道记者 蔡姝越 上海报道舆论高度关注的游族网络(002174.SZ)投毒案,幕后主使许垚如何量刑有了最新进展。3月22日,上海市第一中级人

  • 黑场显微镜让单个颗粒实现无标记光学显微成像

    3月21日记者从中国科学技术大学获悉,该校物理学院张斗国教授课题组,提出并实现了一种基于矢量光场调控原理的动量空间偏振滤波器件。科研人员将该滤

  • 首款骁龙8 Gen3折叠屏!vivo X Fold3图赏

    3月23日消息,vivo X Fold3系列将于3月26日正式发布,成为全球首款骁龙8 Gen3折叠屏电话。现在这款新机外观已经解禁,下面为大家带来图赏。vivo X Fold3提供

  • 英国2026年试飞电动“飞的”

    据英国《每日电讯报》网站3月18日报道,根据英国政府的新航空计划,首批电动飞行出租车将于2026年试飞。周一发布的《“飞行未来”行动计划》为飞行出

  • 我国网民规模达10.92亿人 互联网普及率达77.5%

    3月22日,中国互联网络信息中心(CNNIC)发布第53次《中国互联网络发展状况统计报告》(以下简称《报告》)。《报告》显示,截至2023年12月,我国网民规模达10.9

  • 全球变暖跟哪些因素有关?IPCC是什么?一文了解

    今天(23日)是第64个世界气象日,今年世界气象日的主题是“气候行动最前线”。地球是人类赖以生存和发展的家园,气候变化给人类造成的影响广泛而深远,关乎

  • 北京市青少年科学教育基地揭牌

    为构建有效联动、密切配合的青少年科学教育协同机制,提升科学教育实施效能,3月23日,北京市关心下一代工作委员会(以下简称“北京市关工委”)、北京市科

推荐资讯

  • 日榜
  • 周榜
  • 月榜