设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

ChatGPT如何“思考”——科学家竞相破解大型语言模型背后的谜团

2024-05-20 17:56:20 来源: 中国科技网

北京时间5月14日凌晨,美国开放人工智能研究中心(OpenAI)发布了其下一代大型语言模型GPT-4o,人工智能(AI)领域再起硝烟。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

尽管AI一词已很普及,但其内部运作方式仍像黑箱操作一样,是一个谜。因为AI依赖机器学习算法,而先进的机器学习算法使用模拟人脑结构的神经网络,信息在不同神经元间传递,以人类不易理解的方式内化数据,缺乏可视化和透明度。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这个问题对ChatGPT等大型语言模型(LLM)来说尤其严重,部分原因在于它们规模庞大,有些LLM拥有数千亿甚至上万亿个参数。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

英国《自然》杂志网站在15日的报道中指出,为洞悉LLM的黑箱操作,科学家正对AI系统进行逆向工程。他们扫描LLM的“大脑”,以揭示它们在做什么、如何做以及为什么这样做等谜团。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

谈话疗法9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

由于聊天机器人可以进行对话,一些研究人员就让模型自我解释,以了解其工作原理。这种方法类似于心理学中使用的“谈话疗法”。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

德国斯图加特大学计算机科学家蒂洛·哈根德夫表示,人脑和LLM都像是一个“黑箱”,而心理学有能力研究它。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

去年,哈根德夫发表了一篇关于“机器心理学”的文章。他认为,通过将LLM视为人类主体,让其参与对话,可以阐明其复杂行为。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

面对复杂问题,人类在潜意识里会进行分步骤推理。受此启发,谷歌团队2022年引入了“思维链提示”,以描述一种让LLM展示其“思维”的方法。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

简单来说,思维链提示是一种特殊的上下文学习。不同于标准提示只给出输入—输出,思维链提示还会额外增加推理过程。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

该方法在GPT-3等三个大型语言模型上都得到了验证:对比标准提示,新方法在一系列算术推理任务上的准确率都有了显著提高。但美国纽约大学研究人员的一项最新研究表明:LLM并没有利用思维链的推理能力,它只是偷偷加了计算。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美国东北大学计算机科学家戴维·鲍表示,尽管以研究人类的方式研究LLM有点奇怪,但两者的行为却以令人惊讶的方式重叠。在过去两年里,许多科学家将用于人类的问卷和实验应用于LLM,测量了其人格、推理、偏见、道德价值观、创造力、情绪、服从性等。结果显示,在许多情况下,机器能复制人类行为。但在有些情况下,它们的行为与人类行为不一样。例如,LLM比人类更容易受到暗示,其行为也会随着问题措辞的不同而发生巨大变化。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

脑部扫描9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一些科学家从神经科学领域汲取技巧,以此来探索LLM的内部工作原理。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

为研究聊天机器人是如何进行欺骗的,美国卡内基梅隆大学计算机专家安迪·邹及其合作者询问了LLM,并观察了它们神经元的激活情况。邹指出,这有点像对人类进行脑部神经成像扫描,也有点像使用测谎仪。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

研究人员多次让LLM撒谎或说实话,并测量了神经元活动模式的差异。然后,每当向模型提出一个新问题时,他们都可以观察其活动,并判断答案是否真实。在一个简单任务中,该方法的准确率超过90%。邹表示,此类系统可以实时检测出LLM不诚实行为。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

鲍及其同事则开发了扫描和编辑人工智能神经网络的方法,包括一种他们称之为因果追踪的技术,以确定AI“大脑”中以特定方式回答问题的部分。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

鲍指出,人工神经网络的好处在于,可以在它们身上做神经科学家梦寐以求的实验,比如可以观察每一个神经元、运行数百万次网络、进行各种疯狂的测量和干预,且做这些都不必获得同意书。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

打破不可解释性9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

邹和鲍等人提出LLM扫描技术采用自上而下的方法,将概念或事实归因于潜在的神经表征。还有一些科学家则使用自下而上的方法,即观察神经元并询问它们代表什么。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

神经元的不可解释性,一直是AI领域的“老大难”问题。2023年,来自Anthropic公司的一个团队提出了一种方法,成功将512个神经元分解成了4096个可解释特征,从而让其具有了可解释性。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

研究人员表示,他们这一方法很有可能克服AI不可解释性这一巨大障碍。一旦人类了解LLM工作原理,就能很容易地判断其是否安全,从而决定它是否应该被社会和企业采用。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

不过,邹表示,尽管这种方法很有价值,但不太适合解释更复杂的AI行为。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

尽管研究人员仍在努力弄清楚AI如何工作,但人们越来越达成一致意见:AI公司应该努力为其模型提供解释,政府也应该制定相关法规来执行这一点。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

北京时间5月14日凌晨,美国开放人工智能研究中心(OpenAI)发布了其下一代大型语言模型GPT-4o,人工智能(AI)领域再起硝烟。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

尽管AI一词已很普及,但其内部运作方式仍像黑箱操作一样,是一个谜。因为AI依赖机器学习算法,而先进的机器学习算法使用模拟人脑结构的神经网络,信息在不同神经元间传递,以人类不易理解的方式内化数据,缺乏可视化和透明度。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这个问题对ChatGPT等大型语言模型(LLM)来说尤其严重,部分原因在于它们规模庞大,有些LLM拥有数千亿甚至上万亿个参数。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

英国《自然》杂志网站在15日的报道中指出,为洞悉LLM的黑箱操作,科学家正对AI系统进行逆向工程。他们扫描LLM的“大脑”,以揭示它们在做什么、如何做以及为什么这样做等谜团。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

谈话疗法9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

由于聊天机器人可以进行对话,一些研究人员就让模型自我解释,以了解其工作原理。这种方法类似于心理学中使用的“谈话疗法”。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

德国斯图加特大学计算机科学家蒂洛·哈根德夫表示,人脑和LLM都像是一个“黑箱”,而心理学有能力研究它。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

去年,哈根德夫发表了一篇关于“机器心理学”的文章。他认为,通过将LLM视为人类主体,让其参与对话,可以阐明其复杂行为。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

面对复杂问题,人类在潜意识里会进行分步骤推理。受此启发,谷歌团队2022年引入了“思维链提示”,以描述一种让LLM展示其“思维”的方法。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

简单来说,思维链提示是一种特殊的上下文学习。不同于标准提示只给出输入—输出,思维链提示还会额外增加推理过程。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

该方法在GPT-3等三个大型语言模型上都得到了验证:对比标准提示,新方法在一系列算术推理任务上的准确率都有了显著提高。但美国纽约大学研究人员的一项最新研究表明:LLM并没有利用思维链的推理能力,它只是偷偷加了计算。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美国东北大学计算机科学家戴维·鲍表示,尽管以研究人类的方式研究LLM有点奇怪,但两者的行为却以令人惊讶的方式重叠。在过去两年里,许多科学家将用于人类的问卷和实验应用于LLM,测量了其人格、推理、偏见、道德价值观、创造力、情绪、服从性等。结果显示,在许多情况下,机器能复制人类行为。但在有些情况下,它们的行为与人类行为不一样。例如,LLM比人类更容易受到暗示,其行为也会随着问题措辞的不同而发生巨大变化。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

脑部扫描9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一些科学家从神经科学领域汲取技巧,以此来探索LLM的内部工作原理。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

为研究聊天机器人是如何进行欺骗的,美国卡内基梅隆大学计算机专家安迪·邹及其合作者询问了LLM,并观察了它们神经元的激活情况。邹指出,这有点像对人类进行脑部神经成像扫描,也有点像使用测谎仪。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

研究人员多次让LLM撒谎或说实话,并测量了神经元活动模式的差异。然后,每当向模型提出一个新问题时,他们都可以观察其活动,并判断答案是否真实。在一个简单任务中,该方法的准确率超过90%。邹表示,此类系统可以实时检测出LLM不诚实行为。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

鲍及其同事则开发了扫描和编辑人工智能神经网络的方法,包括一种他们称之为因果追踪的技术,以确定AI“大脑”中以特定方式回答问题的部分。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

鲍指出,人工神经网络的好处在于,可以在它们身上做神经科学家梦寐以求的实验,比如可以观察每一个神经元、运行数百万次网络、进行各种疯狂的测量和干预,且做这些都不必获得同意书。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

打破不可解释性9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

邹和鲍等人提出LLM扫描技术采用自上而下的方法,将概念或事实归因于潜在的神经表征。还有一些科学家则使用自下而上的方法,即观察神经元并询问它们代表什么。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

神经元的不可解释性,一直是AI领域的“老大难”问题。2023年,来自Anthropic公司的一个团队提出了一种方法,成功将512个神经元分解成了4096个可解释特征,从而让其具有了可解释性。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

研究人员表示,他们这一方法很有可能克服AI不可解释性这一巨大障碍。一旦人类了解LLM工作原理,就能很容易地判断其是否安全,从而决定它是否应该被社会和企业采用。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

不过,邹表示,尽管这种方法很有价值,但不太适合解释更复杂的AI行为。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

尽管研究人员仍在努力弄清楚AI如何工作,但人们越来越达成一致意见:AI公司应该努力为其模型提供解释,政府也应该制定相关法规来执行这一点。9vX流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:ChatGPT如何“思考”——科学家竞相破解大型语言模型背后的谜团http://www.llsum.com/show-2-6014-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 青少年与航天员“天地共养”斑马鱼

下一篇: 蜥蜴断尾求生带来设计灵感——新型建筑系统能预防整体倒塌

热门资讯

  • 打造平台级AI 引领行业创新

    3月18日,荣耀在国内市场发布全新AI使能的全场景战略,推出平台级AI赋能、以人为中心的跨操作系统体验,以及与全球产业链共振创新的一系列智能设备。荣

  • AI领域,重磅消息传来!

    AI领域,一则重磅消息传来!最新消息,全球最知名的AI公司——OpenAI将在几个月内发布新版大型语言模型GPT-5,性能将有大幅跃升。目前,ChatGPT使用

  • 锻造能“听”清眼疾的高精设备

    眼眸深邃似海、璨如星河,中国医学科学院生物医学工程研究所眼科诊疗技术研发团队(以下简称“团队”)正是眼眸“侦探”。该团队不久前被授予“国家卓越

  • 我国首个制氢加氢一体站团体标准发布

    我国制氢加氢一体站建设有了团体标准。记者从中国石化获悉,为推动我国氢能交通产业发展,中国石化联合国内数十家氢能头部企业发布了国内首个《制氢加

  • 联想与英伟达推出全新混合AI解决方案

    在近日举行的全球AI盛会GTC(GPU Technology Conference)2024上,联想集团与NVIDIA(英伟达)宣布合作推出全新混合人工智能解决方案,帮助企业和云提供商获得

  • 一种新的结核病候选疫苗在南非启动Ⅲ期临床试验

    在3月24日世界防治结核病日前夕,比尔及梅琳达∙盖茨医学研究所(以下简称盖茨医学研究所)宣布,启动评估结核病候选疫苗M72有效性的Ⅲ期临床试验。在Ⅱb

  • 我国网民规模达10.92亿人:互联网普及率77.5%!

    3月22日消息,中国互联网络信息中心(CNNIC)今天发布了《中国互联网络变化状况计算报告》。《报告》显示,截至2023年12月,我国网民规模达10.92亿人,较2022年12

  • 【科技强国有我】让青年科技人才敢坐“冷板凳”

    习近平总书记在中共中央政治局第三次集体学习时强调,要加强科研学风作风建设,引导科技人员摒弃浮夸、祛除浮躁,坐住坐稳“冷板凳”。甘坐“冷板凳”是

  • 我国网民规模达10.92亿人 互联网普及率达77.5%

    3月22日,中国互联网络信息中心(CNNIC)发布第53次《中国互联网络发展状况统计报告》(以下简称《报告》)。《报告》显示,截至2023年12月,我国网民规模达10.9

  • 人工智能大模型赋能企业科技创新研讨会召开

    3月21日,人工智能大模型赋能企业科技创新研讨会在广州召开。中国知网在会议期间发布了专利大数据智能应用产品“AI Pat+”。据中国知网相关负责人介

  • 新技术破解结核病“早发现早治疗”难题

    3月24日是第29个世界防治结核病日,我国的宣传主题是“你我共同努力,终结结核流行”。在北京大学社会化媒体研究中心21日举办的“技术升级,加速我国终

  • 诺基亚手机“掉队”带来的启示

    作为功能机时代的霸主,诺基亚手机曾经创造了巨大的辉煌,但也因错失智能手机发展机遇而“掉队”。近期,外媒Visual Capitalist统计了有史以来最畅销的1

推荐资讯

  • 日榜
  • 周榜
  • 月榜