设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

2024-04-23 15:18:13 来源: 量子位

3.8B小模型截胡Llama 3 8BHV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Llama 3发布刚几天,微软就出手截胡了?HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

刚刚发布的Phi-3系列小模型技术报告,引起AI圈热议。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8BHV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

为了方便开源社区使用,还特意设计成了与Llama系列兼容的结构。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

微软这次打出“手机就能直接跑的小模型”的旗号,4bit量化后的phi-3-mini在iPhone 14 pro和iPhone 15使用的苹果A16芯片上跑到每秒12 token。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

这意味着,现在手机上能本地运行的最佳开源模型,已经做到ChatGPT水平。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

在技术报告中还玩了一把花活,让phi-3-mini自己解释为什么构建小到手机能跑的模型很令人惊叹。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

除了mini杯之外,小杯中杯也一并发布:HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Phi-3-small,7B参数,为支持多语言换用了tiktoken分词器,并额外增加10%多语种数据。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Phi-3-medium,14B参数,在更多数据上训练,多数测试中已超越GPT-3.5和Mixtral 8x7b MoE。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

(大杯他们目前不打算做)HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

作者阵容一看也不简单,一眼扫过去MSRA和MSR雷蒙德团队都投入了不少人。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

那么,Phi-3系列到底有什么独特之处呢?HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

根据技术报告中披露,其核心秘诀就在于数据HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

去年团队就发现,单纯堆砌参数量并不是提升模型性能的唯一路径。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

反而是精心设计训练数据,尤其是利用大语言模型本身去生成合成数据,配合严格过滤的高质量数据,反而能让中小模型的能力大幅跃升。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

也就是训练阶段只接触教科书级别的高质量数据,Textbooks are all you needHV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

Phi-3也延续了这一思路,这次他们更是下了血本:HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  • 投喂了多达3.3万亿token的训练数据(medium中杯是4.8万亿)
  • 大幅强化了数据的”教育水平”过滤
  • 更多样化的合成数据,涵盖逻辑推理、知识问答等多种技能
  • 独特的指令微调和RLHF训练,大幅提升对话和安全性

举个例子,比如某一天足球比赛的结果可能对于大模型是良好的训练数据,但微软团队删除了这些加强知识的数据,留下更多能提高模型推理能力的数据HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这样一来,对比Llama-2系列,就可以用更小的参数获得更高的MMLU测试分数了。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

不过小模型毕竟是小模型,也不可避免存在一些弱点。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软透露,模型本身参数中没能力存储太多事实和知识,这一点也可以从TriviaQA测试分数低看出来。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

缓解办法就是联网接入搜索引擎增强。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

总之,微软研究院团队是铁了心了要在小模型+数据工程这条路上走下去,未来还打算继续增强小模型的多语言能力、安全性等指标。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

对于开源小模型超过ChatGPT这回事,不少网友都认为压力现在给到OpenAI这边,需要赶快推出GPT-3.5的继任者了。HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

参考链接:
[1]https://arxiv.org/abs/2404.14219HV0流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了http://www.llsum.com/show-2-5311-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 对话蚂蚁李建国:当前AI写代码相当于L2.5,实现L3后替代50%人类编程

下一篇: 华为P70闪拍功能意外爆火,CTO亲自下场解读技术原理

热门资讯

  • 聚焦AWE2024|从单品升级到构建生态 家电产业智能化仍需突破与完善

    南方财经全媒体记者 吴立洋 上海报道日前,2024中国家电及消费电子博览会(AWE)在上海新国际博览中心闭幕。作为一年一度的家电产业盛会,AWE既是

  • 全国首个模拟验证机场开工

    记者日前获悉,位于四川成都未来科技城应用性科创区的民航科技创新示范区(B区)航站楼项目,近日取得施工许可证。这也意味着全国首个模拟验证机场开工。

  • 人工智能医疗或将破解人体秘密

    美国《新闻周刊》网站2月4日刊登题为《人工智能可能会在数十年内解开人体的秘密》的文章,作者是亚历克斯·菲利普斯,内容编译如下:一位医生(同

  • 我国首个制氢加氢一体站团体标准发布

    我国制氢加氢一体站建设有了团体标准。记者从中国石化获悉,为推动我国氢能交通产业发展,中国石化联合国内数十家氢能头部企业发布了国内首个《制氢加

  • AI辅助诊断实现无创判定甲状腺结节良恶性

    3月21日,记者从陆军军医大学新桥医院获悉,该院普通外科开通甲乳结节AI早筛门诊,利用AI(人工智能)辅助诊断技术,成功为一名甲状腺乳头状癌患者成功实施手

  • 量子互联网:小荷已露尖尖角

    近日,美国纽约州立大学石溪分校科学家菲格罗阿等人在一篇发表于《自然·量子信息》上的论文中称,他们通过把两个独立的光子存储在铷气里,首次在

  • AI芯片巨头低调赚钱

      AI芯片巨头低调赚钱  骆轶琪  在过去一年半导体行业下行周期中,除了英伟达以GPU霸主身份实现业绩快速成长之外,另一些主营虽非GPU,但是立足于AI定制芯片市场的半导体巨

  • 30台发动机助进阶版“鹊桥”升空

      30台发动机助进阶版“鹊桥”升空  中新社西安3月20日电 (记者 张一辰)3月20日8时31分,长征八号遥三运载火箭在中国文昌航天发射场顺利升空,成功将“鹊桥二号”卫星送入

  • 首发天玑9300+联发科最强芯片!vivo X100s Pro入网

    3月23日消息,据最新爆料,vivo X100s Pro已经获得3C认证,估计 会在5月份前后发布。该机可以看做是vivo X100 Pro的小迭代机型,属于半代升级款,与去年X90s类似

  • 新疆:南山26米射电望远镜4Gbps宽带VLBI联测首获成功

    记者从中国科学院新疆天文台获悉,近期南山26米射电望远镜在参与欧洲VLBI网组织的联测中,首次成功运用4Gbps宽带、高码率VLBI技术获得干涉条纹。相较

  • 人工智能大模型赋能企业科技创新研讨会召开

    3月21日,人工智能大模型赋能企业科技创新研讨会在广州召开。中国知网在会议期间发布了专利大数据智能应用产品“AI Pat+”。据中国知网相关负责人介

  • 俄罗斯成功发射“联盟MS-25”载人飞船

    俄罗斯国家航天集团23日发布消息说,俄当天成功发射了“联盟MS-25”载人飞船。消息说,莫斯科时间23日15时36分(北京时间20时36分),“联盟MS-25”载人飞船

推荐资讯

  • 日榜
  • 周榜
  • 月榜