设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

2024-04-23 15:18:13 来源: 量子位

3.8B小模型截胡Llama 3 8B10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Llama 3发布刚几天,微软就出手截胡了?10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

刚刚发布的Phi-3系列小模型技术报告,引起AI圈热议。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

为了方便开源社区使用,还特意设计成了与Llama系列兼容的结构。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

微软这次打出“手机就能直接跑的小模型”的旗号,4bit量化后的phi-3-mini在iPhone 14 pro和iPhone 15使用的苹果A16芯片上跑到每秒12 token。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

这意味着,现在手机上能本地运行的最佳开源模型,已经做到ChatGPT水平。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

在技术报告中还玩了一把花活,让phi-3-mini自己解释为什么构建小到手机能跑的模型很令人惊叹。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

除了mini杯之外,小杯中杯也一并发布:10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Phi-3-small,7B参数,为支持多语言换用了tiktoken分词器,并额外增加10%多语种数据。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Phi-3-medium,14B参数,在更多数据上训练,多数测试中已超越GPT-3.5和Mixtral 8x7b MoE。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

(大杯他们目前不打算做)10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

作者阵容一看也不简单,一眼扫过去MSRA和MSR雷蒙德团队都投入了不少人。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

那么,Phi-3系列到底有什么独特之处呢?10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

根据技术报告中披露,其核心秘诀就在于数据10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

去年团队就发现,单纯堆砌参数量并不是提升模型性能的唯一路径。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

反而是精心设计训练数据,尤其是利用大语言模型本身去生成合成数据,配合严格过滤的高质量数据,反而能让中小模型的能力大幅跃升。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

也就是训练阶段只接触教科书级别的高质量数据,Textbooks are all you need10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

Phi-3也延续了这一思路,这次他们更是下了血本:10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  • 投喂了多达3.3万亿token的训练数据(medium中杯是4.8万亿)
  • 大幅强化了数据的”教育水平”过滤
  • 更多样化的合成数据,涵盖逻辑推理、知识问答等多种技能
  • 独特的指令微调和RLHF训练,大幅提升对话和安全性

举个例子,比如某一天足球比赛的结果可能对于大模型是良好的训练数据,但微软团队删除了这些加强知识的数据,留下更多能提高模型推理能力的数据10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这样一来,对比Llama-2系列,就可以用更小的参数获得更高的MMLU测试分数了。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

不过小模型毕竟是小模型,也不可避免存在一些弱点。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软透露,模型本身参数中没能力存储太多事实和知识,这一点也可以从TriviaQA测试分数低看出来。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

缓解办法就是联网接入搜索引擎增强。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

总之,微软研究院团队是铁了心了要在小模型+数据工程这条路上走下去,未来还打算继续增强小模型的多语言能力、安全性等指标。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

对于开源小模型超过ChatGPT这回事,不少网友都认为压力现在给到OpenAI这边,需要赶快推出GPT-3.5的继任者了。10j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

参考链接:
[1]https://arxiv.org/abs/2404.1421910j流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了http://www.llsum.com/show-2-5311-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 对话蚂蚁李建国:当前AI写代码相当于L2.5,实现L3后替代50%人类编程

下一篇: 华为P70闪拍功能意外爆火,CTO亲自下场解读技术原理

热门资讯

  • “桃花癫”是种病,得治

    民俗有言:桃花开,痴子忙。昨日,一大学生患“桃花癫”登上微博热搜,引发热议。该大学生认为周围女生都喜欢自己,并向全校的女生分别告白。不仅如此,由于精

  • 人工智能医疗或将破解人体秘密

    美国《新闻周刊》网站2月4日刊登题为《人工智能可能会在数十年内解开人体的秘密》的文章,作者是亚历克斯·菲利普斯,内容编译如下:一位医生(同

  • 日学者提出“深海激励化学”新概念

    日本《朝日新闻》近日发表题为《深海之光——极端环境是创意宝库》的文章,作者是樱井林太郎,编译如下:在被称为最后未开垦地的深海,有着低温

  • 联想与英伟达推出全新混合AI解决方案

    在近日举行的全球AI盛会GTC(GPU Technology Conference)2024上,联想集团与NVIDIA(英伟达)宣布合作推出全新混合人工智能解决方案,帮助企业和云提供商获得

  • AI辅助诊断实现无创判定甲状腺结节良恶性

    3月21日,记者从陆军军医大学新桥医院获悉,该院普通外科开通甲乳结节AI早筛门诊,利用AI(人工智能)辅助诊断技术,成功为一名甲状腺乳头状癌患者成功实施手

  • 【科技强国有我】让青年科技人才敢坐“冷板凳”

    习近平总书记在中共中央政治局第三次集体学习时强调,要加强科研学风作风建设,引导科技人员摒弃浮夸、祛除浮躁,坐住坐稳“冷板凳”。甘坐“冷板凳”是

  • 科研团队首次揭示全国范围内蚊虫病毒组特征

    记者3月22日获悉,中山大学、深圳华大生命科学研究院与复旦大学的研究团队合作,揭示了多种蚊虫在不同生境下病毒的多样性、传播分布的影响因素及地理

  • 首批未来产业创新成果惊艳亮相

    全球首台无细胞蛋白质合成生物反应器、全球首台全高温超导托卡马克装置(洪荒70)、64比特超导量子计算机研发与产业化项目、深海可燃冰探采重载作业机

  • 站在“气候行动最前线”,我们该如何行动?

    联合国政府间气候变化专门委员会(IPCC)最新发布的评估报告显示,全球温升预计在2021年至2040年内达到1.5℃。报告指出,自IPCC第五次评估报告发布以来,全

  • 第三颗“厦门造”卫星出征

    3月23日,“天卫科技03星”暨“华祥苑壹号”卫星在厦门举行出征仪式,这是由厦门本土企业天卫科技制造研发的第三颗服务当地建设的商业卫星,标志着厦门

  • 中广核:用创新技术提升核电站“智”力

    在近日开幕的中国国际核工业展览会上,中国核学会理事会党委书记、理事长王寿君表示,中国内地现有在运核电机组55台、居全球第三;在建核电机组26台,保持

  • 吸烟会增加腹部脂肪

    科学杂志《成瘾》3月21日发表的一项新研究显示,刚开始吸烟和终生吸烟都可能增加腹部脂肪,特别是内脏脂肪。内脏脂肪与心脏病、糖尿病、中风和痴呆症

推荐资讯

  • 日榜
  • 周榜
  • 月榜