设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

2024-04-23 15:18:13 来源: 量子位

3.8B小模型截胡Llama 3 8BcXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Llama 3发布刚几天,微软就出手截胡了?cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

刚刚发布的Phi-3系列小模型技术报告,引起AI圈热议。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8BcXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

为了方便开源社区使用,还特意设计成了与Llama系列兼容的结构。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

微软这次打出“手机就能直接跑的小模型”的旗号,4bit量化后的phi-3-mini在iPhone 14 pro和iPhone 15使用的苹果A16芯片上跑到每秒12 token。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

这意味着,现在手机上能本地运行的最佳开源模型,已经做到ChatGPT水平。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

在技术报告中还玩了一把花活,让phi-3-mini自己解释为什么构建小到手机能跑的模型很令人惊叹。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

除了mini杯之外,小杯中杯也一并发布:cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Phi-3-small,7B参数,为支持多语言换用了tiktoken分词器,并额外增加10%多语种数据。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Phi-3-medium,14B参数,在更多数据上训练,多数测试中已超越GPT-3.5和Mixtral 8x7b MoE。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

(大杯他们目前不打算做)cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

作者阵容一看也不简单,一眼扫过去MSRA和MSR雷蒙德团队都投入了不少人。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

那么,Phi-3系列到底有什么独特之处呢?cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

根据技术报告中披露,其核心秘诀就在于数据cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

去年团队就发现,单纯堆砌参数量并不是提升模型性能的唯一路径。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

反而是精心设计训练数据,尤其是利用大语言模型本身去生成合成数据,配合严格过滤的高质量数据,反而能让中小模型的能力大幅跃升。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

也就是训练阶段只接触教科书级别的高质量数据,Textbooks are all you needcXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

Phi-3也延续了这一思路,这次他们更是下了血本:cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  • 投喂了多达3.3万亿token的训练数据(medium中杯是4.8万亿)
  • 大幅强化了数据的”教育水平”过滤
  • 更多样化的合成数据,涵盖逻辑推理、知识问答等多种技能
  • 独特的指令微调和RLHF训练,大幅提升对话和安全性

举个例子,比如某一天足球比赛的结果可能对于大模型是良好的训练数据,但微软团队删除了这些加强知识的数据,留下更多能提高模型推理能力的数据cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这样一来,对比Llama-2系列,就可以用更小的参数获得更高的MMLU测试分数了。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

不过小模型毕竟是小模型,也不可避免存在一些弱点。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软透露,模型本身参数中没能力存储太多事实和知识,这一点也可以从TriviaQA测试分数低看出来。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

缓解办法就是联网接入搜索引擎增强。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

总之,微软研究院团队是铁了心了要在小模型+数据工程这条路上走下去,未来还打算继续增强小模型的多语言能力、安全性等指标。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

对于开源小模型超过ChatGPT这回事,不少网友都认为压力现在给到OpenAI这边,需要赶快推出GPT-3.5的继任者了。cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了

参考链接:
[1]https://arxiv.org/abs/2404.14219cXt流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了http://www.llsum.com/show-2-5311-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 对话蚂蚁李建国:当前AI写代码相当于L2.5,实现L3后替代50%人类编程

下一篇: 华为P70闪拍功能意外爆火,CTO亲自下场解读技术原理

热门资讯

  • 我国科研团队揭示非洲猪瘟病毒感染致病机制

    记者3月18日从兰州大学获悉,该校动物医学与生物安全学院郑海学教授团队解析了非洲猪瘟病毒(ASFV)在猪体内感染的靶细胞,以及在靶细胞内延长感染的机制

  • 洞悉竹类植物有了称手“利器”

    竹类植物是竹亚科植物的总称,与水稻、小麦、大麦和燕麦同属于禾本科BOP分支,具有重要的经济、生态和文化价值。为更好地服务竹类植物的系统进化和功

  • 全国首个模拟验证机场开工

    记者日前获悉,位于四川成都未来科技城应用性科创区的民航科技创新示范区(B区)航站楼项目,近日取得施工许可证。这也意味着全国首个模拟验证机场开工。

  • “唤醒”4.6万件高校存量专利!浙江上线专利转化资源库推送至6780家企业

    21世纪经济报道见习记者 顾婷婷 杭州报道如何让沉睡在实验室里的专利真正应用到车间,真正面向市场,转化为真正的新质生产力?3月19日,由国家知

  • 什么是“时空连续体”?

    英国“我超爱科学”网站1月1日刊登题为《什么是“时空连续体”?》的文章,作者是斯蒂芬·伦茨,内容编译如下:“时空连续体”(space-time continuu

  • 阿尔茨海默病早期症状可能表现在视力上

    据阿根廷布宜诺斯艾利斯经济新闻网报道,一项国际研究发现,阿尔茨海默病的早期症状可能表现在视力上。研究显示,即便眼科检查结果正常,但阅读、估计距离

  • 突发!Kimi,崩了!

    因流量突然剧增,3月21日,陆续有用户在社交平台上表示,月之暗面旗下大模型应用Kimi智能助手的APP和小程序均无法正常使用。截至记者发稿时,相关

  • 我国建立“天-空-地-深”一体化铀矿勘查技术体系

    记者3月21日从核工业北京地质研究院(以下简称核地研院)获悉,该院自1959年成立以来,在天然铀保障、高放废物地质处置、核遥感技术与应用、分析测试等领

  • 光储行业迎来2000V新时代

    3月21日,由安徽省工业和信息化厅指导、中国光伏行业协会主办、阳光电源股份有限公司承办的“PAT2024爱光伏一生一世”先进技术研讨会在合肥举办。光

  • 全球首列氢能源市域列车完成满载运行试验

    3月21日上午,全球首列氢能源市域列车在中车长客股份公司(以下简称“中车长客”)试验线上进行了时速160公里满载运行试验。当日试验过程中,车以160公里/

  • 英媒:人工智能助力抗体设计

    据英国《自然》周刊网站3月19日报道,研究人员首次利用生成式人工智能(AI)制造出全新抗体。报道称,本周生物学预印本资料库中的一份预印本报告的原理验

  • 站在“气候行动最前线”,我们该如何行动?

    联合国政府间气候变化专门委员会(IPCC)最新发布的评估报告显示,全球温升预计在2021年至2040年内达到1.5℃。报告指出,自IPCC第五次评估报告发布以来,全

推荐资讯

  • 日榜
  • 周榜
  • 月榜