设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

2024-05-06 12:46:30 来源: 量子位

若无远虑必有近忧?ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

“预测下一个token”被认为是大模型的基本范式,一次预测多个tokens又会怎样?ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Meta AI法国团队推出“基于多token预测的更快&更好大模型”。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

多token预测模型,在编程类任务上表现尤其突出ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

与单token预测相比,13B参数模型在HumanEval上多解决了12%的问题,在MBPP上多解决了17%。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

小型算法推理任务上,多token预测也在分布外泛化方面带来了令人印象深刻的收益。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

不过在自然语言任务上,多token预测方法并不能显著提高7B模型在数学选择题上的表现了。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

另外一个好处是,即使batch size较大,使用4-token预测训练的模型,推理速度也可提高3倍ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

多token预测更适合编程

具体来说,团队设计了一种新的多token预测架构,通过n个独立的输出头并行预测n个未来token。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

使用大量文本数据进行模型训练,包括代码和自然语言数据集。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

再通过实验比较多token预测和单token预测在多个下游任务上的性能。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

为啥多token预测在编程任务和小型算法推理任务上提升更明显?ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

团队猜测可能有两个原因:ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

第一,编程语言的逻辑结构更严谨,知识的内在联系更紧密。一个关键节点可能影响到后续整个代码块的走向。多Token预测能更好捕捉这种长距离依赖。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

第二,相比自然语言,编程语言的词汇量更小。因此即便每次预测多个Token,难度也没那么大。反而能迫使模型从局部细节中抽身,着眼全局优化。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

除了在token层面的实验,团队还在更细粒度的字节级模型上做了尝试。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

他们发现,用8字节预测替代下一个字节预测后,模型在MBPP上的Pass@1指标暴增67%,在HumanEval上也提升了20%。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

而且推理速度还能再快6倍,简直不要太香。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

对于背后原理,团队认为多token预测缓解了训练时Teacher Forcing和推理时自回归生成之间的分布差异ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

也就是说,在训练的时候,模型看到的都是标准答案,生成的时候却得靠自己。好比人类在家做练习册时有答案,考试时却啥也没有,就会不适应。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

而多token预测相当于训练时就逼着模型多想几步,这样到了考场上,才能应对自如。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

从信息论的角度,团队还给出了一个更精确的论证。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

传统的下一个Token预测,目标是最小化当前位置的信息熵。而2-Token预测实际上最小化的是当前和下一位置的信息熵之和。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

数学推导表明,后者其实隐含了更大的互信息权重,也就是更看重当前Token和未来Token的相关性。这就是为什么多Token预测更”有远见”。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

不过在这篇论文中,还有几个未解决的问题。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

比如没有探讨如何自动选择最佳的预测token数量n,作者提出,未来可以研究使用损失权重调整或动态调整n来解决最佳n的选择问题ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

此外最佳的词表大小也可能与单token预测时不同。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

总之,看过这篇论文之后,大家都更期待Llama-4了。ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

论文地址:
https://arxiv.org/abs/2404.19737ITf流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%http://www.llsum.com/show-2-5645-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 阿里林俊旸:大模型对很多人来说不够用,打造多模态Agent是关键 | 中国AIGC产业峰会

下一篇: 美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会

热门资讯

推荐资讯

  • 日榜
  • 周榜
  • 月榜