设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

单卡跑Llama 70B快过双卡,微软硬生生把FP6搞到了A100里 | 开源

2024-04-30 08:38:11 来源: 量子位

吞吐量比FP16提升2.65倍QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

克雷西 发自 凹非寺QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM
量子位 | 公众号 QbitAI

FP8和更低的浮点数量化精度,不再是H100的“专利”了!QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

老黄想让大家用INT8/INT4,微软DeepSpeed团队在没有英伟达官方支持的条件下,硬生生在A100上跑起FP6QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

测试结果表明,新方法TC-FPx在A100上的FP6量化,速度接近甚至偶尔超过INT4,而且拥有比后者更高的精度QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

在此基础之上,还有端到端的大模型支持,目前已经开源并集成到了DeepSpeed等深度学习推理框架中。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这一成果对大模型的加速效果也是立竿见影——在这种框架下用单卡跑Llama,吞吐量比双卡还要高2.65倍。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一名机器学习研究人员看了后表示,微软的这项研究简直可以用crazy来形容。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

表情包也第一时间上线,be like:QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

英伟达:只有H100支持FP8。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

微软:Fine,我自己搞定。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

那么,这个框架到底能实现什么样的效果,背后又采用了什么样的技术呢?QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

用FP6跑Llama,单卡比双卡还快

在A100上使用FP6精度,带来的是内核级的性能提升QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

研究人员选取了不同大小的Llama模型和OPT模型之中的线性层,在NVIDIA A100-40GB GPU平台上,使用CUDA 11.8进行了测试。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

结果相比于英伟达官方的cuBLAS(W16A16)和TensorRT-LLM(W8A16),TC-FPx(W6A16)速度提升的最大值分别是2.6倍和1.9倍。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

相比于4bit的BitsandBytes(W4A16)方法,TC-FPx的最大速度提升则是达到了8.9倍。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

(W和A分别代表权重量化位宽和激活量化位宽)QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

归一化数据,以cuBLAS结果为1

同时,TC-FPx内核还减少了对DRAM内存的访问,并提高了DRAM带宽利用率和Tensor Cores利用率,以及ALU和FMA单元的利用率。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

在TC-FPx基础之上设计的端到端推理框架FP6-LLM,也给大模型带来了显著的性能提高。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

以Llama-70B为例,用FP6-LLM在单卡上的运行吞吐量,比FP16在双卡上还要高出2.65倍,在16以下的批大小中的延迟也低于FP16。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

而对于参数量小一些的模型OPT-30B(FP16也使用单卡),FP6-LLM同样带来了明显的吞吐量提升和延迟降低。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

而且单卡FP16在这种条件下最多支持的批大小只有4,FP6-LLM却可以在批大小为16的情况下正常运行。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

那么,微软团队是怎样实现在A100上运行FP16量化的呢?QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

重新设计内核方案

为了实现对包括6bit在内精度的支持,TC-FPx团队设计了一个统一的内核方案,可以支持不同位宽的量化权重。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

相比于传统的双内核方法,TC-FPx通过将去量化和矩阵乘法融合在单个内核中,减少了内存访问次数,提高了性能。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

实现低精度量化的核心奥义则是通过去量化方式,将FP6精度的数据“伪装”成FP16,然后按照FP16的格式交给GPU进行运算。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

同时团队还利用了位级预打包技术,解决GPU内存系统对非2的幂次位宽(如6-bit)不友好的问题。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

具体来说,位级预打包是在模型推理之前对权重数据进行重新组织,包括将6-bit量化的权重重新排列,以便它们能够以GPU内存系统友好的方式进行访问。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

此外,由于GPU内存系统通常以32位或64位的块进行数据访问,位级预打包技术将还会6-bit权重打包,使得它们能够以这些对齐的块的形式存储和访问。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

预打包完成后,研究团队使用SIMT核心的并行处理能力,对寄存器中的FP6权重执行并行去量化,生成FP16格式的权重。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

去量化后的FP16权重在寄存器中被重构,然后送入Tensor Core,使用重构后的FP16权重执行矩阵乘法运算,完成线性层的计算。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

在此过程中,团队利用了SMIT核心的位级并行性,提高了整个去量化过程的效率。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

而为了权重重构任务能够并行运行,团队还使用了一种并行权重拼接技术。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

具体来说,每个权重被分割成几个部分,每个部分的位宽是2的幂次(如把6分割成2+4或4+2)。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

在去量化之前,权重首先从共享内存加载到寄存器中。由于每个权重被分割成多个部分,需要在运行时在寄存器级别重构完整的权重。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

为了减少运行时的开销,TC-FPx提出了一种并行提取和拼接权重的方法。这种方法使用两组寄存器来存储32个FP6权重的片段,并行地重构这些权重。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

同时,为了并行提取和拼接权重,需要确保初始数据布局满足特定的顺序要求,因此TC-FPx通过在运行前对权重片段进行重排。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

此外,TC-FPx还设计了一个软件流水线,将去量化步骤与Tensor Core的矩阵乘法操作融合在一起,通过指令级并行性提高了整体的执行效率。QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

论文地址:QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM
https://arxiv.org/abs/2401.14112QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM
参考链接:QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM
https://twitter.com/rohanpaul_ai/status/1784599257384727044QQR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:单卡跑Llama 70B快过双卡,微软硬生生把FP6搞到了A100里 | 开源http://www.llsum.com/show-2-5562-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 字节跳动反腐持续加压 大厂高举反舞弊大旗

下一篇: “人工智能+”浪潮下,财务领域如何突围?

热门资讯

  • 肺癌蛋白质致命弱点发现

    肺癌是全球死亡率最高的恶性肿瘤。其中非小细胞肺癌(NSCLC)占比达到85%。表皮生长因子受体(EGFR)是NSCLC最常见的驱动突变基因。现在,一个国际科学家团

  • 国家工程师丨锻造能“听”清眼疾的高精设备

    眼眸深邃似海、璨如星河,中国医学科学院生物医学工程研究所眼科诊疗技术研发团队(以下简称“团队”)正是眼眸“侦探”。该团队不久前被授予“国家卓越

  • 达摩院AI加速农业新品种培育 全球23家科研机构“尝鲜”

    记者3月21日获悉,全球植物科学期刊《分子植物》刊载了中国科学家的最新研究,中国农业科学院作物科学研究所、国家南繁研究院与阿里达摩院(湖畔实验室)

  • 光储行业迎来2000V新时代

    3月21日,由安徽省工业和信息化厅指导、中国光伏行业协会主办、阳光电源股份有限公司承办的“PAT2024爱光伏一生一世”先进技术研讨会在合肥举办。光

  • 银鲳高质量染色体水平 参考基因组发布

    3月19日,记者从中国科学院海洋研究所了解到,该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然

  • Sora带来的深层次影响值得关注

    2024年2月,OpenAI公司推出了文生视频人工智能(AI)模型Sora。OpenAI展示了Sora利用少量简短文字提示即可创建逼真视频的能力,并提供了包括一位女士在闪

  • 探索土卫二的蛇形机器人问世

    美国加州理工学院喷气推进实验室的一个机器人专家团队,与卡内基梅隆大学机器人研究所科学家合作,开发出一种蛇形机器人,用于调查土星第六大卫星土卫二

  • 我国成功发射云海二号02组卫星

      我国成功发射云海二号02组卫星  中新网北京3月21日电(马帅莎 曹译 张艳)北京时间2024年3月21日13时27分,我国在酒泉卫星发射中心使用长征二号丁运载火箭/远征三号上面

  • 2999元!xiaomiCivi 4 Pro供不应求:春野绿配色好多门店缺货

    3月22日消息,xiaomi集团的许斐在微博上表示,xiaomiCivi 4 Pro的预售业绩远超预期,尤其是春野绿配色,许多门店都出现了缺货情况。据了解,xiaomiCivi 4 Pro的

  • 1799元!红米狙击一加Ace3V 简直就是来捣乱的

    一加Ace 3V刚发布,就被红米砍了一刀!随着昨天一加Ace 3V的发布,新一轮中端机的内卷终于拉开了序幕。 而且这电话售价居然还不增反降,直接1999起步。 先来回

  • iPhone可能在国内设备使用百度AI技术:集成于iOS 18

    有消息称,iPhone在中国寻找本土生成式AI提供方,iPhone讨论了在中国的设备中使用百度的人工智能技术。据《华尔街日报》报道,iPhone与百度进行了谈判,以授权

  • 荣耀Magic6 RSR 保时捷设计首销卖光:9999元供不应求

    3月23日消息,荣耀Magic6 RSR 保时捷设计于3月22日正式开售,售价为9999元。该款电话首销当天即被抢购一空,荣耀商城显示,下一轮销售时间将是3月29日上午10:0

推荐资讯

  • 日榜
  • 周榜
  • 月榜