这项由KAIKAKU探究机构完成的探究，以预印本阵势发布于2026年5月，论文编号为arXiv:2605.30571v1，存档于运筹帷幄机架构（cs.AR）范围。感风趣的读者不错通过该编号在arXiv平台查阅完整论文。

花了十倍的钱买了一块顶级显卡，收场运行速率只快了两三倍——这听起来像是一个令东谈主消沉的购物故事，但对于正在快速发展的"物理AI"行业来说，这恰正是真实发生的事情。机器东谈主、自动驾驶汽车、随身AI助手，这些开荒在责任时都需要不停地"念念考"并给出下一个输出，而这个念念考过程背后的运筹帷幄代价，远比东谈主们遐想的更复杂。

这篇探究的中枢发现不错用一句话来抽象：买更贵的显卡不一定让AI跑得更快，因为瓶颈压根不在你以为的场所。探究团队用严谨的实验拆解了这个问题，把恒久以来被工程师们默许为学问的论断推翻了一部分，同期也给出了着实灵验的优化标的。

一、为什么机器东谈主和自动驾驶需要稀奇的AI运筹帷幄样子

绝大多数对于AI运筹帷幄效力的探究，针对的都是"云表大范畴做事"这种场景——比如一个做事器同期解决一千个用户的问题，拚命提高每秒能解决些许央求。但物理AI开荒的责任样子十足不同。

以一台送餐机器东谈主为例。它在走廊里导航时，需要握续不停地生成下一步的动作指示。这个过程是单线程的：莫得其他机器东谈主在支配恭候分享运筹帷幄资源，便是这一台机器东谈主，等着AI给出下一个动作，然后彭胀，然后再等下一个。这种模式在时间上叫"批次大小为1的自追念解码"，庸俗地说便是"一次只做事一个用户的逐字生成"。

探究团队温情的正是这种场景——7到8亿参数范畴的大说话模子（一种常见的中等范畴AI模子），在四种不同的英伟达显卡上，以这种单流单任务的样子运行时，各自愿扬若何。他们测试了H100 SXM5（顶级数据中心卡）、A100-80GB（主流数据中心卡）、L40S（责任站级别）和L4（边际运筹帷幄级别）这四张卡，测量了不同对话高下文长度（从2048到16384个词）下每生成一个词所需的时刻，共获得44组灵验数据。

这四张卡之间的峰值内存带宽收支悬殊：最慢的L4独一300 GB/s，而最快的H100达到3350 GB/s，足足收支跨越11倍。按照工程界恒久以来的主流判断，这种差距应该基本径直对应到速率差距——毕竟，生成每个词都需要把模子权重从显卡内存里读一遍，内存读得越快，生成越快。可是实验收场令东谈主不测。

二、一个被低估的"内存带宽诈欺率"目的

探究团队遐想了一个叫作念"不雅测值与表面下限之比"的目的，用英文缩写写稿R_floor。这个目的的含义相等直不雅：假定显卡把全部内存带宽都用来读模子数据，最快能在些许时刻内完成一步生成？这个表面上的最短时刻便是"地板值"。然后把推行不雅测到的生成时刻和这个地板值作念比较，获得的比值便是R_floor。

如若R_floor等于1，说显然卡依然跑满了内存带宽，达到表面极限；如若R_floor远小于1，比如0.3，意味着推行耗时是表面最短时刻的三倍多，大宗时刻被糜费在了其他场所。

实验收场相等走漏：L4的R_floor省略在0.7到0.8之间，意味着它推行用到了自身内存带宽的约70%到80%，发扬畸形接近表面极限。而H100的R_floor独一省略0.2到0.3，也便是说H100只用到了自身峰值带宽的约27%。

换一种样子来领略：L4这匹"慢马"简直被骑到了极限，而H100这匹"快马"只阐扬出不到三成的后劲。多出来的七成时刻被什么吃掉了？这正是这篇探究要修起的中枢问题。

三、着实的瓶颈：每个运筹帷幄方式启动时的"列队等候"

在显卡上运行AI模子时，整个运筹帷幄过程被阐明成数百个小的运筹帷幄方式，每一步都是一个颓败的"运筹帷幄核"（kernel）。每次启动一个运筹帷幄核之前，运行在CPU上的圭臬需要先发一谈指示当年，告诉GPU"准备好了，开动算"。这个发指示的过程需要省略30微秒（百万分之三十秒）。

听起来很短，但对于H100来说，这30微秒是个大问题。H100的内存速率极快，推行运筹帷幄一个方式可能只需要10微秒，但在这10微秒的推行责任之前，需要先恭候30微秒的启动敕令。对于整个生成过程来说，一个词的生成波及Qwen-2.5-7B模子（探究中使用的一个具体模子）的28层网罗，每层省略10个运筹帷幄方式，加上少量全局方式，共计约283个运筹帷幄方式。每个方式都要恭候那30微秒的启动时刻，累加起来便是省略8.4毫秒，而推行的内存读取运筹帷幄只需要约3.8毫秒。换句话说，H100每生成一个词，有跨越一半的时刻是在恭候CPU发出启动指示，而不是在着实作念运筹帷幄。

L4的情况则截然有异。相同的30微秒启动恭候时刻，对L4来说简直微不及谈——因为L4的内存较慢，推行运筹帷幄每个方式需要约200微秒。这就好比一家餐厅的厨师很慢，顾主在做事台恭候下单的那点时刻压根不是问题，归正都要等厨师徐徐作念菜。而H100就像一位闪电般快速的厨师，但每谈菜上桌之前都要在做事台等半天才能下单，厨师的速率上风就这样被糜费掉了。

这个诠释被称为"启动支出假说"，而探究团队用一个有利遐想的实验来考据它。

四、CUDA图时间：一次性下全部订单，省却反复列队

英伟达开发了一种叫作念"CUDA图"（CUDA Graphs）的时间，它的旨趣很粗浅：与其每个运筹帷幄方式都单独发一次启动指示，不如提前把整个生成历程的通盘方式打包成一张"彭胀运筹帷幄图"，一次性告诉GPU"按照这张图彭胀"，后续每次生成只需要"回放"这张图即可，澈底省去了渐渐发令的支出。

这就像餐厅里的熟客，每次来都点相同的菜。第一次来的时候需要翻菜单、对话下单；但如若修复了"老客套餐"，以后径直说"照旧"就行，做事时刻大大裁汰。CUDA图作念的便是把"照旧"这件事自动化。

探究团队用这个时间作念了一个对照实验：在十足相通的条目下，先测量无须CUDA图时每个词的生成时刻，再测量用了CUDA图之后的时刻，对比提速幅度。重要的预设判断是：如若H100简直是被启动支出卡住的，那CUDA图应该显贵提速；如若L4简直是被内存带宽卡住的，那CUDA图简直不应该有什么匡助。

实验收场竣工地考据了这个判断。探究团队在H100上用合并个成立跑了10次颓败测试（每次都是全新启动的容器环境），收场极为褂讪：无须CUDA图时平均每步14.83毫秒，用了CUDA图后降到11.78毫秒，提速1.259倍，10次测试的变化幅度极小，95%置信区间为1.253到1.267。

而在L4上作念相同的对照实验，收场简直毫无变化：无须CUDA图时64.48毫秒，用了之后62.50毫秒，提速仅1.028倍，三次颓败测试的收场褂讪到极少点后四位。

值得说明的是，探究团队预先设定了"证伪门槛"：如若H100的提速不到1.15倍，或者L4的提速跨越1.15倍，就合计启动支出假说被推翻。两个条目都莫得触发，假说获得了有劲支撑。此外，CUDA图从H100每步中移除的那3.05毫秒，并不十足是"每个运筹帷幄方式恭候30微秒"的粗浅加总——它还包括Python和C++框架的休养支出、内存分拨锁定等多种CPU侧的隐性耗时，实质上是整个启动链路的综合勤俭。

五、提防力运筹帷幄内核：换个引擎，不一定跑得更快

AI模子在解决高下文信息时有一个中枢运筹帷幄模块叫作念"提防力机制"——粗浅来说，它厚爱让模子在修起问题时"看"一遍之前通盘的对话记载，决定哪些信息更迫切。工程界开发了多种不同的步伐来高效地作念这个运筹帷幄，比如FlashAttention-2、FlashAttention-3、FlashInfer等，都堪称能让提防力运筹帷幄更快。

探究团队在H100上作念了一个精采的对照实验，把这些不同的提防力运筹帷幄样子在"单个词生成"这个场景下一一测试，收场出东谈看法象。PyTorch框架默许的提防力运筹帷幄样子（叫作念scaled dot-product attention，简称SDPA）每层耗时36微秒；而有利为高效解码遐想的FlashAttention-2耗时44微秒，反而更慢；FlashInfer需要48微秒；FlashAttention-3需要79微秒；数学回退决策需要177微秒；还有一种叫cuDNN的后端以至十足不支撑这个运筹帷幄方式。

也便是说，在H100单词生成这个具体场景下，换成任何"更先进"的提防力运筹帷幄样子，不但弗成加快，滚球app(中国)2026世界杯官方IOS|Android手机app下载反而会拖慢举座速率。原因在于这些优化决策大多是为解决大宗词语的"预填充"阶段遐想的，而不是为每次只生成一个词的"解码"阶段优化。在解码阶段，提防力运筹帷幄自己的责任量相等小（Qwen-2.5-7B在2048词高下文时，提防力的内存读取约118MB，比较模子权重的15GB简直不错忽略），那些复杂的提防力内核反而带来了更多的启动支出和选拔逻辑支出。

这个发现进一步印证了主要论断：在H100的单词生成场景下，启动支出才是瓶颈，提防力运筹帷幄内核的选拔远不是决定性要素。

六、量化压缩：省内存的答允能否收尾，取决于谁来彭胀

明确了L4的瓶颈是内存带宽之后，探究团队转向了一个天然的优化标的：量化压缩。粗浅来说，模子权重默许用16位浮点数（bf16）存储，如若改用4位整数（int4）存储，表面上能把内存占用压缩到原本的约四分之一，内存读取速率也应该快省略四倍。

探究团队在L4上用Qwen-2.5-7B测试了三种不同的量化决策。最初是bitsandbytes的nf4决策，这是一种往常使用的4位量化器具，收场每步生成耗时59.36毫秒，简直和原始的bf16（62.32毫秒）没什么差异，提速独一约1.05倍。原因在于这个器具的实现样子：它并莫得着实用4位方式作念矩阵乘法，而是先把4位数据现场解压回16位，再用16位作念运筹帷幄——等于说数据读进内存时如故4位，勤俭了读取时刻，但解压和运筹帷幄又把时刻还且归了。

AutoAWQ加上Marlin内核的组合发扬好一些，耗时45.24毫秒，提速约1.38倍。这种决策确乎在4位方式下径直作念矩阵乘法，但问题在于Marlin内核是为英伟达Ampere架构（SM80，即A100那一代）优化的，而L4使用的是Ada Lovelace架构（SM89），两者的硬件指示集有各异，Marlin在L4上无法阐扬出最好效力。

着实的粗放来自第三个决策：ExLlamaV2，一个有利为Ada架构的4位整数矩阵运筹帷幄优化的运行时。它把每步生成时刻压缩到了17.36毫秒，比较bf16的62.32毫秒，提速达3.59倍，三次颓败测试的收场精准到极少点后三位（17.361、17.368、17.360毫秒），极其褂讪。此时R_floor也从bf16的0.82提高到了0.754，说明ExLlamaV2确乎把4位量化的带宽勤俭落实到了推行速率提高上。

这个收场揭示了一个迫切的工程现实：量化压缩的表面收益能否造成推行速率提高，重要不在于用了几位的量化，而在于具体的内核实现是否针对运行的硬件作念了优化。相同是4位量化，三种实现决策的推行速率收支高达3.4倍。对于部署在L4这类Ada架构开荒上的团队来说，器具选拔的迫切性远超显卡升级。

七、把这一切放在整个：被倒置的老本效益名次

把上述通盘发现综合起来，就获得了这篇探究最具实用价值的论断：旧例意旨上的"硬件升级旅途"，在单流单任务的AI推理场景下，并不是老本效益的最优旅途。

以Modal云平台2026年5月的公开订价为参考，H100每小时3.50好意思元，L4每小时0.30好意思元，收支约11.7倍。从性能上看，L4用ExLlamaV2的最好竖立不错作念到17.36毫秒每步，H100用CUDA图的最好竖立不错作念到11.78毫秒每步，H100只比L4快约1.47倍。但H100的价钱是L4的约11.7倍。换算成每百万个词的做事老本，L4约需1.44好意思元，而H100约需11.45好意思元，收支约8倍。

这意味着，对于机器东谈主、车载说话助手、边际开荒这类只需要单流推理的应用场景，用8台L4（互助相宜的量化决策）所能提供的算力，远远跨越1台H100，而老本简直相通。

探究中还包含了一个细节：H100在批次大小为4（同期做事4个对话）时，CUDA图的提速恶果从1.259倍下跌到了1.110倍，跟着高下文长度加多进一步下跌到1.036倍。这是因为批次越大，每步运筹帷幄的推行责任量越多，相对而言启动支出的占比就越小。而L4在批次4时径直因为内存不及而无法运行（模子权重加上4个会话的缓存跨越了24GB显存上限）。这也说明，文中的倒置老本名次只在批次为1的单流场景下成立，一朝干涉大宗次高隐隐场景，H100的上风从头涌现。

八、实验遐想的严谨性与局限性

这篇探究在步伐论上作念了畸形精采的戒指。每组测量都先进行5次预热，再荟萃测量30步取中位数，灵验扼杀了偶发性的噪声。H100的中枢数据还跑了10次颓败容器测试来证明褂讪性，其中"热身变异总计"（反馈合并次测试内的波动）仅0.9%（普通模式）和0.2%（CUDA图模式）。

不外探究团队也明确指出了若干限制。通盘测量都在Modal云平台的特定容器环境中完成，底层驱动版块未知，存在宿主机噪声。通盘收场都局限于7到8B参数目的GQA架构模子、128维提防力头、bf16数据类型（量化实验仅限L4），以及单词一一世成的解码模式，不涵盖计算解码、并行采样等变体。测试的GPU也独一英伟达四款，不包括AMD、苹果或英伟达新一代Blackwell架构。

此外，有一项竞品时间FlashDecoding++在论文中被说起但无法复现——该时间的论文宣称在某些场景下能实现1.37倍的加快，但其源码于今未公开，计划集成央求在社区也均无进展，探究团队只可用FlashAttention-3和FlashInfer行动替代对比，无法径直与FlashDecoding++的收场对比。

探究还不雅察到一个意思意思的表象：Qwen-2.5-7B在L4的长高下文测试中出现了内存溢出（OOM），但表面上模子温情存的总大小应该在L4的24GB显存范围内。深化走访后发现，这是测试剧本的契约问题：CUDA图测试需要先分拨一块静态缓存，但这个分拨发生在普通模式测试收尾、内存尚未开释的时刻，导致双重占用而溢出——并非显卡简直装不下，而是测试圭臬的遐想问题。单独跑普通模式时，L4 ctx=8192的Qwen-2.5-7B能正常运行，峰值显存23.24GB。

说到底，这篇探究作念的是一件相等求实的事：把恒久以来工程界"买更好的卡就更快"这个直观拿出来仔细查验，发现它在单流AI推理这个重要场景下是不完整的。H100的内存确乎快得多，但快到它我方的CPU指示休养跟不上趟，大宗时刻在恭候而不是在算。L4的内存天然慢，但只须把量化器具选对了——具体来说是用ExLlamaV2而不是AutoAWQ或bitsandbytes——它能以八分之一的价钱提供相等接近H100的单会话响应速率。

对于正在为机器东谈主、自动驾驶、边际AI开荒筹商推理算力的团队来说，这个发现很可能径直影响硬件采购决策。天然，一朝业务需要同期做事多个并发用户（批次大于1），这个论断就要从头评估了，因为L4的显存上限会率先成为梗阻。

这项探究辅导咱们，在AI系统工程范围，直观频频需要用数据来改良。对速率的答允最终要落实到具体硬件、具体软件、具体使用样子的交叉点上，任何一个重要莫得对都，表面上的上风就可能解除在列队等候里。感风趣的读者不错通过arXiv编号2605.30571查阅完整原文，通盘实验的原始数据文献也随论文一并公开。

---

Q&A

Q1：L4显卡运行大说话模子比H100慢些许？

A：在单个用户、逐词生成的场景下，L4互助ExLlamaV2量化决策每步约17.36毫秒，H100互助CUDA图约11.78毫秒，H100只比L4快约1.47倍，但H100价钱是L4的近12倍，是以L4的老本效益反而更高。

Q2：CUDA图时间在通盘显卡上都灵验吗？

A：不是。CUDA图在H100上恶果显贵，能提速约1.26倍，因为H100的瓶颈碰巧是CPU指示启动支出。但在L4上简直无效，提速独一1.028倍，因为L4的瓶颈是内存带宽，减少启动恭候对举座速率匡助甚微。

Q3：AutoAWQ和ExLlamaV2都是4位量化，为什么速率差这样多？

A：AutoAWQ使用的Marlin内核是为英伟达Ampere架构（A100那代）优化的，在L4所用的Ada Lovelace架构上效力不及，推行提速独一1.38倍。ExLlamaV2的整数矩阵运筹帷幄内核有利针对Ada架构调优，能着实把4位量化的带宽勤俭滚动为速率滚球app(中国)2026世界杯官方IOS|Android手机app下载，实现3.59倍提速。