该标签下共有 1 篇文章
Transformer推理优化：从KV Cache到投机解码的工程实践 一、Transformer推理的内存墙 1.1 自回归生成的计算特性 Transformer 在训练时采用并行计算，但在推理时采用自回归生成： 训练阶段（并行）： Input: The, cat, sat, on...