标签： 连续批处理

包含「连续批处理」标签的所有文章

• 《大模型推理加速实战：从 KV Cache、量化到连续批处理的性能优化路径》

  2019年1月29日

  用一条可落地的优化路径提升大模型推理吞吐与时延