大模型推理

avatar
Rainlin
专注于大模型系统、推理优化与高性能计算。
文章
6
标签
5
分类
2
最新文章
大模型投机解码（二）：Multi-token Prediction — 让模型自己当 Draft
大模型投机解码（一）：Speculative Decoding — 奠基之作
大模型量化系列（四）：AWQ — 用 Activation 找到关键 Weight
大模型量化系列（三）：GPTQ — 把大模型权重量化到 3/4 bit
大模型量化系列（二）：SmoothQuant — 把 Outlier 从 Activation 迁移到 Weight
分类
标签
大模型量化 LLM 大模型推理 投机解码 论文解读
归档
网站信息
文章数目 :
6
本站访客数 :
本站总浏览量 :
最后更新时间 :