[AI Glimpse 科普系列] 不到 100 行 Python 代码从零实现 LLM 的推测采样算法

huangyezhufeng · 2025-04-08T07:00:48Z

TLDR WHAT: 介绍并复现 DeepMind 的一篇关于 LLM Speculative Sampling 的论文：Accelerating large language model decoding with speculative sampling. 我们将用不到 100 行代码来复现这篇论文，并得到 2 倍以上的速度提升。亮点：基于 GPT2, 代码，模型权重全部可以下载并本地运行；只需要 16GB 的显存即可完整本地复现。博客: https://datahonor.com/blog/2025/03/08/llm_sps 公众号文章(内容同博客，便于收藏)： https://mp.weixin.qq.com/s/3rFk8cgJuxjW30A4-emhEA 代码: https://github.com/ai-glimpse/toyllm/tree/master/toyllm/sps 具体实现

This topic created in 486 days ago, the information mentioned may be changed or developed.

TLDR

WHAT: 介绍并复现 DeepMind 的一篇关于 LLM Speculative Sampling 的论文：Accelerating large language model decoding with speculative sampling. 我们将用不到 100 行代码来复现这篇论文，并得到 2 倍以上的速度提升。
亮点：基于 GPT2, 代码，模型权重全部可以下载并本地运行；只需要 16GB 的显存即可完整本地复现。
博客: https://datahonor.com/blog/2025/03/08/llm_sps
公众号文章(内容同博客，便于收藏)： https://mp.weixin.qq.com/s/3rFk8cgJuxjW30A4-emhEA
代码: https://github.com/ai-glimpse/toyllm/tree/master/toyllm/sps

具体实现

LLM

Speculative Sampling

Speedup

1 replies

huangyezhufeng

Apr 8, 2025

大家有疑问的地方欢迎到博客评论区交流~