快讯6 条
快讯3 条 · 可滚动
本站于 2026-10-19 补核;官方发布日期为 2026-10-17。

出处:DeepSeek 官方文档 · 更新日志官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-14。

出处:xAI · API Release Notes官方

本站于 2026-10-19 补核;官方发布日期为 2026-10-13。

出处:Gemini API · Release notes官方

想搞懂大模型,去读哪些公开教程

从「什么是大模型」一路到本地部署、微调与实际应用,35 个公开教程,以中文为主。我们不自己写教程 —— 这一页只负责三件事:核实它还活着、说清它的许可、诚实标出它适合谁、不适合谁。

星标 / 许可 / 最后推送日都是 2026-08-13 当天走 GitHub API 取的。星标只用于排序兜底,不作推荐结论 —— 站上有 10 万星却停更两年的,也有 5 千星每周在更的。 页尾附一份术语速查,那部分才是我们自己写的,每条给论文出处。

一、去读哪些公开教程35 个

这一页不自己写教程。下面每一条都是别人做的公开教程,我们只负责:核实它还活着、说清它的许可、并诚实标出它适合谁。星标只用于排序兜底,不作推荐结论。⚠️ 许可这一栏最值得看:中文社区的教程仓库很多根本没有 LICENSE 文件,还有几个是「不许商用」——自己学都没问题,做成公司内训材料或付费课就不是了。

想用它做点什么(应用与场景,中文为主)

中文侧的组织入口

按方向的公开资料合集

二、怎么读仓库名与那些缩写下载权重时撞见的 FP8 / NF4 / GGUF 是什么、哪些仓库能信 —— 这一部分是我们自己写的, 因为它要和站内数据对得上(每条指回实际出现它的模型页)。

第一课不是术语,是怎么读仓库名

同一个模型,Hugging Face 上往往并排躺着十几个仓库,后缀五花八门。先分清哪些是厂商发的、哪些是网友再压的 —— 这比记住任何一个术语都管用。

厂商官方组织发的

后缀是标准格式名(FP8 / NF4 / INT8),许可与说明写在模型卡里。 例:ideogram-ai/ideogram-4-fp8、ideogram-ai/ideogram-4-nf4。

第三方再压的

后缀是作者自己起的名字,不是标准。 质量全看这个人 —— 必须读 README。

真实例子。负责人问的正是 bertbobson/Ideogram-4-INT8-ConvRot 里的「ConvRot」是什么意思 —— 答案是:它不是任何标准格式,而且那个作者自己在 README 里说这一版是坏的。

「This model does not currently work with native ComfyUI INT8, and used a sub-optimal FP8 base, which makes it perform worse and ended up doing a triple quantization.」
「This is an avoidable triple quantization due to me being bad.」
—— 该仓库 README 原文,作者随后推荐读者改用另外两个仓库

它当时有 ♥59、下载 0。收藏数不代表能用 —— 这一条比下面任何一个术语都值钱。

核验于 2026-08-12 · 该仓库

术语速查能追到原始论文的给 arXiv 编号与摘要原句,只有工程惯例的照实说「没有单一权威出处」。

精度:同一个模型,为什么有好几个体积

一个模型的「参数」就是一大堆数字。用几个字节存一个数字,就是精度。 存得越省,文件越小、显存要得越少,代价是数字变粗、画质与遵循度可能下降。厂商发权重时常常一次发好几档,让你按自己的显卡挑。
FP16 / BF16每个参数 2 字节
大多数模型发布时的原始精度,一个数字占 2 个字节。你看到的「原版权重」基本都是这一档。它是所有其它档位的基准:说「量化到一半大小」,指的就是从这里往下降。BF16 和 FP16 都是 2 字节,区别在于把这 16 位怎么分给指数与尾数 —— BF16 表示范围更大、精度更粗,训练时更不容易溢出。

FP8 论文开篇即以此为参照:「FP8 is a natural progression for accelerating deep learning training inference beyond the 16-bit formats common in modern processors.」

arXiv:2209.05433 · FP8 Formats for Deep Learning(2022-09-12)

FP8每个参数 1 字节
一个数字占 1 个字节,体积与显存约为 FP16 的一半。仍然是「浮点数」,所以动态范围比 INT8 好。它有两种编码,不是一个东西:E4M3(4 位指数 3 位尾数)和 E5M2(5 位指数 2 位尾数)。前者精度细、范围小,后者反过来。仓库名里通常不写是哪一种,要看模型卡。

「we propose an 8-bit floating point (FP8) binary interchange format consisting of two encodings - E4M3 (4-bit exponent and 3-bit mantissa) and E5M2 (5-bit exponent and 2-bit mantissa)」(arXiv:2209.05433,2022-09-12)

arXiv:2209.05433 · FP8 Formats for Deep Learning(2022-09-12)

INT8每个参数 1 字节
同样 1 个字节,但存的是整数不是浮点数。体积和 FP8 一样,实现方式与硬件支持不同。整数没有指数位,遇到特别大或特别小的数会更吃亏 —— 所以 INT8 的做法里通常要额外记一组「缩放系数」把数值拉回可表示的范围。这也是为什么同样叫 8-bit,不同仓库效果能差不少。

「We develop a procedure for Int8 matrix multiplication for feed-forward and attention projection layers in transformers, which cut the memory needed for inference by half while retaining full precision performance.」(arXiv:2208.07339,2022-08-15)

arXiv:2208.07339 · LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale(2022-08-15)

INT4 / NF4每个参数 0.5 字节
一个数字只占 半个字节,体积约为 FP16 的四分之一。这是消费级显卡能跑大模型的主要原因。NF4(NormalFloat4)不是简单截断,而是按参数的实际分布设计的 4 位格式。它出自 QLoRA 那篇论文 —— 那篇的重点是「在 4 位模型上微调」,NF4 是其中的一项发明。

「QLoRA backpropagates gradients through a frozen, 4-bit quantized pretrained language model into Low Rank Adapters」,论文自述可「finetune a 65B parameter model on a single 48GB GPU」(arXiv:2305.14314,2023-05-23)

arXiv:2305.14314 · QLoRA: Efficient Finetuning of Quantized LLMs(2023-05-23)站上出现在:Vidu Q Q4 Preview

量化:把精度降下来的几种做法

直接把数字截短最简单,但会掉效果。所以有一批方法专门研究「怎么降得聪明」—— 哪些数字必须保住、哪些可以粗一点。名字(GPTQ / AWQ / GGUF)指的是做法或文件格式,不是模型本身。
GPTQ
一种训练完之后再压的量化方法(post-training),压的时候会用少量样本数据校准,尽量让压完的输出和原来接近。仓库名里带 GPTQ,说明作者用的是这套方法,不代表位宽 —— 还要看是 4bit 还是 8bit、group size 多少。

标题即「GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers」(arXiv:2210.17323,2022-10-31)

arXiv:2210.17323 · GPTQ: Accurate Post-Training Quantization(2022-10-31)

AWQ
另一套量化方法,思路是「不是所有参数一样重要」,把那一小撮关键参数保护起来,其余压狠一点。它的出发点就是本地/端侧部署,论文开篇讲的就是「跑在自己设备上省云费用、保护隐私」。

「AWQ finds that not all weights in an LLM are equally important. Protecting only 1% salient weights can greatly reduce quantization error.」;同篇开篇:「running LLMs locally on edge devices can reduce the cloud computing cost and protect users privacy」(arXiv:2306.00978,2023-06-01)

arXiv:2306.00978 · AWQ: Activation-aware Weight Quantization(2023-06-01)

GGUF
一种文件格式,不是一种精度。 一个 .gguf 文件把模型权重和跑它需要的元信息打包在一起,llama.cpp 那一系工具直接读它。所以「GGUF 版」这三个字没说清楚它是几位的 —— 同一个模型的 GGUF 仓库里通常并排放着 Q4_K_M、Q5_K_S、Q8_0 十几个文件,位宽写在文件名里。挑错了,要么跑不动,要么白白牺牲效果。

Hugging Face 官方文档把它列为一种模型文件格式,配套说明如何在 Hub 上浏览 GGUF 文件的元信息

Hugging Face 官方文档 · GGUF 格式说明

改模型:不重训也能让它学新东西

从头训一个模型要几百上千万,但让已有模型学一种画风、一个人的脸,有便宜得多的办法。
LoRA
不动原模型,另外训一小块「补丁」挂上去。补丁通常只有几十 MB,而效果是让模型学会一种画风、一个角色、一种版式。这是本地玩法里最实用的一条:原模型下一次就够了,之后想要什么风格就换补丁。它也解释了为什么很多仓库叫「XX-LoRA」而体积特别小 —— 那不是完整模型,单独下下来跑不起来。

「LoRA, which freezes the pre-trained model weights and injects trainable rank decomposition matrices into each layer」(arXiv:2106.09685,2021-06-17)

arXiv:2106.09685 · LoRA: Low-Rank Adaptation of Large Language Models(2021-06-17)站上出现在:LTX 2.5OpenVLA 7B

蒸馏 / Turbo / Fast / Flash 档
让一个模型去模仿另一个更慢更好的模型,换来大幅提速。出图模型上常见的表现是「原来要 50 步,现在 4 步甚至 1 步」。厂商名字里的 Turbo / Fast / Flash / schnell(德语「快」)大多是这一类。它们是速度与价格档,不是新一代能力 —— 我们给谱系节点判能力时,这类一律记 `cap_skip`,因为它没有新增能力轴上的东西。这一条没有单一权威出处,它是一类做法的统称。站上能对上的实例:Z-Image-Turbo(官方自述 8 步出图)、SDXL Turbo(「少步数蒸馏,一步出图」)、FLUX.1-schnell(首发的快档)。

没有单一权威出处 —— 这是一类工程惯例的统称站上出现在:Gemini Omni 1.1 FlashKling 4.0Z-Image TurboNano Banana 2.1(gemini-nano-banana-2.1)Recraft V4.1Qwen 3.8-max

跑起来要多少显存

这是决定「我这张卡行不行」的唯一硬指标。算法很简单,但有两个坑:一是要按精度算不是按参数量算,二是权重只是一部分。
显存怎么估
权重占用 ≈ 参数量 × 每个参数的字节数。 20B 的模型:FP16 要约 40GB,FP8/INT8 约 20GB,INT4/NF4 约 10GB。两个坑。一是别拿参数量当显存:「20B」说的是参数个数,不是 GB。二是权重只是一部分 —— 推理时还要放中间结果(出图模型是特征图,文本模型是 KV 缓存),分辨率越高、上下文越长,这一块越大。所以「刚好等于显存」的配置通常跑不起来,留 20~30% 余量比较稳。

Hugging Face diffusers 官方有一整页讲显存优化手段(分块、卸载到内存、注意力切片等)—— 这些手段的存在本身就说明「权重装得下」不等于「跑得动」

Hugging Face diffusers 官方文档 · 显存优化

同一个模型,不同精度大概要多少显存

这张表是算出来的,不是查来的 —— 公式就是「参数量 × 每参数字节数」。 列出来是为了让你看清楚数量级,不是为了让你照着买卡。

参数量FP16 / BF16FP8 / INT8INT4 / NF4
2B4.0 GB2.0 GB1.0 GB
7B14 GB7.0 GB3.5 GB
14B28 GB14 GB7.0 GB
20B40 GB20 GB10 GB
80B160 GB80 GB40 GB

这只是权重。推理时还要放中间结果 —— 出图模型是特征图(分辨率越高越大), 文本模型是 KV 缓存(上下文越长越大)。「刚好装得下」的配置通常跑不起来, 留 20~30% 余量比较稳。想省下去还有分块、卸载到内存等一堆手段, Hugging Face 的 diffusers 有 一整页讲这个。

三、看懂了,接下来

许可是最容易漏的一环。「权重公开」不等于「随便用」—— 站上已经收到三种不许商用的:Fish Speech 是研究许可、MusicGen 的权重是 CC-BY-NC、 Ideogram 4 的许可直接叫 ideogram-4-non-commercial。 它们在 GitHub 上写的可能是 MIT,那是代码的许可,不是权重的。

数据版本 1.8.3 · 词表核验于 2026-08-13 · 全部为机器录入