想搞懂大模型,去读哪些公开教程
从「什么是大模型」一路到本地部署、微调与实际应用,35 个公开教程,以中文为主。我们不自己写教程 —— 这一页只负责三件事:核实它还活着、说清它的许可、诚实标出它适合谁、不适合谁。
星标 / 许可 / 最后推送日都是 2026-08-13 当天走 GitHub API 取的。星标只用于排序兜底,不作推荐结论 —— 站上有 10 万星却停更两年的,也有 5 千星每周在更的。 页尾附一份术语速查,那部分才是我们自己写的,每条给论文出处。
一、去读哪些公开教程35 个
这一页不自己写教程。下面每一条都是别人做的公开教程,我们只负责:核实它还活着、说清它的许可、并诚实标出它适合谁。星标只用于排序兜底,不作推荐结论。⚠️ 许可这一栏最值得看:中文社区的教程仓库很多根本没有 LICENSE 文件,还有几个是「不许商用」——自己学都没问题,做成公司内训材料或付费课就不是了。从零开始搞懂「大模型是什么」
想用它做点什么(应用与场景,中文为主)
想自己把模型跑起来 / 微调
想弄明白它内部怎么运作
厂商官方课
中文侧的组织入口
通往 AGI 之路 / WaytoAGI(知识库社区) ↗
无 LICENSE 文件最后更新 2026-08-11中文
负责人 2026-08-13 点名的一家。 2023-04-26 创建的中文 AI 学习知识库,自述「覆盖近 900 万学习者,知识库访问量超亿次,联动 180 所高校及 100+ 企业,举办 500+ 场活动」。它的覆盖面比 GitHub 上那些教程宽得多 —— 收的是从工具用法到行业案例的整片内容,不只是代码。⚠️ 它最大的问题是「太多,读不下去」 —— 首页目录有 36 个板块,从「1.1 入门」一路排到「4.6 社区孵化栏目」。别从头读,按编号直接跳。 和这个站四个方向对得上的是这几块:「1.4 AI 绘画」「1.5 AI 视频」「1.6 AI 音乐」「1.7 AI 数字人+语音合成」「1.9 ComfyUI 工作流」;想找提示词看「1.2 Prompts」,想找 Agent 看「1.3 AI Agents」。另外三件事:① 它是飞书文档不是代码仓库,没有许可证,引用转载要另问;② 页面纯前端渲染,我们抓裸 HTML 得到 0 字符 —— 它进不了自动监视,不像别的条目会被 watch 盯着;③ 社区共建,质量不均匀。直接跳进板块:1.1 入门:AI 学习路径与课程1.2 Prompts(提示词)1.3 AI Agents(智能体)1.4 AI 绘画1.5 AI 视频1.6 AI 音乐1.7 AI 数字人+语音合成1.8 AI 3D1.9 ComfyUI 工作流2.0 AI 编程
按方向的公开资料合集
二、怎么读仓库名与那些缩写下载权重时撞见的 FP8 / NF4 / GGUF 是什么、哪些仓库能信 —— 这一部分是我们自己写的, 因为它要和站内数据对得上(每条指回实际出现它的模型页)。
第一课不是术语,是怎么读仓库名
同一个模型,Hugging Face 上往往并排躺着十几个仓库,后缀五花八门。先分清哪些是厂商发的、哪些是网友再压的 —— 这比记住任何一个术语都管用。
厂商官方组织发的
后缀是标准格式名(FP8 / NF4 / INT8),许可与说明写在模型卡里。 例:ideogram-ai/ideogram-4-fp8、ideogram-ai/ideogram-4-nf4。
第三方再压的
后缀是作者自己起的名字,不是标准。 质量全看这个人 —— 必须读 README。
真实例子。负责人问的正是 bertbobson/Ideogram-4-INT8-ConvRot 里的「ConvRot」是什么意思 —— 答案是:它不是任何标准格式,而且那个作者自己在 README 里说这一版是坏的。
「This model does not currently work with native ComfyUI INT8, and used a sub-optimal FP8 base, which makes it perform worse and ended up doing a triple quantization.」
「This is an avoidable triple quantization due to me being bad.」
—— 该仓库 README 原文,作者随后推荐读者改用另外两个仓库
它当时有 ♥59、下载 0。收藏数不代表能用 —— 这一条比下面任何一个术语都值钱。
核验于 2026-08-12 · 该仓库
术语速查能追到原始论文的给 arXiv 编号与摘要原句,只有工程惯例的照实说「没有单一权威出处」。
精度:同一个模型,为什么有好几个体积
一个模型的「参数」就是一大堆数字。用几个字节存一个数字,就是精度。 存得越省,文件越小、显存要得越少,代价是数字变粗、画质与遵循度可能下降。厂商发权重时常常一次发好几档,让你按自己的显卡挑。FP8 论文开篇即以此为参照:「FP8 is a natural progression for accelerating deep learning training inference beyond the 16-bit formats common in modern processors.」
arXiv:2209.05433 · FP8 Formats for Deep Learning(2022-09-12)
「we propose an 8-bit floating point (FP8) binary interchange format consisting of two encodings - E4M3 (4-bit exponent and 3-bit mantissa) and E5M2 (5-bit exponent and 2-bit mantissa)」(arXiv:2209.05433,2022-09-12)
arXiv:2209.05433 · FP8 Formats for Deep Learning(2022-09-12)
「We develop a procedure for Int8 matrix multiplication for feed-forward and attention projection layers in transformers, which cut the memory needed for inference by half while retaining full precision performance.」(arXiv:2208.07339,2022-08-15)
arXiv:2208.07339 · LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale(2022-08-15)
「QLoRA backpropagates gradients through a frozen, 4-bit quantized pretrained language model into Low Rank Adapters」,论文自述可「finetune a 65B parameter model on a single 48GB GPU」(arXiv:2305.14314,2023-05-23)
arXiv:2305.14314 · QLoRA: Efficient Finetuning of Quantized LLMs(2023-05-23)站上出现在:Vidu Q Q4 Preview
量化:把精度降下来的几种做法
直接把数字截短最简单,但会掉效果。所以有一批方法专门研究「怎么降得聪明」—— 哪些数字必须保住、哪些可以粗一点。名字(GPTQ / AWQ / GGUF)指的是做法或文件格式,不是模型本身。标题即「GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers」(arXiv:2210.17323,2022-10-31)
arXiv:2210.17323 · GPTQ: Accurate Post-Training Quantization(2022-10-31)
「AWQ finds that not all weights in an LLM are equally important. Protecting only 1% salient weights can greatly reduce quantization error.」;同篇开篇:「running LLMs locally on edge devices can reduce the cloud computing cost and protect users privacy」(arXiv:2306.00978,2023-06-01)
arXiv:2306.00978 · AWQ: Activation-aware Weight Quantization(2023-06-01)
Hugging Face 官方文档把它列为一种模型文件格式,配套说明如何在 Hub 上浏览 GGUF 文件的元信息
改模型:不重训也能让它学新东西
从头训一个模型要几百上千万,但让已有模型学一种画风、一个人的脸,有便宜得多的办法。「LoRA, which freezes the pre-trained model weights and injects trainable rank decomposition matrices into each layer」(arXiv:2106.09685,2021-06-17)
arXiv:2106.09685 · LoRA: Low-Rank Adaptation of Large Language Models(2021-06-17)站上出现在:LTX 2.5OpenVLA 7B
没有单一权威出处 —— 这是一类工程惯例的统称站上出现在:Gemini Omni 1.1 FlashKling 4.0Z-Image TurboNano Banana 2.1(gemini-nano-banana-2.1)Recraft V4.1Qwen 3.8-max
跑起来要多少显存
这是决定「我这张卡行不行」的唯一硬指标。算法很简单,但有两个坑:一是要按精度算不是按参数量算,二是权重只是一部分。Hugging Face diffusers 官方有一整页讲显存优化手段(分块、卸载到内存、注意力切片等)—— 这些手段的存在本身就说明「权重装得下」不等于「跑得动」
同一个模型,不同精度大概要多少显存
这张表是算出来的,不是查来的 —— 公式就是「参数量 × 每参数字节数」。 列出来是为了让你看清楚数量级,不是为了让你照着买卡。
| 参数量 | FP16 / BF16 | FP8 / INT8 | INT4 / NF4 |
|---|---|---|---|
| 2B | 4.0 GB | 2.0 GB | 1.0 GB |
| 7B | 14 GB | 7.0 GB | 3.5 GB |
| 14B | 28 GB | 14 GB | 7.0 GB |
| 20B | 40 GB | 20 GB | 10 GB |
| 80B | 160 GB | 80 GB | 40 GB |
这只是权重。推理时还要放中间结果 —— 出图模型是特征图(分辨率越高越大), 文本模型是 KV 缓存(上下文越长越大)。「刚好装得下」的配置通常跑不起来, 留 20~30% 余量比较稳。想省下去还有分块、卸载到内存等一堆手段, Hugging Face 的 diffusers 有 一整页讲这个。
三、看懂了,接下来
AI 视频 · 开源自部署 →
哪几家真的放了权重、拿什么跑、已知限制
AI 文本 · 本地部署 →
文本卷这一侧的自部署清单
该去哪个站 →
查一件事时该打开哪个网站,附我们踩过的坑
能力对了,你未必用得上 →
许可、可达性、版本对不上 —— 下手前先看这一页
许可是最容易漏的一环。「权重公开」不等于「随便用」—— 站上已经收到三种不许商用的:Fish Speech 是研究许可、MusicGen 的权重是 CC-BY-NC、 Ideogram 4 的许可直接叫 ideogram-4-non-commercial。 它们在 GitHub 上写的可能是 MIT,那是代码的许可,不是权重的。