在自己机器上跑
Local Inference · 各家还叫它：open weights / 开源
谁能做
还没有模型有明确的官方依据
自己部署权重公开的，拿去自己 GPU 上跑
Ollama（一条命令跑起来）ollama/ollama：Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.（★178,259） · GitHub · ollama/ollama
llama.cpp（C/C++ 本地推理）ggml-org/llama.cpp：LLM inference in C/C++（★123,436） · GitHub · ggml-org/llama.cpp
vLLM（高吞吐推理服务）vllm-project/vllm：A high-throughput and memory-efficient inference and serving engine for LLMs（★88,764） · GitHub · vllm-project/vllm
Open WebUI（自建对话界面）open-webui/open-webui：User-friendly AI Interface (Supports Ollama, OpenAI API, ...)（★148,467） · GitHub · open-webui/open-webui
Transformers（模型定义与训练）huggingface/transformers：the model-definition framework for state-of-the-art machine learning models（★163,595） · GitHub · huggingface/transformers
已知限制
· 开源权重 ≠ 可商用 —— 逐个看许可证，这一卷里非标准许可比想象多· Open WebUI 是厂商自拟许可，不是 BSD/MIT· vLLM 面向吞吐，llama.cpp 面向单机；选错方向调参再多也追不回来典型用例
数据不出网 · 离线环境 · 省 API 钱