---
title: "MiniMind 从零训练：RTX 3090 单卡耗时、成本与复现"
canonical: https://wavect.io/zh/blog/minimind-training-from-scratch/
language: zh
description: "一张 RTX 3090 跑 MiniMind-3 Zero 要多久？核对 2.31 小时和 3 元租金覆盖的训练阶段，按正确轮数完成预训练与监督微调，再用脚本查出没有有效答案标签的长对话。"
image: "https://wavect.io/img/blog/headers/header_minimind-training-from-scratch.png"
author: ["Kevin Riedl"]
published: "2026-11-16"
updated: "2026-11-16"
reviewed: "2026-11-16"
---

# 一张 RTX 3090，真能用两小时从零训练 MiniMind 吗？

[**返回**](/zh/blog/overview/)

[![Kevin Riedl](/img/team/kevin.webp)](/zh/team/kevin-riedl/)

[Kevin Riedl](/zh/team/kevin-riedl/) https://linkedin.com/in/wsdt

7 分钟 阅读 · 2026年11月16日 最近审核 2026年11月16日

[**下一篇**](/zh/blog/fine-tune-gemma-4-free-unsloth-colab/)

要点速览

MiniMind 项目估算，一张 24 GB 的 RTX 3090 用两份 mini 数据从头训练 6400 万参数的 Zero 模型，预训练和监督微调各一轮共需 2.31 小时，租金约 3 元。两个脚本默认各跑两轮，需要手动改为一轮。我们用真实数据加载器检查了两条对话，长提示词能把整个回答挤出训练窗口，使有效标签数降为零。

同一句话，为什么有的模型接着往下写，有的模型会转过来回答你？用 MiniMind，你可以在自己的机器上看清这个变化。先让一组随机权重学会预测下一个 token，再用对话数据教模型哪些话该由助手来答。每个阶段都保存一次权重，然后把同一个问题交给两个检查点。

## MiniMind 所说的“两小时”算了哪些训练步骤？

对于 6400 万参数的稠密模型 MiniMind-3 Zero，作者给出的分项估算是**一张 24 GB 显存的 RTX 3090 跑 2.31 小时**，约合 2 小时 19 分钟。预先准备好的两份数据各训练一遍。README 开头的注释用了另一种口径，说一次监督微调实测就用了约两小时。作者没有解释两者的差异。要安排从零训练的机时，可以按下面两行分别计算。 [项目对“两小时”的原始说明](https://github.com/jingyaogong/minimind/blob/233d00fa068ec2b8c0d4f07b703934d6391a5a73/README_en.md#L34-L42)

| 训练阶段 | GPU 机时 | 预计租金 |
| --- | --- | --- |
| 用 mini 文本语料预训练 | 1.21 小时 | 1.57 元 |
| 用 mini 对话数据做监督微调 | 1.10 小时 | 1.43 元 |
| 两个阶段各训练一轮 | 2.31 小时 | 3.00 元 |

一轮（epoch）就是把一份数据完整训练一遍。下载文件、安装 PyTorch 需要另算时间。项目在开销表中另列了工具调用训练和强化学习。如果只想看一组随机权重怎样变成能对话的模型，做完监督微调就可以开始提问。 [各训练阶段的 GPU 用时与租金估算](https://github.com/jingyaogong/minimind/blob/233d00fa068ec2b8c0d4f07b703934d6391a5a73/README_en.md#L613-L644)

## 怎样从随机权重开始，让两个阶段各训练一轮？

新克隆一份仓库，使用自带的分词器和两份 `_mini.jsonl` 数据。两条训练命令都要带上 `--epochs 1`。脚本默认**每个阶段训练两轮**，直接运行就和上表的口径对不上。给预训练传入 `--from_weight none`，模型从随机权重起步。监督微调（SFT）则读取名为 `pretrain` 的检查点。 [预训练脚本参数](https://github.com/jingyaogong/minimind/blob/233d00fa068ec2b8c0d4f07b703934d6391a5a73/trainer/train_pretrain.py#L75-L96) · [监督微调脚本参数](https://github.com/jingyaogong/minimind/blob/233d00fa068ec2b8c0d4f07b703934d6391a5a73/trainer/train_full_sft.py#L75-L97)

克隆 `https://github.com/jingyaogong/minimind.git` 后进入仓库目录。在新的 Python 环境中装好与显卡匹配、支持 CUDA 的 PyTorch，再运行以下命令。第三条应输出 `True`，确认训练能用上 GPU，再估算机时。

训练脚本直接用 PyTorch 计算梯度和更新权重，分词用 Hugging Face Transformers，数据读取用 Datasets。 [该版本的 Python 依赖](https://github.com/jingyaogong/minimind/blob/233d00fa068ec2b8c0d4f07b703934d6391a5a73/requirements.txt)

```
git checkout 233d00fa068ec2b8c0d4f07b703934d6391a5a73
python -m pip install -r requirements.txt
python -c "import torch; print(torch.cuda.is_available())"
```

将 `pretrain_t2t_mini.jsonl` 和 `sft_t2t_mini.jsonl` 放进仓库的 `dataset/` 目录。项目列出的文件大小分别约为 1.2 GB 和 1.6 GB。不带 `_mini` 的是两份更大的语料，分别为 10 GB 和 14 GB。清洗和去重属于准备语料的工作。Zero 直接使用处理好的文件和现成词表，可以把这次实验的时间用来观察权重如何变化。 [MiniMind 训练数据下载](https://huggingface.co/datasets/jingyaogong/minimind_dataset/tree/main)

```
cd trainer
python train_pretrain.py --epochs 1 --from_weight none
python train_full_sft.py --epochs 1 --from_weight pretrain
cd ..
python eval_llm.py --weight pretrain --max_new_tokens 80
python eval_llm.py --weight full_sft --max_new_tokens 80
```

两个阶段默认分别写入 `out/pretrain_768.pth` 和 `out/full_sft_768.pth`。第一条评测命令会进入交互模式，退出后再运行第二条。给基础模型一小段文字让它续写，再给微调后的模型一条简单指令，保留提示词与两次输出。评测脚本会让基础模型做文本续写，给微调模型则套上对话模板。 [检查点加载与评测脚本](https://github.com/jingyaogong/minimind/blob/233d00fa068ec2b8c0d4f07b703934d6391a5a73/eval_llm.py)

我们用固定版本的脚本在 CPU 上验证了权重交接。测试只用一层、隐藏维度 64，每阶段各有两条合成样本。两个训练脚本都写出了权重，评估脚本也能分别加载这两个文件，各生成四个 token。这次测试验证的是训练流程。上文 64M 模型的 GPU 耗时来自项目方。

## 为什么格式正确的对话也可能没有一个有效训练标签？

一条对话即使完全符合 JSON 格式，拿来微调时也可能没有一个答案 token 参与训练。MiniMind 的 SFT 数据加载器先套对话模板，再截断到指定长度，然后标出属于助手回答的部分。如果用户消息在助手标记出现前就占满了 768 个位置，保留下来的内容会被损失函数全部忽略。 [对话模板、截断与标签掩码实现](https://github.com/jingyaogong/minimind/blob/233d00fa068ec2b8c0d4f07b703934d6391a5a73/dataset/lm_dataset.py#L63-L119)

我们用项目自带的分词器和 SFT 数据加载器离线跑了两条合成对话。系统消息一样，助手的回答也都是 `OK`。短对话保留了四个有效标签，其中包括结束标记和换行符。把用户消息中的 `status`连同末尾空格重复 500 次后，有效标签变成零个：整段回答都被挤到了截断位置之后。

下载 [MiniMind 的 SFT 标签检查脚本](/downloads/minimind-sft-target-check.py) ，在上述版本的 MiniMind 仓库根目录，用同一 Python 环境运行 `python /path/to/minimind-sft-target-check.py`，无需模型权重。

再用自己最长的客服对话做同样的检查，统计截断后还有多少标签不等于 `-100`。遇到零，就缩短或拆分对话，让回答保留下来，再把这些标签解码，核对实际参与训练的文本。即使平均损失在下降，其中也可能混着对训练毫无贡献的样本。

## 监督微调之后，应该接着试哪种训练方法？

看手里有什么数据。一批写得好的答案可以用来做监督微调。如果审稿人能从同一问题的两个回答中选出更好的一个，这份偏好就可以用来做 DPO。如果任务能明确打分，例如模型传给计算器的参数对不对，就有条件试强化学习。仓库为这些方法提供了独立脚本。 [MiniMind 的各类训练脚本](https://github.com/jingyaogong/minimind/tree/233d00fa068ec2b8c0d4f07b703934d6391a5a73/trainer)

| 方法 | 需要准备或检查什么 |
| --- | --- |
| LoRA | 准备业务领域的样本。冻结基础模型权重，只训练小规模的适配器权重。 |
| DPO | 给同一条提示词配上一个被选中的答案和一个被舍弃的答案，用这对样本表达偏好。 |
| PPO 和 GRPO | 让模型生成回答并打分。PPO 会学习价值估计，GRPO 则比较同一提示词下多个采样答案的奖励。 |
| 工具调用与智能体强化学习 | 工具调用样本教模型按格式发起调用。在智能体训练中，工具会返回结果，模型可在下一轮使用。训练脚本默认用 CISPO 损失，也可选 GRPO。 |
| 蒸馏 | 教师模型写的答案可以作为 SFT 样本。独立的蒸馏脚本也能利用教师模型对下一个 token 的预测分布来训练。 |

让模型把两个价格相加，再看它怎样调用计算器。这个工具只接收一个字符串参数 `expression`。换一组价格再试一次。你可以分别核对运算符、表达式中的两个数，以及工具返回的和。 [智能体训练器与内置工具](https://github.com/jingyaogong/minimind/blob/233d00fa068ec2b8c0d4f07b703934d6391a5a73/trainer/train_agent.py)

## 什么时候值得从零训练，什么时候该直接用现成权重？

如果想弄明白分词器、损失掩码和优化器各自做了什么，我会选 MiniMind 从头训练。如果目标是给工单分类，或让模型学会某款产品的文案风格，我会先拿标注好的样本测一个现成模型。团队有了基线，再决定值不值得投入人力准备新语料。

稠密版 MiniMind-3 有八层解码器，隐藏层宽度为 768。我们在 PyTorch 的 `meta` 设备上统计了模型张量，得到 63,912,192 个参数，也就是项目所说的约 6400 万。最初发表的 GPT-3 中，最大版本有 1750 亿参数，约为前者的 2700 倍。这个倍数只比较参数规模。模型能否处理你的工单，还得拿实际工单来测。 [MiniMind-3 模型配置](https://huggingface.co/jingyaogong/minimind-3/blob/2943d182f4a9ee0cd3dfd41bb847aac41b241bff/config.json) · [GPT-3 原始论文](https://arxiv.org/abs/2005.14165)

要从预训练权重起步，可以看我们的 [Gemma 微调教程](/zh/blog/fine-tune-gemma-4-free-unsloth-colab/) 。如果要决定一个专用小模型是否值得部署到生产环境，可以参考我们对 [Airbnb 小模型实验的分析](/zh/blog/airbnb-small-model-fine-tuning/) 。

## MiniMind 训练常见问题

### 需要项目配置里列出的八张显卡吗？

维护者列出的参考工作站配有八张显卡。Zero 的机时估算只用一张 24 GB 显存的 RTX 3090。换用其他显卡时，先记录实际批大小、序列长度和每步耗时，再估算完整一轮要跑多久。

### 要先训练自己的分词器吗？

Zero 使用仓库自带的分词器。这里从零训练的是语言模型权重。沿用现成分词器，可以用相同的词表和对话标记比较两个检查点。

### 可以先体验 MiniMind 再决定是否训练吗？

可以。维护者也发布预训练权重，直接加载就能看模型怎样回答。想看预训练本身带来了什么，可以另做一次从随机权重起步的实验。

### 两小时能训练出和官方完整版一样的模型吗？

Zero 是用两份 mini 文件快速训练对话模型的方案。项目还提供更大的语料，介绍了训练更久、使用其他训练目标的方案。拿下载的权重和自训模型对比时，记下各自的起始权重、数据集和训练阶段。

### 视觉、多模态和扩散版本在哪里？

MiniMind-V 是视觉语言项目，MiniMind-O 是独立的 Omni 多模态项目。维护者将扩散语言模型列为实验性扩展。这几个版本各有自己的训练设置，与本文的两阶段文本训练不同。

[MiniMind-V 视觉项目](https://github.com/jingyaogong/minimind-v) · [MiniMind-O 多模态项目](https://github.com/jingyaogong/minimind-o) · [实验性扩散语言模型](https://github.com/jingyaogong/minimind/discussions/618)

模型与基础设施

## 接下来读什么

模型选择、推理经济性、本地部署、压缩与服务架构。

[从这里开始**在欧盟自托管 LLM：开放权重模型何时才真正划算**](/zh/blog/self-hosting-llms-eu-cost/)

- [Claude Code 开启 Code Mode 后，到底能省多少 token？](/zh/blog/claude-code-code-mode-token-usage/)
- [Odoo AI 积分：如何为报价审核编制预算？](/zh/blog/odoo-ai-cost-per-accepted-workflow/)
- [Odoo 服务台 AI：何时分类、拟稿或转人工？](/zh/blog/odoo-helpdesk-ai-classify-draft-escalate/)
- [如何验证 Open Ontologies 的推导证书？](/zh/blog/open-ontologies-proof-verification/)
- [Scrapling 检查点会保存已抓取的数据吗？](/zh/blog/scrapling-checkpoints-scraped-items/)

[上一篇文章**Claude Code 开启 Code Mode 后，到底能省多少 token？**](/zh/blog/claude-code-code-mode-token-usage/) [下一篇文章**Odoo AI 积分：如何为报价审核编制预算？**](/zh/blog/odoo-ai-cost-per-accepted-workflow/)

[**返回**](/zh/blog/overview/)

[![Kevin Riedl](/img/team/kevin.webp)](/zh/team/kevin-riedl/)

[Kevin Riedl](/zh/team/kevin-riedl/) https://linkedin.com/in/wsdt

7 分钟 阅读 · 2026年11月16日 最近审核 2026年11月16日

[**下一篇**](/zh/blog/fine-tune-gemma-4-free-unsloth-colab/)
