一张 RTX 3090,真能用两小时从零训练 MiniMind 吗?

返回
Kevin Riedl

7 分钟 阅读 · 2026年11月16日
最近审核

下一篇
图片在你的设备上生成,不连接 Instagram。文章链接会复制到剪贴板,供链接贴纸使用。

同一句话,为什么有的模型接着往下写,有的模型会转过来回答你?用 MiniMind,你可以在自己的机器上看清这个变化。先让一组随机权重学会预测下一个 token,再用对话数据教模型哪些话该由助手来答。每个阶段都保存一次权重,然后把同一个问题交给两个检查点。

MiniMind 所说的“两小时”算了哪些训练步骤?

对于 6400 万参数的稠密模型 MiniMind-3 Zero,作者给出的分项估算是一张 24 GB 显存的 RTX 3090 跑 2.31 小时,约合 2 小时 19 分钟。预先准备好的两份数据各训练一遍。README 开头的注释用了另一种口径,说一次监督微调实测就用了约两小时。作者没有解释两者的差异。要安排从零训练的机时,可以按下面两行分别计算。项目对“两小时”的原始说明

MiniMind-3 Zero 单卡训练,按项目估算的每小时 1.30 元人民币租金计算
训练阶段GPU 机时预计租金
用 mini 文本语料预训练1.21 小时1.57 元
用 mini 对话数据做监督微调1.10 小时1.43 元
两个阶段各训练一轮2.31 小时3.00 元

一轮(epoch)就是把一份数据完整训练一遍。下载文件、安装 PyTorch 需要另算时间。项目在开销表中另列了工具调用训练和强化学习。如果只想看一组随机权重怎样变成能对话的模型,做完监督微调就可以开始提问。各训练阶段的 GPU 用时与租金估算

怎样从随机权重开始,让两个阶段各训练一轮?

新克隆一份仓库,使用自带的分词器和两份 _mini.jsonl 数据。两条训练命令都要带上 --epochs 1。脚本默认每个阶段训练两轮,直接运行就和上表的口径对不上。给预训练传入 --from_weight none,模型从随机权重起步。监督微调(SFT)则读取名为 pretrain 的检查点。预训练脚本参数 · 监督微调脚本参数

克隆 https://github.com/jingyaogong/minimind.git 后进入仓库目录。在新的 Python 环境中装好与显卡匹配、支持 CUDA 的 PyTorch,再运行以下命令。第三条应输出 True,确认训练能用上 GPU,再估算机时。

训练脚本直接用 PyTorch 计算梯度和更新权重,分词用 Hugging Face Transformers,数据读取用 Datasets。该版本的 Python 依赖

git checkout 233d00fa068ec2b8c0d4f07b703934d6391a5a73
python -m pip install -r requirements.txt
python -c "import torch; print(torch.cuda.is_available())"

将 pretrain_t2t_mini.jsonl 和 sft_t2t_mini.jsonl 放进仓库的 dataset/ 目录。项目列出的文件大小分别约为 1.2 GB 和 1.6 GB。不带 _mini 的是两份更大的语料,分别为 10 GB 和 14 GB。清洗和去重属于准备语料的工作。Zero 直接使用处理好的文件和现成词表,可以把这次实验的时间用来观察权重如何变化。MiniMind 训练数据下载

cd trainer
python train_pretrain.py --epochs 1 --from_weight none
python train_full_sft.py --epochs 1 --from_weight pretrain
cd ..
python eval_llm.py --weight pretrain --max_new_tokens 80
python eval_llm.py --weight full_sft --max_new_tokens 80

两个阶段默认分别写入 out/pretrain_768.pth 和 out/full_sft_768.pth。第一条评测命令会进入交互模式,退出后再运行第二条。给基础模型一小段文字让它续写,再给微调后的模型一条简单指令,保留提示词与两次输出。评测脚本会让基础模型做文本续写,给微调模型则套上对话模板。检查点加载与评测脚本

我们用固定版本的脚本在 CPU 上验证了权重交接。测试只用一层、隐藏维度 64,每阶段各有两条合成样本。两个训练脚本都写出了权重,评估脚本也能分别加载这两个文件,各生成四个 token。这次测试验证的是训练流程。上文 64M 模型的 GPU 耗时来自项目方。

为什么格式正确的对话也可能没有一个有效训练标签?

一条对话即使完全符合 JSON 格式,拿来微调时也可能没有一个答案 token 参与训练。MiniMind 的 SFT 数据加载器先套对话模板,再截断到指定长度,然后标出属于助手回答的部分。如果用户消息在助手标记出现前就占满了 768 个位置,保留下来的内容会被损失函数全部忽略。对话模板、截断与标签掩码实现

我们用项目自带的分词器和 SFT 数据加载器离线跑了两条合成对话。系统消息一样,助手的回答也都是 OK。短对话保留了四个有效标签,其中包括结束标记和换行符。把用户消息中的 status 连同末尾空格重复 500 次后,有效标签变成零个:整段回答都被挤到了截断位置之后。

下载 MiniMind 的 SFT 标签检查脚本,在上述版本的 MiniMind 仓库根目录,用同一 Python 环境运行 python /path/to/minimind-sft-target-check.py,无需模型权重。

再用自己最长的客服对话做同样的检查,统计截断后还有多少标签不等于 -100。遇到零,就缩短或拆分对话,让回答保留下来,再把这些标签解码,核对实际参与训练的文本。即使平均损失在下降,其中也可能混着对训练毫无贡献的样本。

监督微调之后,应该接着试哪种训练方法?

看手里有什么数据。一批写得好的答案可以用来做监督微调。如果审稿人能从同一问题的两个回答中选出更好的一个,这份偏好就可以用来做 DPO。如果任务能明确打分,例如模型传给计算器的参数对不对,就有条件试强化学习。仓库为这些方法提供了独立脚本。MiniMind 的各类训练脚本

按训练目标选择下一项实验
方法需要准备或检查什么
LoRA准备业务领域的样本。冻结基础模型权重,只训练小规模的适配器权重。
DPO给同一条提示词配上一个被选中的答案和一个被舍弃的答案,用这对样本表达偏好。
PPO 和 GRPO让模型生成回答并打分。PPO 会学习价值估计,GRPO 则比较同一提示词下多个采样答案的奖励。
工具调用与智能体强化学习工具调用样本教模型按格式发起调用。在智能体训练中,工具会返回结果,模型可在下一轮使用。训练脚本默认用 CISPO 损失,也可选 GRPO。
蒸馏教师模型写的答案可以作为 SFT 样本。独立的蒸馏脚本也能利用教师模型对下一个 token 的预测分布来训练。

让模型把两个价格相加,再看它怎样调用计算器。这个工具只接收一个字符串参数 expression。换一组价格再试一次。你可以分别核对运算符、表达式中的两个数,以及工具返回的和。 智能体训练器与内置工具

什么时候值得从零训练,什么时候该直接用现成权重?

如果想弄明白分词器、损失掩码和优化器各自做了什么,我会选 MiniMind 从头训练。如果目标是给工单分类,或让模型学会某款产品的文案风格,我会先拿标注好的样本测一个现成模型。团队有了基线,再决定值不值得投入人力准备新语料。

稠密版 MiniMind-3 有八层解码器,隐藏层宽度为 768。我们在 PyTorch 的 meta 设备上统计了模型张量,得到 63,912,192 个参数,也就是项目所说的约 6400 万。最初发表的 GPT-3 中,最大版本有 1750 亿参数,约为前者的 2700 倍。这个倍数只比较参数规模。模型能否处理你的工单,还得拿实际工单来测。MiniMind-3 模型配置 · GPT-3 原始论文

要从预训练权重起步,可以看我们的 Gemma 微调教程。如果要决定一个专用小模型是否值得部署到生产环境,可以参考我们对 Airbnb 小模型实验的分析。

MiniMind 训练常见问题

需要项目配置里列出的八张显卡吗?
维护者列出的参考工作站配有八张显卡。Zero 的机时估算只用一张 24 GB 显存的 RTX 3090。换用其他显卡时,先记录实际批大小、序列长度和每步耗时,再估算完整一轮要跑多久。
要先训练自己的分词器吗?
Zero 使用仓库自带的分词器。这里从零训练的是语言模型权重。沿用现成分词器,可以用相同的词表和对话标记比较两个检查点。
可以先体验 MiniMind 再决定是否训练吗?
可以。维护者也发布预训练权重,直接加载就能看模型怎样回答。想看预训练本身带来了什么,可以另做一次从随机权重起步的实验。
两小时能训练出和官方完整版一样的模型吗?
Zero 是用两份 mini 文件快速训练对话模型的方案。项目还提供更大的语料,介绍了训练更久、使用其他训练目标的方案。拿下载的权重和自训模型对比时,记下各自的起始权重、数据集和训练阶段。
视觉、多模态和扩散版本在哪里?
MiniMind-V 是视觉语言项目,MiniMind-O 是独立的 Omni 多模态项目。维护者将扩散语言模型列为实验性扩展。这几个版本各有自己的训练设置,与本文的两阶段文本训练不同。

MiniMind-V 视觉项目 · MiniMind-O 多模态项目 · 实验性扩散语言模型

用证据决定试点的下一步

先明确一个工作流、具有代表性的样本和需要验收的结果,再确定评估集、可接受的失败边界,以及现有 AI 系统扩展前必须提供的证据。

相关服务:

只收重要内容

关注与你相关的内容

每当我们发布新文章,你会收到一封简短邮件。你可以关注整个博客,也可以只选感兴趣的主题。

你希望接收哪些内容?
选择主题

免费、双重确认、不使用跟踪像素。

返回
Kevin Riedl

7 分钟 阅读 · 2026年11月16日
最近审核

下一篇

获取下一篇关于AI 与智能体的一线笔记

有新文章时发送一封简短邮件,不使用跟踪像素,也不发送填充内容。

免费、双重确认、不使用跟踪像素。