Kannst du MiniMind auf einer RTX 3090 in zwei Stunden selbst trainieren?

Zurück
Kevin Riedl

7 min Lesezeit · 16. November 2026
Zuletzt geprüft

Weiter
Entsteht auf deinem Gerät, ohne Instagram-Verbindung. Den Beitragslink kopieren wir für deinen Link-Sticker.

Bei einer LLM-API siehst du die fertige Antwort. Mit MiniMind kannst du auf dem eigenen Rechner beobachten, wie ein Modell überhaupt dorthin kommt. Du startest mit zufälligen Gewichten. Erst lernt das Modell, das nächste Token vorherzusagen. Dann lernt es, in einem Gespräch die Antwort des Assistenten zu schreiben. Speichere nach jeder Stufe die Gewichte und stelle beiden Modellen dieselbe Frage.

Was ist in den zwei Stunden für MiniMind enthalten?

Für MiniMind-3 Zero mit 64 Millionen Parametern und dichter Architektur schätzen die Entwickler 2,31 Stunden auf einer RTX 3090 mit 24 GB. Das sind rund 2 Stunden 19 Minuten für je einen Durchlauf über zwei vorbereitete Datensätze.

Die Fußnote im README nennt eine separate Messung von rund zwei Stunden allein für eine Epoche überwachtes Fine-Tuning. Wie die Angaben zusammenhängen, bleibt offen. Für deinen Versuch kannst du mit der Aufschlüsselung je Stufe rechnen. Zeitangabe in der Einleitung des Projekts

MiniMind-3 Zero auf einer RTX 3090 bei einem angenommenen Mietpreis von 1,30 CNY pro Stunde
TrainingsstufeGPU-ZeitGeschätzte Miete
Vortraining mit dem kleinen Textkorpus1,21 h1,57 CNY
Überwachtes Fine-Tuning mit dem kleinen Dialogdatensatz1,10 h1,43 CNY
Beide Stufen, jeweils eine Epoche2,31 h3,00 CNY

Eine Epoche ist ein vollständiger Durchlauf über einen Datensatz. Für Download und PyTorch-Installation brauchst du zusätzlich Zeit. In der Kostentabelle des Projekts stehen das Training von Werkzeugaufrufen und Reinforcement Learning in eigenen Spalten. Willst du erleben, wie aus zufälligen Gewichten ein Modell für den ersten Dialog entsteht, kannst du nach dem Fine-Tuning aufhören. MiniMinds GPU-Kalkulation je Trainingsstufe

Wie trainierst du MiniMind Zero von Grund auf?

Du brauchst einen frischen Checkout, die beiden Dateien mit der Endung _mini.jsonl und den mitgelieferten Tokenizer. Übergib beiden Trainingsskripten --epochs 1. Ohne diesen Parameter laufen jeweils zwei Epochen. Mit --from_weight none beginnt das Vortraining mit zufälligen Gewichten. Das anschließende Fine-Tuning lädt den Checkpoint pretrain. Parameter für das Vortraining · Parameter für das überwachte Fine-Tuning

Klone https://github.com/jingyaogong/minimind.git und wechsle ins Repository. Verwende eine frische Python-Umgebung mit einer CUDA-fähigen PyTorch-Version für deine GPU. Führe dort die folgenden Befehle aus. Die Abfrage sollte True ausgeben, bevor du mit der GPU-Zeit kalkulierst. Die Trainingsschleifen sind in PyTorch implementiert. Für den Tokenizer verwenden sie Hugging Face Transformers, zum Einlesen der Trainingsdaten die Bibliothek Datasets. Python-Abhängigkeiten des Projekts

git checkout 233d00fa068ec2b8c0d4f07b703934d6391a5a73
python -m pip install -r requirements.txt
python -c "import torch; print(torch.cuda.is_available())"

Lege pretrain_t2t_mini.jsonl und sft_t2t_mini.jsonl im Verzeichnis dataset/ ab. Laut Projekt sind sie etwa 1,2 GB und 1,6 GB groß. Die Versionen ohne _mini umfassen 10 GB und 14 GB. Bereinigung und Dublettenprüfung gehören zur Aufbereitung des Korpus. Bei Zero sind die Daten bereits vorbereitet und das Vokabular steht fest. Trainingsdaten für MiniMind herunterladen

cd trainer
python train_pretrain.py --epochs 1 --from_weight none
python train_full_sft.py --epochs 1 --from_weight pretrain
cd ..
python eval_llm.py --weight pretrain --max_new_tokens 80
python eval_llm.py --weight full_sft --max_new_tokens 80

Die Gewichte landen standardmäßig in out/pretrain_768.pth und out/full_sft_768.pth. Beende den ersten interaktiven Test, bevor du den zweiten startest. Gib dem Basismodell einen kurzen Text zum Fortsetzen und dem Chatmodell anschließend eine einfache Anweisung. Heb die Eingaben und beide Ausgaben auf. Das Testskript lässt den ersten Checkpoint Text fortsetzen und formatiert die Eingabe für den zweiten als Chat. So lädt und testet MiniMind die Checkpoints

Wir haben die Übergabe mit den verlinkten Skripten auf der CPU geprüft. Dafür genügten eine Schicht mit Breite 64 und zwei synthetische Beispiele pro Stufe. Beide Trainer schrieben ihre Gewichte auf die Festplatte. Das Evaluationsskript lud beide Zwischenstände und erzeugte jeweils vier Tokens. Der Test prüft den Ablauf. Die GPU-Zeit für das 64M-Modell stammt vom Projekt.

Warum lernt MiniMind aus manchen gültigen Trainingsbeispielen nichts?

Ein Dialog kann gültiges JSON enthalten und trotzdem kein einziges Antworttoken zum Training beitragen. Der SFT-Datenlader formatiert das Gespräch, kürzt es auf die vorgegebene Länge und markiert die Antwort des Assistenten als Lernziel. Füllt die Nachricht des Nutzers alle 768 Positionen, fällt schon die Rollenmarkierung des Assistenten weg. Damit geht das gesamte Beispiel mit null Zielpositionen in die Verlustberechnung ein. Chatformat, Kürzung und Maskierung der Trainingsziele im Quellcode

Wir haben den Tokenizer und den SFT-Datenlader des Projekts offline mit zwei künstlichen Dialogen getestet. Die Systemnachricht war identisch, der Assistent antwortete beide Male mit OK. Im kurzen Dialog blieben vier Zielpositionen übrig, einschließlich Endemarkierung und Zeilenumbruch. Nach 500 Wiederholungen von status in der Nutzernachricht waren es null. Die gesamte Antwort lag hinter der Längengrenze.

Lade das Prüfskript für die SFT-Zielpositionen herunter. Wechsle ins Stammverzeichnis des oben festgelegten MiniMind-Commits und führe dort in derselben Python-Umgebung python /path/to/minimind-sft-target-check.py aus. Modellgewichte brauchst du dafür keine. Probiere das anschließend mit deinen längsten Supportdialogen. Zähle nach dem Kürzen alle Labels, deren Wert von -100 abweicht. Bleibt kein Ziel übrig, kürze oder teile den Dialog und prüfe den dekodierten Antworttext. Selbst ein sinkender durchschnittlicher Loss kann solche leeren Trainingsbeispiele verdecken.

Welches Training lohnt sich nach dem überwachten Fine-Tuning?

Schau zuerst auf die Daten, die du liefern kannst. Eine Sammlung guter Antworten eignet sich für überwachtes Fine-Tuning. Hast du für dieselbe Frage zwei Antworten und weißt, welche ein Prüfer vorzieht, bietet sich DPO an. Lässt sich das Ergebnis einer Aufgabe bewerten, etwa ob ein Modell den Taschenrechner mit den richtigen Zahlen aufruft, kannst du Reinforcement Learning ausprobieren. Jede Methode hat ein eigenes Skript. Die Trainingsskripte von MiniMind

Welcher nächste Versuch zu deinem Lernziel passt
MethodeWas du bereitstellst oder prüfst
LoRATrainiere kleine Adapter auf Beispielen aus deinem Fachgebiet. Die Gewichte des Basismodells bleiben dabei fest.
DPOGib zu einem Prompt eine bevorzugte und eine verworfene Antwort an. Dieses Paar hält die Präferenz fest.
PPO und GRPOLass das Modell Antworten erzeugen und bewerte sie. PPO lernt, den erwarteten Ertrag zu schätzen. GRPO vergleicht die Bewertungen mehrerer Antworten auf denselben Prompt.
Werkzeugaufrufe und Agentic RLBeispiele vermitteln das Format des Werkzeugaufrufs. Beim Agententraining kann das Modell das Werkzeugergebnis im nächsten Schritt verwenden. Standardmäßig optimiert es mit CISPO. GRPO steht ebenfalls zur Wahl.
DistillationAntworten eines Lehrermodells eignen sich als SFT-Beispiele. Das separate Distillationsskript kann auch aus dessen Wahrscheinlichkeitsverteilung für das nächste Token lernen.

Lass das Modell zwei Preise addieren und schau dir den Aufruf an. Der Taschenrechner erwartet genau ein Argument, die Zeichenkette expression. Ändere die Preise und wiederhole den Versuch. Den Rechenoperator, die beiden Zahlen im Ausdruck und die zurückgegebene Summe kannst du getrennt prüfen. Agententraining und eingebaute Werkzeuge

Wann lohnt sich eigenes Vortraining und wann ein fertiger Checkpoint?

Ich würde MiniMind von Grund auf trainieren, um zu verstehen, was Tokenizer, Loss-Maske und Optimierer jeweils beitragen. Soll ein Team eingehende Tickets sortieren oder einen bestimmten Schreibstil treffen, würde ich zuerst ein vorhandenes Modell mit bewerteten Beispielen testen. Dann hat das Team einen Vergleichswert, bevor es in einen eigenen Trainingskorpus investiert.

Das dichte MiniMind-3 hat acht Decoder-Schichten mit einer Breite von 768. Auf dem meta-Gerät von PyTorch haben wir 63.912.192 Modellparameter gezählt. Das Projekt rundet auf 64 Millionen. Die größte ursprüngliche GPT-3-Version hat mit 175 Milliarden Parametern rund 2.700-mal so viele. Ob das kleine Modell deine Supporttickets richtig einordnet, erfährst du mit einem Test auf diesen Tickets. Modellkonfiguration von MiniMind-3 · Originalveröffentlichung zu GPT-3

Unsere Anleitung zum Fine-Tuning von Gemma setzt bei vortrainierten Gewichten an. Unsere Analyse von Airbnbs Experiment mit einem kleinen Modell geht der Frage nach, wann sich ein spezialisiertes Modell im Produktivbetrieb rechnet.

Häufige Fragen zum Training mit MiniMind

Brauche ich die acht GPUs aus der Projektbeschreibung?
Die Entwickler nennen eine Workstation mit acht Karten als Referenzsystem. Ihre Schätzung für Zero bezieht sich auf eine einzelne RTX 3090 mit 24 GB Speicher. Ermittelst du den Aufwand für eine andere GPU, miss zuerst die Zeit pro Trainingsschritt bei deiner Batchgröße und Sequenzlänge.
Muss ich zuerst einen Tokenizer trainieren?
Für Zero nimmst du den Tokenizer aus dem Repository. Von Grund auf trainierst du hier die Gewichte des Sprachmodells. Mit demselben Tokenizer kannst du deine Checkpoints bei gleichem Vokabular und identischen Rollenmarkierungen vergleichen.
Kann ich MiniMind vor dem Training ausprobieren?
Ja. Das Projekt veröffentlicht auch vortrainierte Gewichte. Lade einen Checkpoint und sieh dir die Antworten an. Willst du den Effekt des Vortrainings beobachten, starte dafür einen separaten Lauf mit zufälligen Gewichten.
Erhalte ich nach zwei Stunden das veröffentlichte vollständige Modell?
Zero ist der kurze Trainingslauf für einen Dialog mit den beiden Mini-Datensätzen. Das Projekt beschreibt auch größere Korpora, längere Läufe und zusätzliche Trainingsziele. Halte Startgewichte, Datensätze und Stufen fest, wenn du deinen Checkpoint mit einem heruntergeladenen vergleichst.
Wo finde ich die Varianten für Bilder, multimodale Eingaben und Diffusion?
MiniMind-V ist das Projekt für Bilder und Sprache. MiniMind-O ist das separate multimodale Omni-Projekt. Das Sprachmodell mit Diffusion bezeichnen die Entwickler als experimentelle Erweiterung. Jede Variante nutzt einen eigenen Trainingsaufbau.

MiniMind-V für Bilder und Sprache · Das multimodale Projekt MiniMind-O · Experimentelles Diffusionssprachmodell

Die Pilotentscheidung mit Belegen treffen

Ein Workflow, repräsentative Beispiele und ein klares Abnahmeziel bilden den Ausgangspunkt. Daraus entstehen ein Evaluierungsdatensatz, Fehlergrenzen und die Nachweise für die Skalierung eines bestehenden KI-Systems.

Passender Service:

Postfach, ohne Lärm

Folge der Arbeit, die für dich zählt

Du bekommst eine kurze E-Mail, wenn wir etwas Neues veröffentlichen. Folge dem ganzen Blog oder nur den Themen, die dich interessieren.

Was möchtest du erhalten?
Themen auswählen

Kostenlos, Double-Opt-in, ohne Tracking-Pixel.

Zurück
Kevin Riedl

7 min Lesezeit · 16. November 2026
Zuletzt geprüft

Weiter

Erhalte die nächste Feldnotiz zu AI und Agents

Eine kurze E-Mail, wenn wir veröffentlichen. Ohne Tracking-Pixel und ohne Postfachfüller.

Kostenlos, Double-Opt-in, ohne Tracking-Pixel.