Fine-Tuning
Das Weitertrainieren eines Modells auf eigenen Beispielen, um sein Verhalten zu ändern: richtig für Stil und Format, falsch für frische Fakten.
Fine-Tuning nimmt ein vortrainiertes Modell und trainiert es weiter auf einem kuratierten Satz eigener Beispiele, wobei die Gewichte des Modells so angepasst werden, dass es zum gezeigten Verhalten tendiert. Du nutzt es, um einen konsistenten Ton, ein bestimmtes Ausgabeformat, ein Fachvokabular oder eine Aufgabe einzubacken, die das Basismodell unbeholfen behandelt. Es ändert, wie das Modell antwortet, nicht auf welche Fakten es Zugriff hat.
Die Entscheidung, auf die es wirklich ankommt, ist Fine-Tuning gegen RAG, und ständig wird sie falsch herum getroffen. RAG speist frische, sich ändernde Fakten zur Laufzeit ein, indem es aus deinen Daten abruft, die Antwort ist also nur so aktuell wie dein letztes Dokument-Update. Fine-Tuning lehrt dauerhaftes Verhalten, friert das Wissen aber zum Trainingszeitpunkt ein, ist also das falsche Werkzeug, wenn sich deine Fakten ändern. Die Faustregel: Tunen für die Form, abrufen für die Fakten. Viele echte Systeme nutzen beides, ein fine-getuntes Modell, das im eigenen Hausstil antwortet, geerdet durch Retrieval für die Live-Daten.
Die Kostenrealität ist weniger furchteinflößend als früher, aber real. Du brauchst einen sauberen, gelabelten Datensatz (meist Hunderte bis Tausende Beispiele), den Trainingslauf selbst und die laufenden Kosten für erneutes Tuning, jedes Mal wenn sich das Basismodell verbessert oder deine Anforderungen verschieben. Diese letzten Kosten vergessen Teams. Ein Fine-Tune ist kein einmaliges Projekt, sondern eine Wartungsverpflichtung.
Praxisbeispiel, wo Fine-Tuning klar gewinnt: Ein Unternehmen braucht jede Modellantwort als striktes JSON nach einem internen Schema, mit einem bestimmten knappen Hausstil, über Millionen von Aufrufen hinweg. Prompting schafft das meistens, aber die gelegentliche fehlerhafte Antwort bricht das nachgelagerte System, und den vollständigen Styleguide samt Schema in jeden Prompt zu stopfen verbrennt bei jedem Aufruf Token. Ein Fine-Tune backt Format und Ton in die Gewichte des Modells, sodass die Anweisungen nicht mehr im Kontext wiederholt werden müssen, was Antworten bei diesem Volumen sowohl verlässlicher als auch pro Aufruf günstiger macht. Das ist der Sweet Spot: dauerhaftes Verhalten, hohes Aufrufvolumen und ein Format, das Prompting nicht ganz konsistent trifft.
Wann gewinnt Fine-Tuning klar? Wenn Prompting plus Retrieval das nötige Format oder Verhalten nicht verlässlich erzeugen können und du genug hochwertige Beispiele hast, um es zu lehren. Im Zweifel schöpfe zuerst Prompting und RAG aus, denn sie sind billiger zu ändern. Diese Build-gegen-Tune-Entscheidung treffen wir unter Künstliche Intelligenz .