Fine-Tuning
Das Weitertrainieren eines Modells auf eigenen Beispielen, um sein Verhalten zu ändern. Das richtige Werkzeug für Stil und Format und das falsche, um frische Fakten einzuspeisen.
Fine-Tuning nimmt ein vortrainiertes Modell und trainiert es weiter auf einem kuratierten Satz eigener Beispiele, wobei die Gewichte des Modells so angepasst werden, dass es zum gezeigten Verhalten tendiert. Du nutzt es, um einen konsistenten Ton, ein bestimmtes Ausgabeformat, ein Fachvokabular oder eine Aufgabe einzubacken, die das Basismodell unbeholfen behandelt. Es ändert, wie das Modell antwortet, nicht auf welche Fakten es Zugriff hat.
Die Entscheidung, auf die es wirklich ankommt, ist Fine-Tuning gegen RAG, und ständig wird sie falsch herum getroffen. RAG speist frische, sich ändernde Fakten zur Laufzeit ein, indem es aus deinen Daten abruft, die Antwort ist also nur so aktuell wie dein letztes Dokument-Update. Fine-Tuning lehrt dauerhaftes Verhalten, friert das Wissen aber zum Trainingszeitpunkt ein, ist also das falsche Werkzeug, wenn sich deine Fakten ändern. Die Faustregel: Tunen für die Form, abrufen für die Fakten. Viele echte Systeme nutzen beides, ein fine-getuntes Modell, das im eigenen Hausstil antwortet, geerdet durch Retrieval für die Live-Daten.
Die Kostenrealität ist weniger furchteinflößend als früher, aber real. Du brauchst einen sauberen, gelabelten Datensatz (meist Hunderte bis Tausende Beispiele), den Trainingslauf selbst und die laufenden Kosten für erneutes Tuning, jedes Mal wenn sich das Basismodell verbessert oder deine Anforderungen verschieben. Diese letzten Kosten vergessen Teams. Ein Fine-Tune ist kein einmaliges Projekt, sondern eine Wartungsverpflichtung.
Wann gewinnt Fine-Tuning klar? Wenn Prompting plus Retrieval das nötige Format oder Verhalten nicht verlässlich erzeugen können und du genug hochwertige Beispiele hast, um es zu lehren. Im Zweifel schöpfe zuerst Prompting und RAG aus, denn sie sind billiger zu ändern. Diese Build-gegen-Tune-Entscheidung treffen wir unter Künstliche Intelligenz.