En este artículo
¿Cuánto tarda en entrenarse MiniMind desde cero en una RTX 3090?
Cuando llamas a un modelo por API, recibes una respuesta. Con MiniMind puedes averiguar cómo llegó a aprender a responder. Primero entrenas unos pesos inicializados al azar para que predigan el siguiente token. Después le enseñas al modelo qué parte del diálogo debe contestar. Guarda los dos puntos de control y prueba la misma pregunta con ambos.
¿Qué incluye la estimación de dos horas de MiniMind?
Para entrenar el modelo denso MiniMind-3 Zero de 64 millones de parámetros, los autores estiman 2,31 horas en una sola RTX 3090 de 24 GB. Eso equivale a unas 2 horas y 19 minutos para recorrer una vez cada uno de los dos conjuntos de datos. La nota inicial del README atribuye unas dos horas a otra medición, una sola época de ajuste supervisado. Los autores no explican la diferencia. Para planificar las dos etapas, usa el desglose. Aclaración inicial del proyecto sobre las dos horas
| Etapa | Tiempo de GPU | Alquiler estimado |
|---|---|---|
| Preentrenamiento con el corpus de texto reducido | 1,21 h | 1,57 CNY |
| Ajuste supervisado con los diálogos del conjunto reducido | 1,10 h | 1,43 CNY |
| Ambas etapas, una época por etapa | 2,31 h | 3,00 CNY |
Una época es una pasada completa por un conjunto de datos. Cuenta aparte el tiempo de descargar los archivos y configurar PyTorch. El proyecto también presupuesta por separado el entrenamiento para usar herramientas y el aprendizaje por refuerzo. Si quieres llegar desde unos pesos aleatorios hasta la primera conversación, puedes parar después de la segunda etapa. Estimaciones de GPU para cada etapa
¿Cómo se entrena desde cero con una sola época por etapa?
Usa los dos archivos _mini.jsonl, el tokenizador del proyecto y una copia limpia del repositorio. Añade --epochs 1 a ambos comandos. Cada script ejecuta dos épocas por defecto. Con --from_weight none, el preentrenamiento empieza con pesos aleatorios. El ajuste supervisado (SFT) carga el punto de control llamado pretrain. Parámetros del preentrenamiento · Parámetros del ajuste supervisado
Clona https://github.com/jingyaogong/minimind.git y entra en el repositorio. Ejecuta estos comandos en un entorno de Python limpio con una versión de PyTorch compatible con CUDA y tu GPU. Antes de alquilar tiempo para el entrenamiento, comprueba que la última línea imprime True en la máquina que vayas a usar. El bucle de optimización está escrito en PyTorch. Los scripts usan además Transformers para el tokenizador y Datasets para leer los ejemplos. Dependencias de Python de esta revisión
git checkout 233d00fa068ec2b8c0d4f07b703934d6391a5a73
python -m pip install -r requirements.txt
python -c "import torch; print(torch.cuda.is_available())"Coloca pretrain_t2t_mini.jsonl y sft_t2t_mini.jsonl en dataset/. Según el proyecto, ocupan unos 1,2 y 1,6 GB. Los archivos sin _mini corresponden a los corpus grandes, de 10 y 14 GB. La limpieza y la eliminación de duplicados se hacen al preparar los datos. Zero parte de archivos ya preparados y reutiliza el vocabulario para que puedas dedicar la sesión a observar cómo cambian los pesos. Descarga de los datos de entrenamiento de MiniMind
cd trainer
python train_pretrain.py --epochs 1 --from_weight none
python train_full_sft.py --epochs 1 --from_weight pretrain
cd ..
python eval_llm.py --weight pretrain --max_new_tokens 80
python eval_llm.py --weight full_sft --max_new_tokens 80Los pesos se guardan en out/pretrain_768.pth y out/full_sft_768.pth. Sal de la primera evaluación interactiva antes de abrir la segunda. Dale al modelo base un texto breve para que lo continúe. Al modelo ajustado, pídele que siga una instrucción sencilla. Guarda las entradas y las respuestas. El evaluador usa texto continuo para el modelo base y aplica la plantilla de conversación al ajustado. Carga de pesos y entradas de evaluación
Comprobamos el paso de una etapa a otra en CPU con los scripts de esa revisión, una capa de dimensión 64 y dos ejemplos sintéticos por etapa. Cada script guardó sus pesos. El evaluador cargó ambos archivos y generó cuatro tokens con cada modelo. Esta prueba verifica que el flujo funciona de principio a fin. La estimación para el modelo de 64 millones en GPU es del proyecto.
¿Por qué puede haber ejemplos válidos que no enseñen nada al modelo?
Un diálogo puede ser un JSON válido y aportar cero tokens de respuesta al entrenamiento. El cargador de SFT aplica la plantilla de conversación, recorta el texto tokenizado y marca qué tokens de la respuesta debe aprender el modelo. Si el mensaje del usuario ocupa las 768 posiciones antes de que aparezca el marcador del asistente, la función de pérdida descarta todo el ejemplo. Plantilla de chat, recorte y selección de etiquetas
Probamos sin conexión el tokenizador y el cargador de SFT con dos diálogos sintéticos y el mismo mensaje de sistema. En ambos, el asistente responde OK. En el diálogo corto quedaron cuatro posiciones para el entrenamiento, incluidas la marca de fin y la de salto de línea. Al repetir status 500 veces en el mensaje del usuario, quedaron cero. El recorte había eliminado la respuesta entera.
Descarga la prueba de etiquetas de SFT. Desde la raíz de la revisión indicada de MiniMind, ejecuta python /path/to/minimind-sft-target-check.py en el mismo entorno. Puedes hacerlo sin descargar los pesos del modelo. Después, prueba con las conversaciones de soporte más largas. Cuenta las etiquetas distintas de -100 después del recorte. Si la cuenta da cero, acorta o divide el diálogo y decodifica las etiquetas restantes para ver qué aprenderá el modelo. La pérdida media puede bajar aunque algunos ejemplos no hayan aportado nada.
¿Qué método conviene probar después del ajuste supervisado?
Elige el método según los datos de los que dispongas. Una colección de buenas respuestas sirve para el ajuste supervisado. Si un revisor ha comparado pares de respuestas y ha elegido la mejor, puedes probar DPO. Cuando el resultado se puede puntuar, como ocurre con los argumentos de una calculadora, tiene sentido probar el aprendizaje por refuerzo. El repositorio incluye un script para cada método. Scripts de entrenamiento de MiniMind
| Método | Qué aportas o compruebas |
|---|---|
| LoRA | Entrenas adaptadores pequeños con ejemplos de tu dominio y conservas los pesos del modelo base. |
| DPO | Aportas una respuesta elegida y otra descartada para la misma petición. El par expresa la preferencia. |
| PPO y GRPO | Generas respuestas y las puntúas. PPO aprende a estimar el valor. GRPO compara las recompensas obtenidas por varias respuestas a la misma petición. |
| Uso de herramientas y aprendizaje por refuerzo en agentes | Los ejemplos de llamadas enseñan el formato. En el entrenamiento del agente, una herramienta devuelve un resultado que el modelo puede usar en el turno siguiente. La función de pérdida predeterminada es CISPO y también se puede elegir GRPO. |
| Destilación | Las respuestas de un modelo profesor sirven como ejemplos de SFT. El script de destilación también permite aprender de las probabilidades que ese profesor asigna a los posibles tokens siguientes. |
Pide al modelo que sume dos precios y mira la llamada. La calculadora acepta un único argumento de texto, expression. Cambia los precios y repite la prueba. Puedes comprobar por separado el operador, los dos números de la expresión y la suma que devuelve. Entrenamiento del agente y herramientas incluidas
¿Cuándo merece la pena entrenar MiniMind y cuándo conviene reutilizar pesos?
Yo entrenaría MiniMind desde cero para entender qué aportan el tokenizador, la máscara que selecciona los tokens para calcular la pérdida y el optimizador. Si el objetivo del equipo es clasificar incidencias o adaptar el tono de un producto, primero probaría un modelo existente con ejemplos etiquetados. Así tendría una referencia antes de invertir en un corpus nuevo.
El MiniMind-3 denso tiene ocho capas de decodificación y una dimensión oculta de 768. Al contar los tensores del modelo con el dispositivo meta de PyTorch obtuvimos 63.912.192 parámetros, que el proyecto redondea a 64 millones. El mayor GPT-3 original tenía 175.000 millones, unas 2.700 veces más. La proporción compara el número de parámetros. Si lo que te importa es cómo resuelve incidencias, evalúalo con incidencias reales. Configuración de MiniMind-3 · Artículo original de GPT-3
La guía de ajuste de Gemma parte de pesos preentrenados. En el análisis del modelo especializado de Airbnb examinamos qué pruebas justifican llevar un modelo pequeño a producción.
Preguntas sobre el entrenamiento de MiniMind
¿Necesito las ocho GPU que figuran en la configuración del proyecto?
¿Tengo que entrenar primero un tokenizador?
¿Puedo probar MiniMind antes de entrenarlo?
¿Obtendré el modelo completo publicado si lo entreno durante dos horas?
¿Dónde están las versiones de visión, multimodal y de difusión?
Proyecto de visión MiniMind-V · Proyecto multimodal MiniMind-O · Modelo experimental de lenguaje por difusión
