¿Cuánto tarda en entrenarse MiniMind desde cero en una RTX 3090?

Volver
Kevin Riedl

7 min de lectura · 16 de noviembre de 2026
Última revisión

Siguiente
Se crea en tu dispositivo, sin conectar con Instagram. Copiamos el enlace para su sticker de enlace.

Cuando llamas a un modelo por API, recibes una respuesta. Con MiniMind puedes averiguar cómo llegó a aprender a responder. Primero entrenas unos pesos inicializados al azar para que predigan el siguiente token. Después le enseñas al modelo qué parte del diálogo debe contestar. Guarda los dos puntos de control y prueba la misma pregunta con ambos.

¿Qué incluye la estimación de dos horas de MiniMind?

Para entrenar el modelo denso MiniMind-3 Zero de 64 millones de parámetros, los autores estiman 2,31 horas en una sola RTX 3090 de 24 GB. Eso equivale a unas 2 horas y 19 minutos para recorrer una vez cada uno de los dos conjuntos de datos. La nota inicial del README atribuye unas dos horas a otra medición, una sola época de ajuste supervisado. Los autores no explican la diferencia. Para planificar las dos etapas, usa el desglose. Aclaración inicial del proyecto sobre las dos horas

MiniMind-3 Zero en una RTX 3090, con la tarifa de alquiler de 1,30 CNY por hora usada por el proyecto
EtapaTiempo de GPUAlquiler estimado
Preentrenamiento con el corpus de texto reducido1,21 h1,57 CNY
Ajuste supervisado con los diálogos del conjunto reducido1,10 h1,43 CNY
Ambas etapas, una época por etapa2,31 h3,00 CNY

Una época es una pasada completa por un conjunto de datos. Cuenta aparte el tiempo de descargar los archivos y configurar PyTorch. El proyecto también presupuesta por separado el entrenamiento para usar herramientas y el aprendizaje por refuerzo. Si quieres llegar desde unos pesos aleatorios hasta la primera conversación, puedes parar después de la segunda etapa. Estimaciones de GPU para cada etapa

¿Cómo se entrena desde cero con una sola época por etapa?

Usa los dos archivos _mini.jsonl, el tokenizador del proyecto y una copia limpia del repositorio. Añade --epochs 1 a ambos comandos. Cada script ejecuta dos épocas por defecto. Con --from_weight none, el preentrenamiento empieza con pesos aleatorios. El ajuste supervisado (SFT) carga el punto de control llamado pretrain. Parámetros del preentrenamiento · Parámetros del ajuste supervisado

Clona https://github.com/jingyaogong/minimind.git y entra en el repositorio. Ejecuta estos comandos en un entorno de Python limpio con una versión de PyTorch compatible con CUDA y tu GPU. Antes de alquilar tiempo para el entrenamiento, comprueba que la última línea imprime True en la máquina que vayas a usar. El bucle de optimización está escrito en PyTorch. Los scripts usan además Transformers para el tokenizador y Datasets para leer los ejemplos. Dependencias de Python de esta revisión

git checkout 233d00fa068ec2b8c0d4f07b703934d6391a5a73
python -m pip install -r requirements.txt
python -c "import torch; print(torch.cuda.is_available())"

Coloca pretrain_t2t_mini.jsonl y sft_t2t_mini.jsonl en dataset/. Según el proyecto, ocupan unos 1,2 y 1,6 GB. Los archivos sin _mini corresponden a los corpus grandes, de 10 y 14 GB. La limpieza y la eliminación de duplicados se hacen al preparar los datos. Zero parte de archivos ya preparados y reutiliza el vocabulario para que puedas dedicar la sesión a observar cómo cambian los pesos. Descarga de los datos de entrenamiento de MiniMind

cd trainer
python train_pretrain.py --epochs 1 --from_weight none
python train_full_sft.py --epochs 1 --from_weight pretrain
cd ..
python eval_llm.py --weight pretrain --max_new_tokens 80
python eval_llm.py --weight full_sft --max_new_tokens 80

Los pesos se guardan en out/pretrain_768.pth y out/full_sft_768.pth. Sal de la primera evaluación interactiva antes de abrir la segunda. Dale al modelo base un texto breve para que lo continúe. Al modelo ajustado, pídele que siga una instrucción sencilla. Guarda las entradas y las respuestas. El evaluador usa texto continuo para el modelo base y aplica la plantilla de conversación al ajustado. Carga de pesos y entradas de evaluación

Comprobamos el paso de una etapa a otra en CPU con los scripts de esa revisión, una capa de dimensión 64 y dos ejemplos sintéticos por etapa. Cada script guardó sus pesos. El evaluador cargó ambos archivos y generó cuatro tokens con cada modelo. Esta prueba verifica que el flujo funciona de principio a fin. La estimación para el modelo de 64 millones en GPU es del proyecto.

¿Por qué puede haber ejemplos válidos que no enseñen nada al modelo?

Un diálogo puede ser un JSON válido y aportar cero tokens de respuesta al entrenamiento. El cargador de SFT aplica la plantilla de conversación, recorta el texto tokenizado y marca qué tokens de la respuesta debe aprender el modelo. Si el mensaje del usuario ocupa las 768 posiciones antes de que aparezca el marcador del asistente, la función de pérdida descarta todo el ejemplo. Plantilla de chat, recorte y selección de etiquetas

Probamos sin conexión el tokenizador y el cargador de SFT con dos diálogos sintéticos y el mismo mensaje de sistema. En ambos, el asistente responde OK. En el diálogo corto quedaron cuatro posiciones para el entrenamiento, incluidas la marca de fin y la de salto de línea. Al repetir status 500 veces en el mensaje del usuario, quedaron cero. El recorte había eliminado la respuesta entera.

Descarga la prueba de etiquetas de SFT. Desde la raíz de la revisión indicada de MiniMind, ejecuta python /path/to/minimind-sft-target-check.py en el mismo entorno. Puedes hacerlo sin descargar los pesos del modelo. Después, prueba con las conversaciones de soporte más largas. Cuenta las etiquetas distintas de -100 después del recorte. Si la cuenta da cero, acorta o divide el diálogo y decodifica las etiquetas restantes para ver qué aprenderá el modelo. La pérdida media puede bajar aunque algunos ejemplos no hayan aportado nada.

¿Qué método conviene probar después del ajuste supervisado?

Elige el método según los datos de los que dispongas. Una colección de buenas respuestas sirve para el ajuste supervisado. Si un revisor ha comparado pares de respuestas y ha elegido la mejor, puedes probar DPO. Cuando el resultado se puede puntuar, como ocurre con los argumentos de una calculadora, tiene sentido probar el aprendizaje por refuerzo. El repositorio incluye un script para cada método. Scripts de entrenamiento de MiniMind

Métodos disponibles según lo que quieras que aprenda el modelo
MétodoQué aportas o compruebas
LoRAEntrenas adaptadores pequeños con ejemplos de tu dominio y conservas los pesos del modelo base.
DPOAportas una respuesta elegida y otra descartada para la misma petición. El par expresa la preferencia.
PPO y GRPOGeneras respuestas y las puntúas. PPO aprende a estimar el valor. GRPO compara las recompensas obtenidas por varias respuestas a la misma petición.
Uso de herramientas y aprendizaje por refuerzo en agentesLos ejemplos de llamadas enseñan el formato. En el entrenamiento del agente, una herramienta devuelve un resultado que el modelo puede usar en el turno siguiente. La función de pérdida predeterminada es CISPO y también se puede elegir GRPO.
DestilaciónLas respuestas de un modelo profesor sirven como ejemplos de SFT. El script de destilación también permite aprender de las probabilidades que ese profesor asigna a los posibles tokens siguientes.

Pide al modelo que sume dos precios y mira la llamada. La calculadora acepta un único argumento de texto, expression. Cambia los precios y repite la prueba. Puedes comprobar por separado el operador, los dos números de la expresión y la suma que devuelve. Entrenamiento del agente y herramientas incluidas

¿Cuándo merece la pena entrenar MiniMind y cuándo conviene reutilizar pesos?

Yo entrenaría MiniMind desde cero para entender qué aportan el tokenizador, la máscara que selecciona los tokens para calcular la pérdida y el optimizador. Si el objetivo del equipo es clasificar incidencias o adaptar el tono de un producto, primero probaría un modelo existente con ejemplos etiquetados. Así tendría una referencia antes de invertir en un corpus nuevo.

El MiniMind-3 denso tiene ocho capas de decodificación y una dimensión oculta de 768. Al contar los tensores del modelo con el dispositivo meta de PyTorch obtuvimos 63.912.192 parámetros, que el proyecto redondea a 64 millones. El mayor GPT-3 original tenía 175.000 millones, unas 2.700 veces más. La proporción compara el número de parámetros. Si lo que te importa es cómo resuelve incidencias, evalúalo con incidencias reales. Configuración de MiniMind-3 · Artículo original de GPT-3

La guía de ajuste de Gemma parte de pesos preentrenados. En el análisis del modelo especializado de Airbnb examinamos qué pruebas justifican llevar un modelo pequeño a producción.

Preguntas sobre el entrenamiento de MiniMind

¿Necesito las ocho GPU que figuran en la configuración del proyecto?
Los autores describen una estación con ocho tarjetas como equipo de referencia. Para la estimación de Zero usan una sola RTX 3090 con 24 GB. Si utilizas otra GPU, registra el tamaño de lote, la longitud de secuencia y el tiempo por paso antes de calcular cuánto tardará una época.
¿Tengo que entrenar primero un tokenizador?
Zero reutiliza el tokenizador del repositorio. Lo que se entrena desde cero son los pesos del modelo de lenguaje. Así puedes comparar las distintas etapas con el mismo vocabulario y las mismas marcas de conversación.
¿Puedo probar MiniMind antes de entrenarlo?
Sí. Los autores publican pesos preentrenados que puedes cargar para ver cómo responde el modelo. Si quieres averiguar qué aporta el preentrenamiento, reserva otra ejecución para empezar con pesos aleatorios y observar cómo cambian.
¿Obtendré el modelo completo publicado si lo entreno durante dos horas?
Zero es la variante de diálogo que se entrena con los dos archivos reducidos. El proyecto también describe corpus más grandes, ejecuciones más largas y otros objetivos. Al comparar unos pesos publicados con los tuyos, anota el punto de partida, los datos y las etapas de cada modelo.
¿Dónde están las versiones de visión, multimodal y de difusión?
MiniMind-V es el proyecto de visión y lenguaje. MiniMind-O es el proyecto multimodal Omni. Los autores presentan el modelo de lenguaje por difusión como una extensión experimental. Cada uno tiene su propio proceso de entrenamiento.

Proyecto de visión MiniMind-V · Proyecto multimodal MiniMind-O · Modelo experimental de lenguaje por difusión

Decide sobre el piloto con evidencias

Parte de un flujo de trabajo, ejemplos representativos y el resultado que necesitas aceptar. Define un conjunto de evaluación, límites de error y las evidencias necesarias antes de escalar un sistema de IA existente.

Servicio relevante:

Tu bandeja, sin ruido

Sigue el trabajo que te importa

Recibe un correo breve cuando publiquemos algo nuevo. Sigue todo el blog o solo los temas que te interesan.

¿Qué quieres recibir?
Elige tus temas

Gratis, doble opt-in y sin píxeles de seguimiento.

Volver
Kevin Riedl

7 min de lectura · 16 de noviembre de 2026
Última revisión

Siguiente

Recibe la próxima nota de campo sobre IA y agentes

Un correo breve cuando publiquemos. Sin píxeles de seguimiento ni contenido de relleno.

Gratis, doble opt-in y sin píxeles de seguimiento.