Asistente de programación con IA local multimodal: voz, OCR y arquitectura de privacidad

Un asistente de programación con IA local multimodal no es un gran modelo con micrófono. Es una cadena controlada: un modelo de voz transcribe la intención, un modelo de OCR o visión lee regiones seleccionadas de la pantalla, un modelo de razonamiento planifica el cambio y un intermediario limita el acceso al editor, terminal y repositorio. El valor empresarial no está en repetir “cero nube”. Está en tener un flujo de datos que se pueda inspeccionar, probar y mantener dentro de un límite aprobado.

Esta guía responde a la pregunta de integración que plantea un setup viral con DeepSeek V4 Flash, NVIDIA Nemotron 3.5 ASR, GLM-OCR y un HP ZGX Nano con NVIDIA GB10. No repite nuestro análisis de hardware y cuantización para DeepSeek V4 Flash, la review de producción de Nemotron 3.5 ASR ni la guía de compra de agentes de programación multimodelo. Aquí explicamos cómo encajan esas capacidades en un flujo privado, dónde fallan las promesas de privacidad y qué debe verificar una empresa antes de comprar hardware.

¿Qué es un asistente de programación con IA local multimodal?

Es un sistema que acepta algo más que texto escrito y ejecuta inferencia en infraestructura bajo tu control. La voz se convierte en texto, las imágenes elegidas en observaciones estructuradas y el contexto del repositorio en un conjunto acotado de evidencias. Solo entonces el modelo de razonamiento puede proponer o solicitar una acción de desarrollo.

La última fila suele faltar en las demos. Los modelos no deciden qué ventana se captura, si puede ejecutarse un comando ni dónde se guardan las transcripciones. Eso lo decide la integración. Trátala como un producto sensible a la seguridad, no como código de pegamento.

¿Son correctas las afirmaciones del setup de LinkedIn?

Los componentes son plausibles, pero “100 % local” debe comprobarse a nivel de sistema. Las fuentes primarias admiten despliegue local para cada familia. No demuestran que una extensión concreta de VS Code, el servicio de actualizaciones, la telemetría, el instalador o los registros no usen la red.

También existe una trampa de versiones. La identificación pública oficial actual es deepseek-ai/DeepSeek-V4-Flash, mientras “0731” describe una versión fechada en conversaciones de la comunidad. Un manifiesto de producción debe fijar una revisión o digest, no confiar en un nombre móvil.

Arquitectura de referencia en siete etapas acotadas

1. Captura: acepta audio mediante pulsar para hablar o una región de pantalla elegida. No grabes continuamente la sala o el escritorio por defecto.
2. Percepción: transcribe audio y extrae texto o diseño de la imagen en servicios locales separados.
3. Normalización: conserva la evidencia bruta solo el tiempo necesario y entrega campos estructurados como intención, archivo, error y confianza.
4. Cuarentena: marca OCR, logs, páginas y código como datos no confiables. No mezcles sus instrucciones con la política del sistema.
5. Razonamiento: entrega al planificador el mínimo contexto necesario para proponer el cambio y sus pruebas.
6. Autorización: pasa cada acción de editor o terminal por una política determinista y solicita aprobación cuando cruza un límite.
7. Verificación: ejecuta pruebas, inspecciona el diff, registra versiones y acepta o revierte el cambio.

Esta separación permite sustituir modelos. Un mejor ASR no necesita nuevos permisos. Un OCR más pequeño no obtiene acceso al terminal. Un nuevo modelo de razonamiento recibe las mismas observaciones estructuradas y los mismos criterios de aceptación.

¿Por qué usar modelos pequeños y especializados?

Los modelos de percepción pequeños reducen latencia, presión de memoria y exposición de datos cuando la tarea está bien delimitada. El modelo de voz no necesita escribir en el repositorio. El OCR no necesita ver toda la pantalla. Ambos devuelven un resultado reducido y revisable al orquestador.

Eso no garantiza precisión. Crea evaluaciones específicas:

• audios con nombres de librerías, rutas, siglas, idiomas mezclados y ruido;
• capturas de terminal con letra pequeña, trazas partidas, temas oscuros y líneas truncadas;
• diagnósticos del IDE donde color, icono o posición alteran el significado;
• capturas con instrucciones visibles u ocultas que intentan redirigir al agente;
• casos en los que la respuesta correcta es “no estoy seguro, pregunta”.

Consulta la review específica de Nemotron para niveles de idioma, límites de streaming y alternativas. Usa el análisis de DeepSeek para memoria y cuantización. Sumar cifras de fichas técnicas no sustituye probar el flujo combinado.

Cómo demostrar “cero llamadas a la nube”

La inferencia offline es una propiedad del comportamiento de red medido y de la configuración, no una etiqueta. Visual Studio Code documenta conexiones para actualizaciones, marketplace, sincronización y telemetría. Su guía de red lista los servicios y la guía de telemetría explica cómo desactivarla. Microsoft también advierte que algunas extensiones tienen comportamiento propio.

Una prueba defendible debe:

• partir de un inventario con versiones fijadas de modelos y extensiones;
• desactivar sincronización, telemetría, actualizaciones automáticas y extensiones innecesarias;
• bloquear tráfico saliente por defecto y permitir solo destinos necesarios;
• capturar DNS y flujos durante voz, OCR, planificación, edición, pruebas y fallos;
• revisar logs, informes de error, retención de transcripciones, cachés y copias;
• repetir después de cada actualización;
• publicar el límite real: offline, solo local, híbrido o asistido por nube.

“No entrenar con tus datos”, “retención cero” y “sin transferencia” son compromisos distintos. Algunos servicios empresariales ofrecen controles contractuales. Anthropic documenta acuerdos de retención cero para clientes API elegibles. La ejecución local puede seguir siendo la mejor decisión, pero conviene comparar flujos verificables, contratos, capacidad y coste, no tratar toda nube como igual.

Local no elimina el riesgo de seguridad

Un agente local puede filtrar secretos, borrar archivos o ejecutar instrucciones hostiles sin enviar prompts al proveedor. El riesgo se desplaza hacia el endpoint, la cadena de suministro, la autorización de herramientas y la recuperación.

• Trata el OCR como entrada hostil. La guía de OWASP sobre prompt injection cubre instrucciones multimodales ocultas y recomienda privilegio mínimo, control de acciones y aprobación humana.
• Verifica cada artefacto descargado. La guía de cadena de suministro LLM de OWASP cubre modelos, adaptadores, paquetes, licencias y componentes obsoletos.

Ejecuta la integración bajo otra identidad del sistema o contenedor cuando sea viable. Monta solo el worktree activo, permite pocos comandos, mantiene secretos fuera del entorno legible y exige revisión antes de commits, pushes, despliegues o acciones destructivas.

¿Cabe todo en un GB10 con 128 GB?

Los dos modelos de percepción son pequeños. La cuantización de DeepSeek y el contexto deciden el margen. Un ASR de 0.6B y un OCR de 0.9B son modestos frente a un modelo mixture-of-experts de 284B parámetros totales. Cuantizaciones agresivas pueden caber en 128 GB, pero el sistema, runtime, estado de contexto, buffers, IDE y servicios concurrentes necesitan memoria.

• Residente: mantén todos los modelos cargados después de medir el pico de memoria.
• Por etapas: mantén ASR y razonamiento residentes y carga OCR solo para una captura explícita.
• Dividido: mueve la percepción a otro dispositivo aprobado si memoria o latencia perjudican al modelo principal.

No compres una estación porque los pesos cargan una vez. Mide tiempo al primer token, parciales de voz, OCR, viajes de herramientas, temperatura y éxito durante una sesión realista. Nuestro marco de rentabilidad de modelos locales frente a API cubre amortización, utilización, energía e ingeniería sin duplicar aquí la intención de TCO.

¿Construir, comprar o usar un enfoque híbrido?

La respuesta depende de la clasificación de datos y el coste del error. La Comisión Europea destaca minimización, integridad y confidencialidad. Procesar en local puede ayudar, pero no sustituye finalidad, acceso, retención ni gestión de incidentes.

Plan de 30 días para un asistente privado

1. Días 1 a 5: elige un repositorio, un flujo, datos prohibidos, herramientas permitidas y objetivo offline o híbrido.
2. Días 6 a 10: prueba al menos 50 audios y 50 capturas representativas. Registra precisión, incertidumbre y latencia.
3. Días 11 a 15: integra en modo de solo lectura para explicar código, errores y parches sin escribir ni ejecutar.
4. Días 16 a 20: habilita cambios en worktrees y una lista pequeña de comandos de prueba con revisión y rollback.
5. Días 21 a 25: bloquea salida, captura tráfico, revisa logs y prueba prompt injection por audio, imágenes, archivos y herramientas.
6. Días 26 a 30: compara aceptación, ciclo, revisión, incidentes y coste con el flujo actual.

El contexto importa más que la modalidad llamativa. Instrucciones del repositorio, mapas de arquitectura y pruebas fiables determinan si el modelo actúa con seguridad. Nuestro análisis los agentes de programación necesitan contexto, no solo inteligencia explica cómo preparar ese entorno.

Cuadro de mando del piloto

• Aceptación de tareas: cambios aceptados sin segundo intento.
• Precisión de intención hablada: intención correcta, no solo tasa de palabras.
• Evidencia OCR: error, archivo, línea y diseño correctos.
• Latencia completa: desde voz o captura hasta propuesta revisable.
• Acciones inseguras: solicitudes denegadas, fuera de alcance o con aprobación.
• Límite de red: conexiones DNS o salientes inesperadas.
• Minutos de revisión: tiempo humano por cambio aceptado.
• Coste por tarea aceptada: hardware, energía, mantenimiento, reintentos y personas.

Los recursos del AI Risk Management Framework de NIST enfatizan prueba, evaluación, verificación y validación durante todo el ciclo. También se aplica a agentes locales. Una demo demuestra posibilidad, no preparación para producción.

Qué puede implementar Wavect

Wavect convierte una demo local en una plataforma medible: selección de carga y hardware, serving, integración con VS Code, controles de captura, autorización, worktrees, evaluaciones, pruebas de privacidad, observabilidad y fallback híbrido. Empieza con nuestro servicio de consultoría e implementación de IA para diseñar el sistema, o con AI Enablement para un piloto acotado y despliegue interno.

El primer proyecto debe responder una pregunta comercial: ¿cumple el flujo los objetivos de calidad, privacidad y latencia con un coste ajustado al riesgo menor que la alternativa aprobada? No debería empezar comprando una flota ni prometiendo “poseer la IA”.

Fuentes y vigencia

Verificamos tamaño, licencia y despliegue el 5 de agosto de 2026 con NVIDIA NeMo, el repositorio GLM-OCR de Z.ai y la ficha oficial de DeepSeek. Las especificaciones ZGX proceden de HP QuickSpecs. Red y telemetría proceden de VS Code. Los controles de seguridad son de OWASP, los principios de privacidad de la Comisión Europea y la evaluación de NIST. Wavect no realizó un benchmark independiente del stack exacto. Los informes de la comunidad aportaron la pregunta, no la evidencia de rendimiento.