Por qué OpenLedger apuesta por la IA especializada

Introducción

Kevin 0:00 Hola a todos. Hoy voy a hablar con Ram Kumar, uno de los colaboradores del equipo central de OpenLedger, y vamos a hablar de IA especializada en cadena y de por qué [inaudible] está mal ahora mismo. Es una conversación superinteresante porque intento entrar de verdad en los detalles técnicos y, por supuesto, sigue siendo lo bastante general como para que también la entienda la gente sin formación técnica.

Kevin 0:23 Pero es una conversación muy entretenida y muy buena, en la que también hago algunas preguntas más críticas para entender de verdad qué están construyendo y qué problemas están resolviendo. Y, personalmente, aprendí mucho. Me gustó mucho. Así que estoy bastante seguro de que ustedes también van a disfrutar de la conversación.

0:42 Wavect, la empresa de software Web3 que entiende lo que quieres.

Kevin 0:48 Eh, tenemos ChatGPT, Claude y todos estos modelos de propósito general, y claro, todo el mundo los conoce. Todo el mundo los usa. Al menos eso parece. Y mientras todo el mundo usa estos modelos de propósito general, ustedes se están centrando en los modelos especializados, ¿no? ¿Podrías explicarnos un poco por qué crees que el futuro va por ahí y no por ese gran modelo, eh, todo en uno?

Cuándo conviene la IA especializada

Ram Kumar 1:21 Sí, solo para aclararlo, eh, usamos modelos de lenguaje más grandes y los especializamos. Bueno, lo que creemos es que los LLM van a seguir existiendo. Van a llegar más modelos. Van a tener mucho más conocimiento. Pero todo eso va a ser conocimiento muy general, ¿no? Porque para eso están pensados.

Ram Kumar 1:41 Como pasa con las búsquedas en Google. Google Search es un buscador global. Tiene conocimientos generales sobre el mundo. Todo lo que puedes encontrar en internet está en Google. Pero también usamos, ya sabes, LinkedIn para conectar con profesionales, ¿no? Buscas trabajo en LinkedIn y luego seguramente buscarías, ya sabes, buscarías comida en Uber Eats, ¿no?

Ram Kumar 2:00 Buscarías en Amazon un artículo concreto que quieras comprar. Así que son búsquedas muy especializadas, muy de nicho, que surgen a partir de lo que es Google Search, ¿no? Así serían los modelos de lenguaje más grandes. Los modelos de lenguaje más grandes son muy genéricos. Son para el uso general del día a día. Pero para los modelos especializados, para casos de uso muy concretos, necesitas darles, digamos, conjuntos de datos especializados. Porque, pongamos que alguien quiere crear un modelo para el ámbito de la salud que esté específicamente pensado para saber más de medicina general.

Ram Kumar 2:32 No puedes usar un modelo de conocimientos generales para eso, ¿no? Tiene que entrenarse con conjuntos de datos médicos. Tiene que saber cómo funciona el propio cuerpo humano. Solo entonces sirve ese modelo para ofrecer soluciones para cualquier tipo de dolencia, ¿no? Y algo muy parecido pasa si alguien quiere crear un modelo o una aplicación, digamos, para finanzas, ¿no?

Ram Kumar 2:52 Una aplicación de IA que te va a permitir, bueno, básicamente te va a orientar para operar en los mercados. Va a ser tu copiloto para operar. Tiene que entender de finanzas tan bien como un operador, un gestor de un fondo de cobertura o alguien así, ¿no? Tiene que saber cómo se opera en los mercados. Eh, un modelo de conocimientos generales, un modelo general, sí va a tener conocimientos para eso.

Ram Kumar 3:10 Va a entender algo del tema, pero a un nivel muy básico, ¿no? Va a entenderlo más o menos como una persona que mira blogs, páginas web y cosas así. No va a tener los conocimientos especializados de un operador con 10 años de experiencia. Eso es un modelo especializado.

Ram Kumar 3:28 Eh, va a entender mucho más a fondo un tema en particular. Y es muy natural que la tecnología, ya sabes, al principio sea general, con conocimientos muy genéricos, muy por encima, y que después nosotros, las personas, desarrollemos tecnología mucho más específica, según lo que necesitemos. Y así va a evolucionar también la IA. Ahora hemos empezado con conocimientos generales, la gente se está familiarizando con la IA y luego empezaremos a usarla en nuestros propios casos de uso del día a día, ¿no?

Ram Kumar 3:56 Si miras los modelos que se usan en vehículos autónomos, son modelos de visión, pero están entrenados específicamente para eso, ¿no? También hay modelos de visión que se entrenan, digamos, para que los robots hagan un trabajo concreto, como Figure y todo eso. Hay modelos de visión que se usan más, ya sabes, en robótica doméstica y cosas así.

Ram Kumar 4:17 Así que cada modelo se especializa según su propia necesidad. Así es como, ya sabes, la IA va a resolver cosas de nuestro día a día. La gente va a empezar a incorporar la IA en todas nuestras interacciones, y hacen falta modelos específicos para esas interacciones. Y eso ya lo hemos visto en los últimos dos años, ¿no?

Ram Kumar 4:34 Una vez que se anunció GPT, la gente empezó a usar ChatGPT, y luego empezó a experimentar y a crear modelos especializados. Bloomberg lanzó BloombergGPT. Es uno de los modelos más especializados que hay, ya sabes, y tiene conocimientos de finanzas. Es mucho mejor que ChatGPT en la mayoría de los casos.

Ram Kumar 4:52 Esa es nuestra tesis. Y, bueno, es lo que también vemos que está pasando en el mundo. Hugging Face ofrece soluciones con las que la gente puede aportar datos y crear modelos, pero nadie recibe una recompensa en el proceso, ¿no? Es una solución de código abierto. El código abierto es genial, pero como proceso no es viable a largo plazo.

Ram Kumar 5:14 Hay que habilitar... supervisar... monetización en el código abierto, ¿no? La gente tiene que beneficiarse en el proceso. Eso es lo que OpenLedger intenta aportar aquí. Queremos asegurarnos de que, eh, ya sabes, quienes aportan conjuntos de datos, quienes hacen posible que se creen estos modelos, reciban una recompensa en el proceso.

Ram Kumar 5:30 Solo así vas a tener un flujo continuo de datos. Solo así van a llegar conjuntos de datos de mejor calidad. Y eso es lo que queremos conseguir aquí. Y lo hemos visto en la mayoría de los casos durante nuestra testnet. Tenemos a cerca de un millón de personas aportando conjuntos de datos para eso.

Ram Kumar 5:46 Eh, tenemos, hicimos un experimento en el que hacía falta crear un modelo basado en el lenguaje. Hugging Face, ya sabes, intentó hacerlo recopilando conjuntos de datos lingüísticos. Eh, tardaron unos tres meses en llegar a unos 50.000 participantes. Eh, nosotros llegamos a unos 300.000 y pico participantes en apenas unas dos semanas, ¿no?

Ram Kumar 6:06 Eso es lo que pasa cuando monetizas y recompensas a la gente, ¿no? Cuando, bueno, cuando hay incentivos, la gente se pone manos a la obra, porque todo el mundo necesita sentir que, ya sabes, si aporta algo, tiene que beneficiarse en el proceso, ¿no? Esa es la idea de fondo, así de simple, que la gente pueda confiar y trabajar junta, eh, en una plataforma y recibir una recompensa en el proceso.

Ram Kumar 6:28 Eso es lo que OpenLedger quiere resolver aquí.

Kevin 6:30 Vale, tengo un par de preguntas. Eh, la primera. Imaginemos que tenemos dos empresas, ¿sí? Una está construyendo un modelo de propósito general y la otra está, eh, construyendo un, un modelo especializado. Digamos que las dos tienen el mismo conjunto de datos especializado.

6:49 Ajá.

Kevin 6:52 O sea, si miramos los datos en sí, serían los mismos, ¿no? La única diferencia es que el modelo de propósito general también tiene otros conocimientos, eh, que no tienen que ver con esa tarea especializada. Entonces, ¿cómo...?

7:07 No...

Kevin 7:08 Vale. Sí, perdón. Adelante.

Ram Kumar 7:10 No exactamente, ¿no? Por ejemplo, eh, normalmente un modelo hecho para matemáticas seguramente tendrá la mayoría de los teoremas y los entenderá. Un modelo general tendrá ese conocimiento, ¿no? Pero supongamos que quieres crear un modelo especializado en matemáticas. Va mucho más al detalle, ¿no?

Ram Kumar 7:32 Profundiza mucho más en cada uno de los temas. Así que puede resolver un problema de matemáticas, uno mucho más complejo, más rápido y con más precisión que un modelo general, ¿no? Porque, sencillamente, se le dan más conjuntos de datos. A ver, piensa en esto. Para decirlo de forma muy sencilla, piensa en un estudiante universitario de grado o, ya sabes, de secundaria como un modelo general con conocimientos genéricos sobre el mundo, y en un estudiante de doctorado como un modelo especializado.

Ram Kumar 8:02 Lo que pasa es que conoce mejor el tema. Todo el mundo, o sea, el tema se conoce. La gente puede entenderlo, pero un estudiante de doctorado lo entenderá mejor y dará una respuesta mucho más rápida y mucho más precisa. Así funcionan los modelos especializados y así se comparan con los modelos generales.

Ram Kumar 8:19 Y hay ciertos casos de uso en los que el conjunto de datos en sí no está disponible en el modelo general. Por ejemplo, estamos trabajando con un equipo que estaba creando un modelo de radiografías, un modelo entrenado con radiografías de todo el mundo, ¿no? Eh, de personas de distintas razas, con distintas enfermedades y cosas así.

Ram Kumar 8:40 Eh, este modelo identifica y entiende mucho mejor los detalles de las radiografías y tiene mucha más claridad que un modelo general. Si subes una radiografía a ChatGPT, sí, la va a entender más o menos y te va a poder decir algo, pero no te va a dar nada preciso. No te va a dar respuestas con la profundidad que tendría un modelo especializado.

Ram Kumar 9:01 Así que, en ese caso, estos, estos conjuntos de datos no están disponibles en absoluto en el modelo general. Solo en el modelo especializado en radiografías tienes conjuntos de datos de radiografías. Así que depende más de cada caso, eh. Algunos conjuntos de datos sí están en los modelos generales. Otros solo están disponibles en modelos especializados. Bueno, puede variar mucho de un caso a otro.

Kevin 9:21 Pero, eh, volviendo a la premisa inicial, ¿no? Digamos que las dos empresas tienen acceso a los mismos datos, a esos datos, esos datos especializados y detallados de verdad. Entonces, ¿por qué sería mejor un modelo especializado que tiene menos conocimientos en general, pero los mismos conocimientos especializados que el modelo de propósito general que también tiene esos conocimientos especializados?

Ram Kumar 9:48 En ese caso, no estoy seguro de que sea la forma habitual de crear modelos, ¿no? Eh, no pasa, pero supongamos que, hipotéticamente, pasa. Los modelos generales tienen esos conjuntos de datos especializados. El modelo general es suficientemente bueno para eso. La única razón por la que podrían elegir un modelo especializado sería que este modelo, ya sabes, fuera más pequeño y no tuvieras que pagar tanto por alojarlo y cosas así.

Ram Kumar 10:15 Aparte de eso, elegirían, digamos, un modelo general. Pero en la mayoría de los casos, en la práctica, los modelos generales, el modelo general, los modelos no tienen, eh, ya sabes, conjuntos de datos especializados, conjuntos de datos muy particulares. Bueno, eso suele estar en los especializ... Por eso les llaman modelos especializados.

Ram Kumar 10:32 Tomas algo y lo especializas porque esos datos no están en el modelo general.

Kevin 10:36 Vale, entonces, entonces la verdadera razón para usar modelos especializados, aparte de los costes de alojamiento y demás, por supuesto, es, eh, esa restricción adicional de la organización, ¿no? Que no compartes datos muy especializados con una empresa de propósito general como OpenAI. Entonces es por eso, sí, vale, genial. Bueno, también has mencionado ya el algoritmo de Proof of Attribution de ustedes, eh, su protocolo de consenso, o como quieras llamarlo, ¿no?

Cómo funcionaría Proof of Attribution

Kevin 11:05 ¿Podrías entrar un poco más en la parte técnica? O sea, ¿cómo, cómo funciona esto en la práctica? Digamos que tengo datos que quiero compartir con su blockchain, ¿no? Con su infraestructura. ¿Cómo funciona eso de la A a la C?

Ram Kumar 11:22 Sí, volvamos a lo básico, ¿no? Eh, en cualquier modelo de IA que se esté creando, digamos que usamos ChatGPT, está OpenAI, que es el modelo que funciona por detrás. Imagínatelo como el cerebro que hace funcionar esta aplicación. En ese modelo, básicamente, lo que hace la gente es, ya sabes, conectar conjuntos de datos de todo el mundo, en esencia datos de internet, y entrenar el modelo, ¿no?

Ram Kumar 11:46 Eh, todos esos datos de internet son muy genéricos, como decíamos, ¿no? Tiene conocimientos muy generales. Para los modelos especializados necesitamos conseguir esos conjuntos de datos de gente que tiene, digamos, ciertas habilidades, gente cualificada, o, ya sabes, de grandes empresas y empresas más pequeñas que tienen conjuntos de datos muy específicos.

Ram Kumar 12:06 Podemos, nos encantaría que se conectaran y aportaran estos [inaudible]. Cuando lo hacen, ¿no?, la mejor manera de facilitarlo es darles incentivos. Y lo segundo es asegurarte de darles la confianza de que pueden fiarse del sistema, ¿no? ¿Cómo les das esa confianza? Les das un protocolo o algo así, un libro mayor, donde pueden ver cómo se guardan sus datos.

Ram Kumar 12:32 Puedes ver que eres el propietario. Tus datos, tus datos están vinculados a tu billetera. Y cuando se entrena un modelo, tus, si se usan tus conjuntos de datos, puedes ver qué modelo está consumiendo tu conjunto de datos. Está en cadena, se puede rastrear en cadena. Y cuando se usa ese modelo, eh, puedes ver si tus datos sirvieron para la respuesta del modelo.

Ram Kumar 12:56 Y también podrías ver, por ejemplo, qué pago recibió ese modelo en particular. Así que lo tenemos todo en cadena, ¿no? Alguien aporta datos y se van, van a la cadena. Así puedes ver quién es el propietario. Si un desarrollador de modelos usa los datos, eso también se rastrea en cadena. Y cuando se lanza el modelo, si se usa, cada vez que da una respuesta mostramos si un conjunto de datos, digamos el conjunto número 300 de los que se compartieron, influyó de algún modo en ese modelo, ¿no?, y en esa respuesta. Eso se puede ver.

Ram Kumar 13:28 Si tu conjunto de datos ha influido en esa respuesta de un modelo, atribuimos ese impacto y mostramos qué parte de tu conjunto de datos influyó, o sea, ¿qué impacto tuvo? Digamos que un 30 %, un 40 % de tu conjunto de datos tuvo un impacto y, digamos, aportó a la solución. Entonces recibes la recompensa correspondiente.

Ram Kumar 13:49 De nuevo, esto ocurre en cadena. El desarrollador del modelo decide cuánto de sus ingresos quiere compartir con quien aportó los datos. Lo muestra en cadena. Así ejecuta el contrato. Y luego puedes ver en cadena qué impacto has tenido y qué parte de los ingresos vas a recibir por ello.

Ram Kumar 14:06 Y puedes seguir el rastro y ver que te están pagando. Vas a poder verlo todo en cadena. Vas a poder ver toda la procedencia en cadena. Eso es lo que intentamos resolver, y ese es el protocolo Proof of Attribution. Atribuimos la influencia a los datos que alguien aporta a un modelo y luego lo mostramos en cadena para que lo pueda verificar y, básicamente, sepa por qué le pagan.

Ram Kumar 14:31 Eso les da confianza para aportar cada vez más. Si, si lo miras, ¿no?, el motivo por el que, ya sabes, digamos, hacemos pódcasts y subimos vídeos a YouTube y todo eso es que hay alguna forma de monetización, ¿no? Eh, la gente recibe una recompensa, cobra y se dedica a algo que le apasiona.

Ram Kumar 14:51 Quieren hacerlo más porque reciben reconocimiento. De forma muy parecida, queremos que quienes aportan datos reciban reconocimiento y cobren por ello. Pero en una plataforma como YouTube, eh, el mayor problema es que no es abierta. Es un sistema centralizado. Tienes que fiarte de lo que te paguen, ¿no?

Ram Kumar 15:07 Podrías estar teniendo un impacto mucho mayor. Podrías estar consiguiendo muchas más visualizaciones. Podría corresponderte una recompensa mucho mayor de lo que realmente te pagan. Pero lo aceptas porque, ya sabes, es la norma y es el mayor actor que hay. Está centralizado. Se han hecho con el mercado. Así que no hay otra opción para plantarles cara, ¿no?

Ram Kumar 15:26 La IA podría acabar así pronto, ¿no? Todas las empresas de modelos de IA pueden ir y recopilar un conjunto de datos y no recompensarte nunca, o pagarte una recompensa mínima si las presionan para hacerlo. Y todos tenemos que aceptarlo. Podría haber formas de resolverlo si se hace en las etapas iniciales y si de verdad puedes captar una buena parte del mercado con esto.

Ram Kumar 15:46 Eso es lo que OpenLedger intenta resolver. Queremos asegurarnos de que esto se va a convertir en un problema más adelante. Va a haber muchas necesidades más adelante. [inaudible] casi ha empezado. Así que estamos creando una plataforma en la que la gente puede aportar datos, monetizarlos y ver claramente en qué medida sirven esos datos.

Ram Kumar 16:03 Y lo pueden ver en cadena. Es transparente y se puede rastrear. Y así, este, este es un sistema mucho más abierto que algo como Hugging Face, que ahí es un sistema cerrado y que no, no se puede monetizar. Queremos cambiar eso y eso es, eso es lo que intentamos hacer.

Kevin 16:20 Eso, eh, también parece conectar un poco con, eh...

Ram Kumar 16:23 Hola a todos, eh, soy Ram. Soy uno de los colaboradores del equipo central de OpenLedger. OpenLedger es una blockchain para IA. Permitimos que los usuarios aporten conjuntos de datos y creen modelos de IA, que las aplicaciones usen esos modelos y que la recompensa llegue a quienes aportaron los datos. La idea es que cualquiera que aporte conjuntos de datos para crear un modelo de IA pueda recibir una recompensa por lo que aporta.

Ram Kumar 16:46 Normalmente, los modelos de internet que ves hoy, los modelos de lenguaje más grandes como OpenAI, Llama y todo eso, usan tus datos, que se han sacado de internet. No te recompensan por eso. Pero la idea es que la IA no se queda ahí. Va a evolucionar más allá. La IA va a ser mucho más especializada y los datos están en manos de la gente, de las grandes empresas y de otros negocios.

Ram Kumar 17:07 Queremos asegurarnos de que todos reciban una recompensa en este proceso. Y muchas gracias por invitarme. Me alegra estar aquí y hablar más de OpenLedger.

Kevin 17:15 Todo eso de la caja negra, la IA explicable y todas esas cosas. Eh, ¿cómo lo ves desde el punto de vista de una empresa? Porque muchas veces esa es una de las grandes críticas que la gente hacía, o sigue haciendo, a los modelos de IA. Básicamente no sabes cómo llegaron a esa respuesta, cómo llegaron a esa conclusión, ¿no?

Qué quieren rastrear las empresas

Kevin 17:39 Y el razonamiento es, en cierto modo, un proceso que va avanzando, pero también es un resultado, ¿no? Así que en realidad no lo sabemos.

Ram Kumar 17:45 Sí, si miras todos estos modelos de hoy, ¿no?, no son explicables. No sabes cómo funcionan porque no está claro, eh, qué clase de conjuntos de datos se están usando. Incluso si miramos un modelo de código abierto como Llama, no hay visibilidad sobre la mayoría de los modelos que anunciaron.

Ram Kumar 18:05 No se ve qué tipo de conjuntos de datos usaron. Así que si una empresa usa el modelo Llama para tomar una decisión, digamos un hospital o una empresa de comercio electrónico, o supongamos que lo va a usar un, un laboratorio, ahí no hay explicabilidad. Si quieres, si recibiste una respuesta y la aplicaste en tu negocio, tú [inaudible] volver atrás y ver qué datos dieron lugar a esa respuesta de la IA y por qué la usaste, ¿no?

Ram Kumar 18:31 Eso es lo que nos gustaría cambiar con los modelos especializados. Al menos con los modelos especializados sabemos qué conjunto de datos se está aportando, aunque no sepamos qué está pasando en el modelo base. Lo que intentamos ver es que, con la atribución, el, ya sabes, el resultado indirecto de esto, o, bueno, lo que sale de aquí, es que cada vez que se hace una atribución podemos recompensar a la gente.

Ram Kumar 18:55 También averiguamos qué datos hacen que salga esa respuesta, ¿no? Así hacemos que el modelo sea mucho más explicable a través de los datos. Cada vez que salga una respuesta vas a poder volver atrás y ver qué conjunto de datos dio lugar a ella. Y con eso, si la respuesta es buena, puedes conseguir más datos de ese tipo.

Ram Kumar 19:15 O si la respuesta es mala, te parece maliciosa y, ya sabes, la IA está comprometida, entonces puedes quitar esos datos, que podrían ser conjuntos de datos envenenados. Así nos gustaría explicar cómo funciona una IA a partir de los datos, ¿no? Y las empresas lo necesitan. Por ejemplo, trabajamos con una gran empresa de comercio electrónico, eh, que está usando sus conjuntos de datos internos para crear un modelo con nosotros.

Ram Kumar 19:39 Y algo que querían de verdad era poder rastrearlo todo de principio a fin. Así que, si suponemos que desarrollan algo, eh, usando esta IA dentro de su plataforma, gestionan su inventario a partir de eso y gestionan los SKU con eso, al final, para la auditoría, ¿no?, querrán volver atrás y ver qué decisiones tomaron y por qué las tomaron.

Ram Kumar 20:01 Y eso va a depender de una IA. Quieren asegurarse de que pueden rastrear de principio a fin qué datos se introdujeron, cómo los procesó la IA, cuál fue el resultado y qué impacto tuvo realmente, ¿no? Quieren poder auditarlo de principio a fin. Y por eso quieren trabajar con nosotros, porque podemos ofrecerles este modelo explicable.

Ram Kumar 20:18 Eh, eso no lo tienes con ChatGPT. No lo tienes con Llama, ¿no? Metes un montón de conjuntos de datos, obtienes una respuesta, tienes que confiar en que es, es la correcta y simplemente usarla. Eso es lo que nos gustaría cambiar con la explicabilidad. Y eso importa, ¿no?

Ram Kumar 20:34 Tomas una decisión médica basándote en la IA y diagnosticas a alguien. Si no sabes por qué lo estás haciendo, es arriesgado, ¿no? Así que, bueno, todo el mundo sabe esto. Muy poca gente está trabajando en ello y nosotros somos uno de esos equipos.

Kevin 20:48 También suena a que, a que la explicabilidad de la IA conecta un poco con el debate sobre el sesgo en los modelos de IA, ¿no? O sea, si puedes rastrear una decisión o las respuestas de un modelo, en principio también deberías poder, cuando detectas un sesgo, rastrear qué conjunto de datos o qué sesgo en qué conjunto de datos especializado lo causó.

Rastrear el sesgo hasta los datos de entrenamiento

Kevin 21:17 ¿También trabajan en eso o es solo un resultado indirecto?

Ram Kumar 21:21 Sí, de nuevo, eso, eso forma parte de la explicabilidad, ¿no? Eh, cuando, cuando le damos a la gente datos, o sea, estos modelos, y pueden usar una blockchain para rastrear y entender cómo influyen los datos, entonces, bueno, hay dos maneras, eh, ven los sesgos. Si quieren quitar los sesgos, pueden hacerlo.

Ram Kumar 21:40 En ciertos casos quizá necesites más sesgos, ¿no? Supongamos que estás creando un modelo especializado solo para Estados Unidos, ¿no? Y es sobre salud. Querrías un conjunto de datos muy sesgado hacia la gente de los grupos raciales mayoritarios que viven en Estados Unidos, ¿no? En ese caso tendrías que introducir sesgos en el modelo.

Ram Kumar 21:59 Y supongamos que es un modelo general y que no debería haber sesgos. Debería ser equitativo y no debería tener ningún tipo de inclinación hacia una raza, un tema o un asunto en particular. Entonces puedes usar la explicabilidad para eliminar esas inclinaciones. Así que, eh, de nuevo, es un producto, eh, que puede ser, es un resultado indirecto, o algo así como preguntarse qué, qué casos de uso se pueden abordar con la explicabilidad.

Ram Kumar 22:24 Eliminar sesgos es uno de los principales casos de uso. Bueno, una manera en la que estamos intentando entender esto es que primero trabajamos más en la capa del modelo especializado, ¿no? En el modelo especializado estamos viendo ahora cómo los datos influyen en la, en la respuesta. Luego queremos centrarnos mucho más en el contexto, ¿no?

Ram Kumar 22:43 Conoces los datos, conoces la respuesta que sale. Queremos entender qué contexto saca de ahí el modelo de IA, porque tú habrás aprendido algo en tu vida, ¿no? Yo habré aprendido más o menos lo mismo en la mía. Pero lo que cada uno saca de ahí y cuenta son dos cosas distintas.

Ram Kumar 23:02 Tu contexto del mundo es distinto. Mi contexto del mundo es distinto. Con la IA pasa algo parecido, ¿no? Un modelo de IA tiene un contexto diferente según lo que se le ha dado y cómo entiende, digamos, lo que se le ha dado. Conocer ese contexto es muy importante, ¿no?

Ram Kumar 23:21 Eh, digamos que preguntamos quién es, eh, Alejandro, ¿no? Bueno, te va a decir quién es Alejandro, pero fíjate en cómo te lo cuenta, ¿no? Alejandro es un rey conocido por su, eh, ya sabes, su fuerza, y se le conoce por su valentía y por cómo luchó, eh, todos esos años y cosas así. Cuando te dice eso, es porque leyó sobre varios gobernantes y varios reyes y cosas así, y así puede sacar un contexto y darte una respuesta, ¿no?

Ram Kumar 23:55 Así que entender ese contexto también es muy importante para saber de verdad cómo funciona un modelo de IA y cómo te da una respuesta. Eso es muy importante. Es más o menos lo que viene después en nuestro trabajo. Así que hay mucho más que explorar en la explicabilidad y en cómo los datos influyen en un modelo.

Recuperación de datos y ajuste fino

Kevin 24:13 Eh, aquí apenas has arañado la superficie. Me encanta. Genial. A ver, la idea de este pódcast es precisamente arañar la superficie, ¿no? Hacerlo más accesible para la gente. Pero quizá podamos bajar un nivel más. Eh, desde el punto de vista técnico, al atribuir los conjuntos de datos, ¿cómo se obtiene la respuesta?

Kevin 24:38 Eh, normalmente, desde, desde un punto de vista técnico, tienes, tienes estas capas dentro de tu modelo de IA, tienes pesos, y básicamente así se obtiene una respuesta, ¿no? Suele ser un modelo probabilístico, ¿no? Al menos por lo poco que sé. Y, desde el punto de vista técnico, ¿simplemente introduces, eh, esos conocimientos técnicos o especializados en tiempo real cuando se hace una consulta, dentro de ese contexto?

Kevin 25:10 ¿O es algo que realmente usas para entrenar los pesos? O sea, ¿cómo funciona?

Ram Kumar 25:15 Es una, es una buena pregunta. Hay dos formas de hacerlo, ¿no? Normalmente, cuando alguien quiere, eh, personalizar un modelo [inaudible] según sus propios requisitos o especializarlo, hay varias formas de hacerlo. Las dos mejores son usar algo como RAG o hacer un ajuste fino del modelo. Normalmente la gente opta por RAG.

Ram Kumar 25:37 Eh, ya sabes, aportan contexto. RAG tiene más que ver con darle un mejor prompt. Aportas conjuntos de datos adicionales, haces una pregunta y entonces va y usa el conjunto de datos que añadiste mediante RAG, y te da una respuesta. Así que ahora tiene un contexto para lo que estás preguntando.

Ram Kumar 25:57 Seguramente esa sea la mejor forma de avanzar y, eh, bueno, no diría que es la mejor, sino la más rápida, ¿no? Así que también ofrecemos soluciones RAG. Así que, además del ajuste fino de modelos, además de permitir que la gente cree modelos especializados, todos los conjuntos de datos que se aportan, eh, a OpenLedger también se pueden usar con RAG.

Ram Kumar 26:18 Esa es la primera capa. Aportas un conjunto de datos y se puede usar tal cual con RAG. Luego, si eso no resuelve lo que necesitas, lo que haces básicamente es un ajuste fino del modelo. Tomas los conjuntos de datos, lo entrenas, incorporas el conjunto de datos a un modelo al que le haces un entrenamiento posterior con más datos, y así creas un modelo especializado.

Ram Kumar 26:38 Ahora tienes una versión del modelo que ha pasado por un ajuste fino con más datos y que se puede usar para obtener la respuesta. Así que estas son las dos formas en las que intentamos abordarlo. Bueno, creo que son las que mejor resultado nos han dado, y la mayoría de quienes han estado desarrollando en nuestra testnet han probado las dos y, según lo que necesiten y según cada caso, intentan, ya sabes, cambiar.

Kevin 27:00 Ajá. Sí, veo claramente cómo atribuyes, eh, cómo rastreas qué conjuntos de datos se han usado con RAG, ¿no? Pero ¿cómo funciona si hacen un ajuste fino de un modelo?

Ram Kumar 27:16 Sí, lo de RAG es sencillo, como sabes. Alguien aporta datos adicionales y puedes volver atrás y rastrearlos. Eh, ¿cómo sería en la capa del ajuste fino, no? Ese es, ese es el mayor reto. ¿Y cómo lo resolvimos? Basándonos en este artículo. Ya lo anunciamos antes y también vamos a anunciarlo en un libro blanco.

Ram Kumar 27:36 Eh, lo construimos a partir de un artículo llamado DataInf. Básicamente, lo que hace es averiguar qué influencia tiene un dato en un modelo que ha pasado por un ajuste fino, ¿no? Eh, así que lo que hacemos es usar, digamos, la función de pérdida de los datos, básicamente. Vemos, quitamos todos los conjuntos de datos y vemos qué datos tuvieron la mayor pérdida.

Ram Kumar 27:58 Eso significa que era el conjunto de datos que más impacto tuvo, ¿no? Eh, básicamente, tú das una respuesta y, bueno, ¿qué pasa si aplico ingeniería inversa, digamos, a esto, y quito todos tus conocimientos? ¿Cuánto empeora tu respuesta? Cuanto más importante sea el conocimiento que quito, mayor podría haber sido su impacto en tu respuesta, ¿no?

Ram Kumar 28:26 O sea, qué datos tuvieron el mayor impacto en la pérdida. Y esos son los datos a los que atribuimos el impacto y que mostramos. Bueno, hay muchos más detalles, eh, detalles más técnicos que se pueden ver en el libro blanco sobre cómo lo hacemos. El mayor reto que tuvimos fue que nos llevaba casi, o sea, para una sola inferencia tardábamos más de 15, 20 minutos de media en averiguarlo, ¿no?

Ram Kumar 28:51 Tuvimos que bajarlo a un par de segundos. En eso trabajamos durante el último año, más o menos. Porque piensa en lo que nos costaría en cómputo si de verdad lo hiciéramos para una inferencia pesada. Nos llevaría, digamos, 15, 20 minutos, ¿no? Así que tuvimos que reducirlo. Y ese es, ese es el trabajo que hicimos durante el último año, sobre todo en la parte de atribución.

Atribución por lotes después de la inferencia

Kevin 29:11 Vale, eso es muy interesante. Tengo dos preguntas. Espero, eh, que no se me olviden. Bueno, la primera es si básicamente lo que hacen es, es una especie de método de fuerza bruta, ¿no? Quitas un conjunto de datos, ves cuál es la pérdida y demás, y vas pelando la cebolla, básicamente, ¿no?, por lo que entiendo.

Kevin 29:28 Eh, veo que, aunque solo sean unos segundos, ¿no?, por un lado me imagino que sale caro si lo haces con frecuencia, así que quizá tendría que hacerse bajo demanda, supongo. Pero, eh, ¿cómo funciona si tienes, digamos, 50 conjuntos de datos especializados que contribuyen a eso?

Ram Kumar 29:53 Sí. Sí. Lo que hacemos es agruparlo en lotes, ¿no? No lo hacemos, eh, en tiempo real, porque si voy a recompensar a la gente no tengo que pagarte, digamos, cada segundo, ¿no? No te importa cobrar cada, digamos, uno o dos días. Así que la mejor manera de hacerlo es agrupar, eh, todas las inferencias y después, ya sabes, determinar cómo se atribuye la influencia.

Ram Kumar 30:17 Así que, bueno, eso es lo que hemos hecho. Básicamente, lo optimizamos. No necesitamos, eh, ya sabes, velocidad en esto. Solo necesitamos precisión, eh, pero precisión en distintos puntos de contacto, ¿no? Así que eso es, eso es lo que hemos hecho. No, no lo hacemos en tiempo real. Lo hacemos, eh, por lotes, así que nuestro coste de GPU es mucho, mucho menor.

Ram Kumar 30:42 Eh, no es como cuando hago una pregunta en tiempo real y necesitas una inferencia rápida, ¿no? Ahí necesitas CPU con una capacidad de cómputo mucho mayor. En este caso es mucho menor, mucho más sencillo, y tenemos una forma muy optimizada de hacerlo. Y, bueno, todo eso forma parte de la investigación que se hizo.

Ram Kumar 31:00 Así que sí, al hacerlo por lotes, el coste es mucho menor.

Kevin 31:04 Genial. Y, eh, desde el punto de vista de la arquitectura, se me acaba de ocurrir una cosa, y quizá sea un poco ingenua, ¿no? Pero yo, yo supongo que estos modelos técnicos, eh, que, como estos modelos especializados no son muy dinámicos, ¿no? O sea, una vez que tienes listo un modelo especializado, normalmente no lo cambias mucho.

Kevin 31:30 Entonces, ¿por qué no tener algún tipo de prueba de validez o algo así, donde básicamente haces ese entrenamiento, quizá, supongo, llevando el entrenamiento a la cadena? O sea, yo, yo, yo lo que estoy pensando, ¿no?, es que básicamente puedes obtener eso antes y ahorrarte los costes, eh, después. ¿Qué piensas, por qué, por qué no funciona?

Ram Kumar 31:53 ¿Te refieres, te refieres a la atribución o a, a...? Vale, lo que pasa es esto, ¿no? Cuando haces una pregunta, yo no sabría, nosotros no sabríamos qué tipo de pregunta estás haciendo, porque cada inferencia es muy particular, ¿no? Por eso no, no podríamos averiguarlo de antemano. Tenemos que hacerlo, eh, después de la inferencia.

Kevin 32:14 Vale. Y entonces, entonces también desde el punto de vista de un MVP, yo, yo sé que no están en la fase de MVP, ¿no? Pero también se podría resolver esto hasta cierto punto, supongo. Qui, quizá no sea tan preciso, pero la precisión es una gran, eh, una gran propuesta de valor, claro. Pero también se podría decir, vale, estos son los conjuntos de datos y tienen esta importancia, como unos pesos de importancia general dentro de ese modelo especializado.

Kevin 32:39 Sería independiente.

32:43 Podrían, digamos,

Ram Kumar 32:44 por ejemplo, eh, supongamos que estamos creando un modelo para el ámbito de la salud. Podríamos tener ciertos conjuntos de datos relacionados con las preguntas más habituales, eh, con lo que más se pregunta, y esos conjuntos de datos tienen impacto. Y creo que sí, podríamos averiguarlo. Pero eso no es muy, pero aunque lo averigüemos, no sería justo recompensarlos de antemano porque, eh, todo el mundo está aportando conjuntos de datos.

Ram Kumar 33:11 Eh, quizá sepan priorizar mejor, ¿no? Eso, de nuevo, se lo dejamos a los propietarios, eh, a quien crea el modelo, ¿no? Somos una plataforma de infraestructura que ofrece la solución. Los desarrolladores de modelos usan nuestra plataforma para recopilar conjuntos de datos y luego deciden cómo quieren recompensar a quienes los aportan.

Ram Kumar 33:31 Si quieren recompensar de antemano a quienes aportan los datos, también tenemos mecanismos para eso. Podrían decir, digamos, voy a necesitar estos, estos conjuntos de datos y, si alguien es el primero en aportarlos, lo voy a recompensar con, digamos, quizá un porcentaje de los ingresos que obtenga con este modelo, ¿no?

Ram Kumar 33:50 Y de antemano o algo así. Podrían hacerlo, pero, eh, depende de ellos. No lo fomentamos, pero depende de ellos. Pero lo que suele pasar en la práctica es que la gente recopila conjuntos de datos y esos conjuntos, o sea, saben y dicen qué tipo de conjunto de datos necesitan. Eh, en su mayoría son los datos más importantes, eh, los que hacen falta, y los recopilan.

Ram Kumar 34:09 Eh, algunos quizá no sirvan tanto, pero los recopilan igual porque necesitan tener todo el contexto. Se entrena el modelo. Solo cuando se usa descubren de verdad qué busca el mercado, qué consultas se hacen, y entonces intentan recompensar a la gente en función de eso.

Ram Kumar 34:27 Así que, eh, por ejemplo, todos le preguntaríamos a GPT, digamos, por nuestros planes de vacaciones, y la mayoría de las preguntas habituales han sido sobre planes de vacaciones, según leí en algún sitio. Así que ese podría ser, eh, el conjunto de datos más útil del último año, más o menos, de entre los que se usaron para entrenar a ChatGPT. Pero eso no quiere decir que vaya a seguir siendo así, ¿no?

Ram Kumar 34:48 La gente irá evolucionando a partir de ahí. La gente irá mucho más allá, hará preguntas mucho más pertinentes a medida que, a medida que empiece a usar ChatGPT. Así que, eh, yo diría, no sería justo recompensar a la gente basándose en lo que creen que son los datos más importantes. Lo más, lo justo sería que, a medida que la gente use estos modelos, se recompense entonces, eh, a quienes aportan los datos.

Ram Kumar 35:08 Ahí, ahí es donde entra la equidad.

Propiedad de los datos y cierre

Kevin 35:10 Me encanta. Superinteresante. Gracias por contarlo. Bueno, entonces, ¿hay quizá tres ideas clave o tres cosas que quieras que la gente recuerde de esta charla? O incluso, eh, tres cosas que les pedirías que hagan, como, eh, echarle un vistazo a su blockchain o lo que sea, qué deberían...

Ram Kumar 35:29 Un aspecto importante, diría yo, es que creo que todos deberíamos ser conscientes de que la IA va a tener un gran impacto, eh, ya sabes, en la vida de todos. Creo que la generación anterior a la nuestra, y nosotros también, elegimos, eh, la comodidad por encima de la privacidad, ¿no? No nos importaba que las grandes empresas tomaran nuestros datos y los usaran para distintos fines.

Ram Kumar 35:55 Eso ha evolucionado ahora con la IA. Pero al menos en la IA podemos elegir. Todavía podemos ser dueños de nuestros datos y decidir qué queremos hacer con ellos, ¿no? Podemos crear nuestra propia IA. Básicamente, podemos, eh, formar parte de la era de la IA que está a punto de llegar. Así que la gente tiene que ser mucho más consciente, tiene que saber mucho mejor para qué sirven sus datos.

Ram Kumar 36:18 Eso es algo que me encantaría decirle a la gente. Y también que aprenda sobre IA, ¿no? Porque todo esto nos va a cambiar la vida. Y luego, eh, ya sabes, todavía estamos, todavía estamos en fase de desarrollo. Estamos en la testnet y pronto pasaremos a la mainnet. Eh, nos encantaría recibir comentarios de la comunidad.

Ram Kumar 36:35 Siempre animamos a la gente a hacerlo. Bueno, hemos construido esto durante el último año y medio en conversación constante con la comunidad de IA, hablando con desarrolladores, hablando con gente que está creando cosas. Nos encantaría que los usuarios de todo el mundo también pudieran darnos su opinión sobre el producto. Eso nos ayudará a hacer un producto mejor.

Ram Kumar 36:54 Esas son las dos cosas más importantes. Y la tercera es que le echen un vistazo a OpenLedger HQ. Tenemos gente, eh, como te dije, desarrollando sobre nuestra plataforma. Pronto pasaremos a la mainnet y ya tenemos más de 10 proyectos desarrollándose, incluido el equipo que viene de Google [inaudible], que decidió no usar ninguna empresa de IA tradicional.

Ram Kumar 37:13 Querían trabajar con nosotros. Trabajamos con muchas empresas, con una gran empresa de comercio electrónico, una de las más grandes. Trabajamos con ellos. Pronto daremos más detalles. Trabajamos con un gobierno, un gobierno soberano con sede en Oriente Medio. Estamos creando un modelo con ellos. También lo anunciaremos.

Ram Kumar 37:29 Así que es gente que confía en nosotros. Nos encantaría que le echaran un vistazo cuando salgan esas noticias y que nos sigan apoyando.

Kevin 37:37 Superinteresante. Bueno, gracias por tu tiempo. De verdad, fue un placer hablar contigo. Aprendí mucho. Estoy bastante seguro de que el público también. Y, sí, que vaya todo muy bien con [inaudible].

Ram Kumar 37:49 Gracias, Kevin. Eh, fue un gusto hablar contigo.

Kevin 37:51 Igualmente.

37:52 Que te vaya bien. Nos vemos, amigo. Wavect, la empresa de software Web3 que entiende lo que quieres.