Warum OpenLedger auf spezialisierte KI setzt

Einleitung

Kevin 0:00 Hallo zusammen. Heute spreche ich mit Ram Kumar, unserem Mitwirkenden im Kernteam von OpenLedger, über spezialisierte KI on-chain und darüber, warum [unverständlich] gerade falsch ist. Das ist wirklich ein superspannendes Gespräch, weil ich versuche, technisch wirklich ins Detail zu gehen. Und natürlich bleibt es allgemein genug, damit auch Leute ohne technischen Hintergrund es verstehen.

Kevin 0:23 Aber es ist eine wirklich fesselnde und coole Diskussion. Ich stelle auch ein paar kritischere Fragen, damit ich selbst wirklich verstehe, was sie bauen und welche Probleme sie damit lösen. Und ich persönlich habe viel gelernt. Mir hat es richtig gut gefallen. Ich bin mir also ziemlich sicher, dass euch das Gespräch auch gefallen wird.

0:42 Wavect, das Web3-Softwareunternehmen, das versteht, was du willst.

Kevin 0:48 Äh, da gibt es ChatGPT, Claude und all diese Allzweckmodelle, und natürlich kennt sie jeder. Jeder benutzt sie. Zumindest sieht es so aus. Und während alle diese Allzweckmodelle benutzen, konzentriert ihr euch eigentlich auf spezialisierte Modelle, richtig? Kannst du uns erklären, warum ihr denkt, dass darin die Zukunft liegt und nicht in so einem großen, äh, Modell, das alles in einem vereint?

Wann spezialisierte KI sinnvoll ist

Ram Kumar 1:21 Ja, nur zur Klarstellung: Wir nehmen größere Sprachmodelle und spezialisieren sie. Ähm, wir glauben, dass LLMs weiter bestehen werden. Es werden weitere Modelle dazukommen. Sie werden viel mehr wissen. Aber das wird alles sehr allgemeines Wissen sein, oder? Äh, weil sie dafür gedacht sind.

Ram Kumar 1:41 Das ist wie bei der Google-Suche. Die Google-Suche ist eine globale Suche. Sie hat allgemeines Wissen über die Welt. Was immer du im Internet finden kannst, findest du bei Google. Aber wir nutzen ja auch LinkedIn, um uns mit Leuten aus dem Berufsleben zu vernetzen, oder? Einen Job suchst du auf LinkedIn, und Essen suchst du dann wahrscheinlich, na ja, bei Uber Eats, oder?

Ram Kumar 2:00 Einen bestimmten Artikel, den du kaufen willst, suchst du auf Amazon. Das sind also sehr spezialisierte Suchen, richtige Nischensuchen, die aus so etwas wie der Google-Suche hervorgehen, oder? Und so wird es auch bei größeren Sprachmodellen sein. Größere Sprachmodelle sind sehr allgemein. Sie sind für den allgemeinen Alltagsgebrauch gedacht. Aber für spezialisierte Modelle, für ganz besondere Anwendungsfälle, musst du ihnen eben spezialisierte Datensätze geben. Sagen wir, jemand will ein Modell fürs Gesundheitswesen bauen, das gezielt mehr über Allgemeinmedizin wissen soll.

Ram Kumar 2:32 Dafür kannst du kein Modell mit Allgemeinwissen einsetzen, oder? Es muss mit medizinischen Datensätzen trainiert werden. Es muss wissen, wie der menschliche Körper selbst funktioniert. Erst dann ist dieses Modell nützlich, um Lösungen für Beschwerden aller Art anzubieten, oder? Ganz ähnlich ist es, wenn jemand ein Modell oder eine App etwa für den Finanzbereich bauen will, oder?

Ram Kumar 2:52 Eine KI-App, die dich im Grunde beim Trading anleitet. Sie soll dein Copilot beim Trading sein. Sie muss sich mit Finanzen so gut auskennen wie ein Trader, ein Hedgefondsmanager oder so, oder? Sie muss sich mit dem Handel auskennen. Äh, ein allgemeines Modell mit Allgemeinwissen weiß auch etwas darüber.

Ram Kumar 3:10 Es hat ein gewisses Verständnis davon, aber das ist sehr grundlegend, oder? Etwa so, wie ein Mensch das versteht, wenn er sich Blogs und Websites und so anschaut. Es wird nicht das Fachwissen eines Traders haben, der seit zehn Jahren handelt. Das wäre dann ein spezialisiertes Modell.

Ram Kumar 3:28 Äh, es versteht ein bestimmtes Thema viel gründlicher. Und bei Technologie ist es ganz natürlich, dass sie erst mal allgemein ist, dass sie ganz allgemeines, grobes Wissen hat, und dass wir Menschen dann viel gezieltere Technik für bestimmte Bedürfnisse bauen. Und so wird sich auch KI weiterentwickeln. Wir haben jetzt mit Allgemeinwissen angefangen, und die Leute lernen KI erst mal kennen. Dann fangen wir an, KI für unsere eigenen alltäglichen Anwendungsfälle einzusetzen, oder?

Ram Kumar 3:56 Wenn du dir die Modelle in autonomen Fahrzeugen anschaust: Das sind Modelle zur Bildverarbeitung, aber sie sind eigens für dieses Gebiet trainiert, oder? Ähm, es gibt auch Modelle zur Bildverarbeitung, die etwa dafür trainiert sind, dass Roboter eine bestimmte Arbeit erledigen, wie bei Figure und so. Es gibt auch Modelle zur Bildverarbeitung, die eher bei Robotern für den Haushalt und so zum Einsatz kommen.

Ram Kumar 4:17 Jedes Modell ist also auf seinen jeweiligen Bedarf spezialisiert. So, denke ich, wird KI die Aufgaben in unserem Alltag lösen. Die Leute werden anfangen, KI bei allen unseren Interaktionen einzusetzen, und dafür braucht man Modelle, die genau auf diese Interaktionen zugeschnitten sind. Und das haben wir in den letzten zwei Jahren schon gesehen, oder?

Ram Kumar 4:34 Als GPT angekündigt wurde, fingen die Leute an, ChatGPT zu benutzen. Dann fingen sie an zu experimentieren und spezialisierte Modelle zu bauen. Bloomberg hat BloombergGPT herausgebracht. Das ist eines der spezialisiertesten Modelle da draußen, das sich mit Finanzen auskennt. In den meisten Fällen ist es viel besser als ChatGPT.

Ram Kumar 4:52 Das ist also unsere These. Und, ähm, genau das sehen wir auch in der Welt passieren. Hugging Face bietet Lösungen an, mit denen Leute Daten beisteuern und Modelle bauen können, aber niemand von ihnen wird dabei vergütet, oder? Das ist eine Open-Source-Lösung. Open Source ist toll, aber als Prozess ist das auf Dauer nicht tragfähig.

Ram Kumar 5:14 Bei Open Source muss man Monetarisierung ermöglichen, überwachen, oder? Die Leute müssen dabei auch etwas davon haben. Das will OpenLedger hier einbringen. Wir wollen dafür sorgen, dass die Leute, die Datensätze beisteuern und den Bau dieser Modelle ermöglichen, dabei vergütet werden.

Ram Kumar 5:30 Erst dann werden laufend Daten reinkommen. Erst dann werden Datensätze von besserer Qualität reinkommen. Und das wollen wir hier erreichen. Und wir haben das in den meisten Fällen in unserem Testnet gesehen. Wir haben annähernd eine Million Leute, die dafür Datensätze beisteuern.

Ram Kumar 5:46 Ähm, wir haben, wir haben ein Experiment gemacht, bei dem ein sprachbasiertes Modell gebaut werden sollte. Ähm, Hugging Face hat versucht, das zu machen, indem sie sprachbasierte Datensätze gesammelt haben. Äh, sie haben ungefähr drei Monate gebraucht, um auf etwa 50.000 Teilnehmende zu kommen. Äh, wir kamen in nur etwa zwei Wochen auf rund 300.000 und mehr Teilnehmende, oder?

Ram Kumar 6:06 Das passiert, wenn man das monetarisiert und die Leute dafür vergütet, oder? Wenn man, wenn es einen Anreiz gibt, dann gehen die Leute hin und machen etwas, weil jeder das Gefühl haben muss, dass er auch etwas davon hat, wenn er etwas beisteuert, oder? Das ist also die einfache Grundthese: Die Leute sollen einander vertrauen, auf einer Plattform zusammenarbeiten und dabei vergütet werden können.

Ram Kumar 6:28 Das ist es, was OpenLedger hier lösen will.

Kevin 6:30 Okay, ich habe dazu ein paar Fragen. Ähm, die erste: Stellen wir uns vor, wir haben zwei Unternehmen, ja? Eins baut ein Allzweckmodell und eins baut, äh, ein, ein spezialisiertes Modell. Ähm, sagen wir, beide haben denselben spezialisierten Datensatz.

6:49 Mhm.

Kevin 6:52 Also, wie, rein von den Daten her wären es ja dieselben Daten, oder? Der einzige Unterschied ist, dass das, äh, Allzweckmodell auch anderes Wissen hat, äh, das mit dieser speziellen Aufgabe nichts zu tun hat. Also, wie ...

7:07 Nicht ...

Kevin 7:08 Okay. Ja, sorry. Mach weiter.

Ram Kumar 7:10 Nicht ganz, oder? Also zum Beispiel, ähm, ein Modell, das für Mathe gebaut ist, kennt wahrscheinlich die meisten mathematischen Sätze und versteht sie. Ähm, ein allgemeines Modell hat dieses Wissen auch, oder? Aber sagen wir mal, du willst ein spezielles Modell für Mathe bauen. Das geht viel mehr ins Detail, oder?

Ram Kumar 7:32 Es geht bei jedem einzelnen Thema viel tiefer. So kann es eine Matheaufgabe, eine viel komplexere Matheaufgabe, schneller und genauer lösen als ein allgemeines Modell, oder? Weil es einfach mehr Datensätze bekommt. Stell dir das mal so vor, ja? Ganz einfach gesagt: Stell dir einen Bachelorstudenten oder einen Schüler als allgemeines Modell vor, das so ein allgemeines Wissen über die Welt hat, und dann einen Doktoranden als spezialisiertes Modell.

Ram Kumar 8:02 Der kennt sich mit dem Thema einfach besser aus. Alle, also, das Thema ist bekannt. Die Leute können das Thema verstehen, aber ein Doktorand versteht es besser und antwortet viel schneller und viel genauer. So funktionieren spezialisierte Modelle, und so schneiden sie im Vergleich zu allgemeinen Modellen ab.

Ram Kumar 8:19 Und es gibt bestimmte Anwendungsfälle, bei denen der Datensatz selbst dem allgemeinen Modell nicht zur Verfügung steht. Zum Beispiel arbeiten wir mit einem Team, das gerade dabei war, so ein Röntgenmodell zu bauen, ein Modell, das mit Röntgenaufnahmen aus aller Welt trainiert wird, oder? Ähm, über ethnische Gruppen hinweg, über verschiedene Krankheiten hinweg und so.

Ram Kumar 8:40 Ähm, dieses Modell erkennt und versteht Details auf Röntgenaufnahmen viel besser und ist viel eindeutiger als ein allgemeines Modell. Wenn du eine Röntgenaufnahme bei ChatGPT hochlädst, ja, dann versteht es die Aufnahme irgendwie und kann dir etwas dazu sagen, aber es wird dir nichts Genaues liefern. Seine Antworten werden nicht so in die Tiefe gehen wie die eines spezialisierten Modells.

Ram Kumar 9:01 In dem Fall stehen dem allgemeinen Modell diese, diese Datensätze also überhaupt nicht zur Verfügung. Nur im spezialisierten Röntgenmodell hast du Datensätze mit Röntgenaufnahmen. Es kommt also, es kommt eher auf den Einzelfall an. Manche Datensätze gibt es in allgemeinen Modellen. Andere Datensätze gibt es nur in spezialisierten Modellen. Ähm, das kann wirklich von Fall zu Fall verschieden sein.

Kevin 9:21 Aber, äh, noch mal zurück zur Grundannahme, oder? Sagen wir, beide Unternehmen haben Zugriff auf dieselben Daten, also wirklich auf dieselben detaillierten Fachdaten. Warum wäre dann ein spezialisiertes Modell besser, das insgesamt weniger weiß, aber dasselbe Fachwissen hat wie das Allzweckmodell mit diesem Fachwissen? Warum wäre es besser?

Ram Kumar 9:48 In dem Fall bin ich mir nicht sicher, ob das so üblich wäre, Modelle zu bauen, oder? Äh, das kommt nicht vor, aber sagen wir mal, es passiert hypothetisch doch. Äh, allgemeine Modelle haben diese spezialisierten Datensätze. Ein allgemeines Modell ist dafür gut genug. Der einzige Grund, sich dann vielleicht für ein spezialisiertes Modell zu entscheiden, wäre, dass dieses Modell, na ja, von der Modellgröße her kleiner ist und man keine hohen Hostingkosten hat und so.

Ram Kumar 10:15 Abgesehen davon würden sie sich für ein allgemeines Modell entscheiden. Aber in den meisten Fällen, also in der Realität, haben allgemeine Modelle, allgemeine Modelle, Modelle keine spezialisierten Datensätze, also Datensätze, die wirklich einzigartig sind. Ähm, die gibt es normalerweise bei speziali... Darum nennt man es ja ein spezialisiertes Modell.

Ram Kumar 10:32 Man nimmt etwas und spezialisiert es, weil diese Daten im allgemeinen Modell nicht vorhanden sind.

Kevin 10:36 Okay, also für, also der eigentliche Grund für spezialisierte Modelle ist, abgesehen von Hostingkosten und so weiter natürlich, äh, diese zusätzliche organisatorische Einschränkung, oder? Dass man hochspezialisierte Daten nicht mit einem Allzweckanbieter wie OpenAI teilt. Das liegt also daran, dass, ja, okay, cool. Ähm, du hast auch schon euren Proof-of-Attribution-Algorithmus erwähnt, äh, Konsensprotokoll, ähm, wie auch immer man das nennen will, oder?

Wie Proof of Attribution funktionieren soll

Kevin 11:05 Könntest du ein bisschen tiefer auf die technische Seite eingehen? Also wie, wie funktioniert das eigentlich? Sagen wir, ich habe Daten, die ich mit eurer Blockchain teilen möchte, ja? Mit eurer Infrastruktur. Wie funktioniert das von A bis C?

Ram Kumar 11:22 Ja, also gehen wir mal zurück zu den Grundlagen, ja? Ähm, bei jedem KI-Modell, das gebaut wird, also nehmen wir mal ChatGPT, da gibt es OpenAI. Das ist das Modell, das dahinterläuft. Stell dir das als das Gehirn vor, das diese Anwendung antreibt. Für dieses Modell führen Leute im Grunde Datensätze aus aller Welt zusammen, im Grunde Daten aus dem Internet, und trainieren das Modell damit, oder?

Ram Kumar 11:46 Ähm, all diese Internetdaten sind sehr allgemein, wie wir besprochen haben, oder? Das ist sehr allgemeines Wissen. Für spezialisierte Modelle müssen wir diese Datensätze von Leuten bekommen, die so, na ja, Fachkenntnisse haben, von Fachleuten oder, na ja, von Unternehmen und kleineren Firmen, die ganz spezielle Datensätze haben.

Ram Kumar 12:06 Wir können, wir würden uns freuen, wenn sie sich anschließen und diese [unverständlich] bereitstellen. Wenn sie das machen, ja, ist der beste Weg, das zu ermöglichen, ihnen einen Anreiz zu geben. Und zweitens muss man ihnen die Sicherheit geben, dass sie dem System vertrauen können, oder? Wie gibt man ihnen diese Sicherheit? Man gibt ihnen ein Protokoll oder so etwas, ein Hauptbuch, in dem sie nachschauen können, wie ihre Daten gespeichert werden.

Ram Kumar 12:32 Du kannst sehen, dass sie dir gehören. Deine Daten, deine Daten sind an deine Wallet gekoppelt. Und wenn ein Modell trainiert wird, deine, wenn deine Datensätze genutzt werden, kannst du sehen, welches Modell deinen Datensatz verwendet. Das ist on-chain, das lässt sich on-chain nachverfolgen. Und wenn dieses Modell eingesetzt wird, äh, kannst du sehen, ob deine Daten für die Ausgabe dieses Modells nützlich waren.

Ram Kumar 12:56 Und du kannst dir auch anschauen, welche Zahlung für dieses konkrete Modell eingegangen ist. Wir haben das also alles on-chain, oder? Jemand steuert Daten bei, das geht, geht on-chain. Du kannst also sehen, wem sie gehören. Die Daten werden von einem Modellentwickler genutzt, auch das wird on-chain nachverfolgt. Und wenn das Modell veröffentlicht ist und genutzt wird, zeigen wir bei jeder Ausgabe des Modells, ob ein Datensatz, sagen wir, der geteilte Datensatz Nummer 300, dieser 300. Datensatz, ob der irgendeinen Einfluss auf dieses Modell hatte, ja, und auf diese Ausgabe. Das kannst du sehen.

Ram Kumar 13:28 Wenn dein Datensatz einen Einfluss auf diese Ausgabe eines Modells hatte, ordnen wir das zu und zeigen, wie viel von deinem Datensatz Einfluss hatte, also, wie groß war der Einfluss? Sagen wir, für diesen Einfluss haben so 30 Prozent, 40 Prozent deines Datensatzes etwas beigetragen und, na ja, die Lösung mitgeliefert. Dann wirst du entsprechend vergütet.

Ram Kumar 13:49 Auch das ist on-chain. Der Modellentwickler entscheidet, wie viel von seinen Einnahmen er mit demjenigen teilen will, der die Daten beigesteuert hat. Das zeigt er on-chain. So führt er diesen Vertrag aus. Und dann kannst du on-chain sehen, wie viel Einfluss du hattest und wie viel von den Einnahmen du dafür abbekommst.

Ram Kumar 14:06 Und du kannst das zurückverfolgen und sehen, dass du bezahlt wirst. Du kannst das komplett on-chain sehen. Du kannst die gesamte Herkunft on-chain nachvollziehen. Das ist also das, was wir lösen wollen, und das ist das Proof-of-Attribution-Protokoll: Wir ordnen den Einfluss den Daten zu, die jemand zu einem Modell beigesteuert hat, und zeigen das dann on-chain. So können die Leute das überprüfen und im Grunde erfahren, warum sie bezahlt werden.

Ram Kumar 14:31 Das gibt ihnen das Vertrauen, immer mehr beizusteuern. Wenn du dir, wenn du dir das anschaust, ja, warum wir zum Beispiel Podcasts machen und Videos auf YouTube hochladen und all das: Es gibt da irgendeine Form der Monetarisierung, oder? Ähm, die Leute werden vergütet, sie werden bezahlt und gehen dabei einer Leidenschaft nach.

Ram Kumar 14:51 Sie wollen mehr davon machen, weil sie Anerkennung bekommen. Ganz ähnlich wollen wir ermöglichen, dass Leute, die Daten beisteuern, dafür Anerkennung bekommen und bezahlt werden. Aber bei einer Plattform wie YouTube ist, ähm, das größte Problem, dass sie nicht offen ist. Es ist ein zentrales System. Du musst ihnen bei dem, was sie dir zahlen, einfach glauben, oder?

Ram Kumar 15:07 Vielleicht bewirkst du viel mehr. Vielleicht hast du viel mehr Aufrufe. Vielleicht könntest du eine viel höhere Vergütung bekommen, als sie dir tatsächlich zahlen. Aber du akzeptierst das, weil das eben die Norm ist und sie der größte Anbieter sind. Das System ist zentralisiert. Sie haben den Markt für sich gewonnen. Es gibt also keine andere Möglichkeit, sich dagegen zu wehren, oder?

Ram Kumar 15:26 Bei KI könnte es bald genauso sein, oder? All die Unternehmen, die KI-Modelle bauen, können einfach einen Datensatz sammeln und dich nie dafür vergüten oder nur sehr wenig zahlen, wenn sie dazu gedrängt werden. Und wir alle müssen das akzeptieren. Es könnte Wege geben, das zu lösen, wenn man früh damit anfängt und sich damit tatsächlich einen guten Teil des Marktes sichern kann.

Ram Kumar 15:46 Das versucht OpenLedger zu lösen. Wir wollen sicherstellen, dass das später zu einem Problem wird. Später wird es viel Bedarf geben. [unverständlich] hat fast angefangen. Also bauen wir eine Plattform, auf der Leute Daten beisteuern und monetarisieren können und auf der sie sehen können, wie viel von den Daten nützlich ist.

Ram Kumar 16:03 Und sie können das on-chain sehen. Es ist transparent und nachvollziehbar. Und damit ist das, das ist ein viel offeneres System als so etwas wie Hugging Face, wo das System geschlossen ist und sich nicht, nicht monetarisieren lässt. Das wollen wir ändern, und das, das versuchen wir.

Kevin 16:20 Das, äh, scheint auch ein bisschen anzuknüpfen an, äh ...

Ram Kumar 16:23 Hey Leute, äh, ich bin Ram. Ich bin einer der Mitwirkenden im Kernteam von OpenLedger. OpenLedger ist eine Blockchain für KI. Bei uns können Nutzer Datensätze beisteuern und KI-Modelle bauen, und Apps können diese KI-Modelle nutzen und eine Vergütung an die Leute weitergeben, die Daten beigesteuert haben. Unsere Idee ist, dass jeder, der Datensätze zum Bau eines KI-Modells beisteuert, für seine Beiträge vergütet werden kann.

Ram Kumar 16:46 Normalerweise verwenden die Modelle, die du heute im Internet siehst, größere Sprachmodelle wie OpenAI, Llama und so, deine Daten, die aus dem Internet bezogen wurden. Dafür wirst du nicht vergütet. Aber die Idee dahinter ist, dass KI nicht einfach nur da ist. Sie wird sich darüber hinaus weiterentwickeln. KI wird viel spezialisierter werden, und die Daten liegen bei den Leuten, bei Unternehmen und Betrieben.

Ram Kumar 17:07 Wir wollen dafür sorgen, dass sie alle dabei vergütet werden. Und vielen Dank, dass ich hier sein darf. Ich freue mich, hier zu sein und mehr über OpenLedger zu erzählen.

Kevin 17:15 Diese ganze Sache mit der Blackbox, mit erklärbarer KI und all dem. Ähm, wie siehst du das aus Unternehmenssicht, oder? Denn oft war oder ist genau das ein großer Kritikpunkt an KI-Modellen: Man weiß im Grunde nicht, wie das Modell zu dieser Ausgabe, zu diesem Schluss gekommen ist, oder?

Was Unternehmen nachvollziehen wollen

Kevin 17:39 Und dieses Denken ist da irgendwie ein Fortschritt, aber es ist ja auch eine Ausgabe, oder? Also wissen wir es nicht wirklich.

Ram Kumar 17:45 Ja, also wenn du dir all diese Modelle heute anschaust, ja, dann sind sie nicht erklärbar. Du weißt nicht, wie sie arbeiten, weil nicht klar ist, äh, welche Art von Datensätzen verwendet wird. Schauen wir uns selbst mal ein Open-Source-Modell wie Llama an. Bei den meisten Modellen, die sie angekündigt haben, gibt es da keine Transparenz.

Ram Kumar 18:05 Es ist nicht ersichtlich, welche Art von Datensätzen sie verwendet haben. Wenn also ein Unternehmen ein Llama-Modell für seine Entscheidungen nutzt, sagen wir ein Krankenhaus oder ein E-Commerce-Unternehmen, oder sagen wir, ein, ein Labor nutzt es, dann ist da nichts erklärbar. Da ist, du bekommst, wenn du, du hast eine Antwort bekommen und sie in deinem Betrieb umgesetzt, dann, du [unverständlich] zurückgehen und nachsehen, welche Daten diese KI-Antwort ausgelöst haben und warum du sie verwendet hast, oder?

Ram Kumar 18:31 Das würden wir gern mit spezialisierten Modellen ändern. Zumindest bei spezialisierten Modellen wissen wir, welcher Datensatz beigesteuert wird, auch wenn wir nicht wissen, was im Basismodell passiert. Was wir herauszufinden versuchen, ist, dass bei der Attribution, also als Nebeneffekt davon, oder was sich daraus ergibt, dass wir jedes Mal, wenn eine Attribution stattfindet, Leute vergüten können.

Ram Kumar 18:55 Wir finden auch heraus, welche Daten dazu führen, dass diese Ausgabe zustande kommt, oder? Damit machen wir das Modell anhand der Daten viel besser erklärbar. Jedes Mal, wenn eine Ausgabe kommt, kannst du zurückgehen und nachsehen, welcher Datensatz diese Ausgabe verursacht hat. Und wenn die Ausgabe gut ist, kannst du dir auf dieser Grundlage mehr von diesen Daten besorgen.

Ram Kumar 19:15 Oder wenn die Ausgabe schlecht ist und du das Gefühl hast, dass sie bösartig ist und, na ja, die KI kompromittiert wurde, dann kannst du diese Daten entfernen, die womöglich vergiftete Datensätze sind. So würden wir gerne anhand von Daten erklären, wie eine KI funktioniert, oder? Und Unternehmen brauchen das. Wir arbeiten zum Beispiel mit einem großen E-Commerce-Unternehmen, äh, das mit seinen internen Datensätzen zusammen mit uns ein Modell baut.

Ram Kumar 19:39 Und was sie unbedingt wollten, war eine lückenlose Nachverfolgung. Angenommen, sie arbeiten, äh, mit dieser KI auf ihrer Plattform und verwalten damit ihren Lagerbestand, verwalten damit ihre SKUs. Dann wollen sie am Ende bei einem Audit zurückgehen und sehen, welche Entscheidungen sie getroffen haben und warum.

Ram Kumar 20:01 Und das stützt sich dann auf eine KI. Sie wollen lückenlos nachvollziehen können, welche Daten eingegeben wurden, wie die KI sie verarbeitet hat, was dabei herauskam und was das tatsächlich bewirkt hat, oder? Sie wollen das durchgängig, äh, auditieren können. Und deshalb wollen sie mit uns arbeiten, weil wir ihnen dieses erklärbare Modell zur Verfügung stellen können.

Ram Kumar 20:18 Äh, das bekommst du bei ChatGPT nicht. Das bekommst du bei Llama nicht, oder? Du gibst eine Menge Datensätze rein, du bekommst eine Antwort, du musst darauf vertrauen, dass es, dass es die richtige Antwort ist, und musst sie einfach verwenden. Das würden wir also gern durch Erklärbarkeit ändern. Und das ist wichtig, oder?

Ram Kumar 20:34 Du triffst auf Basis einer KI eine medizinische Entscheidung und stellst jemandem eine Diagnose. Wenn du nicht weißt, warum du das tust, ist das riskant, oder? Also, ähm, das weiß jeder. Nur sehr wenige arbeiten daran, und wir gehören dazu.

Kevin 20:48 Das klingt auch so, als ob die Erklärbarkeit von KI ein bisschen an die Diskussion über Verzerrungen in KI-Modellen anknüpft, oder? Wenn man eine Entscheidung oder die Ausgaben eines Modells tatsächlich zurückverfolgen kann, sollte man ja im Grunde auch, wenn man eine Verzerrung erkennt, zurückverfolgen können, welcher Datensatz oder welche Verzerrung in welchem spezialisierten Datensatz das eigentlich ausgelöst hat.

Verzerrungen auf Trainingsdaten zurückführen

Kevin 21:17 Arbeitet ihr auch daran, oder ist das nur ein Nebeneffekt?

Ram Kumar 21:21 Ja, auch das ist, ist Teil der Erklärbarkeit, oder? Äh, wenn, wenn wir den Leuten Daten, also diese Modelle, äh, zur Verfügung stellen und sie mit einer Blockchain nachverfolgen und herausfinden können, wie die Daten Einfluss nehmen, dann, wenn, da gibt es zwei Möglichkeiten. Äh, sie sehen die Verzerrungen. Wenn sie die Verzerrungen entfernen wollen, können sie das.

Ram Kumar 21:40 In bestimmten Fällen braucht man vielleicht mehr Verzerrung, oder? Sagen wir, du baust ein spezialisiertes Modell nur für Amerika, ja? Und es geht um das Gesundheitswesen. Dann würdest du einen stark verzerrten Datensatz mit Daten zu Menschen aus den ethnischen Gruppen wollen, die in Amerika die Mehrheit bilden, oder? In dem Fall müsstest du dem Modell also verzerrte Daten geben.

Ram Kumar 21:59 Und sagen wir mal, es ist ein allgemeines Modell, in dem es keine Verzerrungen geben soll. Es soll fair sein und nicht irgendwie auf eine bestimmte ethnische Gruppe oder ein bestimmtes Thema oder eine bestimmte Sache ausgerichtet sein. Dann kannst du diese Ausrichtungen mithilfe von Erklärbarkeit entfernen. Also, äh, wieder ein Produkt, äh, das, das ist ein Nebenprodukt, oder eher die Frage: Welche, welche Anwendungsfälle lassen sich mit Erklärbarkeit umsetzen?

Ram Kumar 22:24 Verzerrungen zu entfernen ist einer der wichtigsten Anwendungsfälle. Ähm, wir versuchen das unter anderem so herauszufinden, dass wir erst mal mehr auf der Ebene der spezialisierten Modelle arbeiten, ja? Beim spezialisierten Modell finden wir gerade heraus, wie die Daten die, die Ausgabe beeinflussen. Als Nächstes wollen wir viel stärker vom Kontext ausgehen, oder?

Ram Kumar 22:43 Du kennst die Daten, du kennst die Ausgabe, die dabei herauskommt. Wir wollen herausfinden, welchen Kontext das KI-Modell daraus ableitet. Denn du hast in deinem Leben etwas gelernt, oder? Ich habe in meinem Leben so ziemlich dasselbe gelernt. Aber was wir daraus ableiten und dann erzählen, sind zwei verschiedene Dinge.

Ram Kumar 23:02 Dein Blick auf die Welt ist anders. Mein Blick auf die Welt ist anders. Bei KI ist es genauso, oder? Ein KI-Modell hat einen anderen Kontext, je nachdem, was man ihm eingegeben hat und wie es, sagen wir mal, diese Eingabe versteht. Diesen Kontext kennenzulernen ist sehr wichtig, oder?

Ram Kumar 23:21 Ähm, sagen wir, wir fragen, wer, ähm, Alexander ist, ja? Ähm, es sagt dir, wer Alexander ist, aber es geht eigentlich darum, wie es das sagt, oder? Alexander ist ein König, der für seine, ähm, na ja, seine Stärke bekannt ist und für seinen Mut und dafür, wie er all die Jahre gekämpft hat und so. Wenn das Modell das sagt, dann deshalb, weil es über verschiedene Herrscher und verschiedene Könige und so gelesen hat. Und so kann es sich tatsächlich einen Kontext erschließen und dir eine Antwort geben, oder?

Ram Kumar 23:55 Diesen Kontext zu verstehen ist also auch sehr wichtig, um wirklich zu wissen, wie ein KI-Modell funktioniert und wie es dir tatsächlich eine Antwort gibt. Das ist also sehr wichtig. Das sind so die nächsten Schritte bei dem, was wir machen. Bei der Erklärbarkeit und der Frage, wie Daten ein Modell beeinflussen, geht es also noch viel tiefer.

Datenabruf und Feinabstimmung

Kevin 24:13 Ähm, du hast da gerade erst an der Oberfläche gekratzt. Gefällt mir. Cool. Ich meine, der ganze Sinn dieses Podcasts ist ja, an der Oberfläche zu kratzen, oder? Um das für die Leute zugänglicher zu machen. Ähm, aber gehen wir vielleicht eine Ebene unter die Oberfläche. Ähm, aus technischer Sicht, ähm, die Zuordnung zu Datensätzen, also wie die Ausgabe zustande kommt.

Kevin 24:38 Ähm, also normalerweise hast du, aus technischer Sicht, diese Schichten in deinem KI-Modell, du hast Gewichte, und so kommt im Grunde eine Ausgabe zustande, oder? Meistens ist es ein probabilistisches Modell, oder? Zumindest nach meinem, äh, Grundverständnis. Und, also, gebt ihr aus technischer Sicht dieses Fachwissen oder Spezialwissen einfach in Echtzeit dazu, wenn eine Anfrage gestellt wird, also innerhalb dieses Kontexts?

Kevin 25:10 Oder trainiert ihr damit tatsächlich die Gewichte? Wie funktioniert das?

Ram Kumar 25:15 Das ist eine, das ist eine gute Frage. Dafür gibt es zwei Wege, oder? Wenn Leute ein Modell [unverständlich] an ihre eigenen Anforderungen anpassen oder spezialisieren wollen, gibt es normalerweise mehrere Möglichkeiten. Die zwei besten sind so was wie RAG oder das Modell feinabzustimmen. Normalerweise entscheiden sich die Leute für RAG.

Ram Kumar 25:37 Ähm, sie geben also Kontext mit, wobei es bei RAG eher darum geht, einen besseren Prompt zu liefern. Du stellst zusätzliche Datensätze bereit und stellst eine Frage. Dann nutzt das Modell deinen Datensatz, den du als RAG hinzugefügt hast, und gibt dir eine Antwort. Jetzt hat es also den Kontext zu dem, wonach du fragst.

Ram Kumar 25:57 Das ist wahrscheinlich der beste Weg, und das ist, ähm, kein, ich würde nicht sagen, der beste Weg, aber so der schnellste Weg, oder? Deshalb bieten wir auch RAG-Lösungen an. Also nicht nur Modell-Feinabstimmung, nicht nur die Möglichkeit, spezialisierte Modelle zu bauen. Alle Datensätze, die, äh, zu OpenLedger beigesteuert werden, kann man auch als RAG verwenden.

Ram Kumar 26:18 Das ist also die erste Ebene. Du steuerst einen Datensatz bei, und der kann einfach roh als RAG verwendet werden. Wenn das den Zweck nicht erfüllt, stimmst du als Nächstes im Grunde das Modell fein ab. Du nimmst die Datensätze, trainierst das Modell damit, legst den Datensatz sozusagen über ein Modell, indem du das Modell mit weiteren Datensätzen nachtrainierst, und dann machst du daraus ein spezialisiertes Modell.

Ram Kumar 26:38 Jetzt hast du eine feinabgestimmte Version des Modells mit mehr Daten, die du nutzen kannst, um deine Antwort zu bekommen. Das sind die zwei Wege, mit denen wir das angehen. Ähm, ich glaube, das waren die erfolgreichsten Wege, die wir gesehen haben. Die meisten Leute, die bei uns im Testnet etwas gebaut haben, haben beide ausprobiert und versuchen dann, je nach Bedarf und von Fall zu Fall, äh, zu wechseln.

Kevin 27:00 Mhm. Also bei RAG kann ich mir auf jeden Fall vorstellen, wie man etwas zuordnet, äh, also wie man zurückverfolgt, welche Datensätze verwendet wurden, oder? Aber wie funktioniert das, wenn sie ein Modell tatsächlich feinabstimmen?

Ram Kumar 27:16 Ja, bei RAG ist das einfach, wie du weißt. Jemand liefert zusätzliche Daten, und du kannst zurückgehen und das nachverfolgen. Äh, wie ist das so auf der Ebene der Feinabstimmung, ja? Das ist, das ist die größte Herausforderung. Und wie haben wir das gelöst? Auf Basis dieser Studie. Wir haben das schon mal angekündigt, und wir werden es auch in einem Whitepaper ankündigen.

Ram Kumar 27:36 Äh, wir haben das auf Grundlage einer Studie namens DataInf gebaut. Was sie im Grunde macht, äh, ist, den Einfluss von Daten in einem feinabgestimmten Modell zu ermitteln, oder? Ähm, wir verwenden dafür sozusagen die, im Grunde die Verlustfunktion der Daten. Wir schauen, wir entfernen alle Datensätze und schauen, bei welchen Daten der Verlust am größten war.

Ram Kumar 27:58 Das heißt, dieser Datensatz hatte den größten Einfluss, oder? Ähm, also im Grunde, ich, du gibst eine Antwort, und, äh, was wäre, wenn ich das sozusagen rückwärts auseinandernehme und dein ganzes Wissen entferne? Wie viel schlechter wird dann deine Antwort? Wenn ich den größten Wissensbestand entferne, könnte das den größten Einfluss auf deine Antwort haben, oder?

Ram Kumar 28:26 Also welche Daten hatten den größten Einfluss auf den Verlust? Diesen Daten ordnen wir den Einfluss dann zu, und das zeigen wir. Ähm, dazu gibt es noch viel mehr Details, ähm, viel mehr technische Details dazu, wie wir das machen, die du im Whitepaper nachlesen kannst. Die größte Herausforderung für uns war, dass wir fast, also für eine Inferenz haben wir im Durchschnitt mehr als 15, 20 Minuten gebraucht, um das herauszufinden, oder?

Ram Kumar 28:51 Wir mussten das auf ein paar Sekunden runterbringen. Daran haben wir im letzten Jahr oder so gearbeitet. Denn stell dir mal die Rechenkosten vor, wenn wir das tatsächlich für eine rechenintensive Inferenz machen, das würde so 15, 20 Minuten kosten, oder? Das mussten wir also runterbringen. Und das ist, das ist die Arbeit, die wir im letzten Jahr hauptsächlich bei der Attribution gemacht haben.

Attribution nach der Inferenz bündeln

Kevin 29:11 Okay, das ist sehr interessant. Ich habe zwei Fragen. Ich hoffe, äh, ich vergesse sie nicht. Ähm, also die erste Frage: Im Grunde ist das, ist das so eine Art Brute-Force-Ansatz, oder? Du nimmst einen Datensatz weg, schaust dir den Verlust an und so weiter und schälst im Grunde die Zwiebel, oder? So verstehe ich das.

Kevin 29:28 Ähm, ich kann mir vorstellen, selbst wenn es nur ein paar Sekunden sind, oder, dass das einerseits bestimmt teuer ist, wenn man es regelmäßig macht. Also müsste es wohl bei Bedarf passieren. Aber, ähm, wie funktioniert das, wenn, sagen wir, 50 spezialisierte Datensätze dazu beitragen?

Ram Kumar 29:53 Ja. Ja. Also wir bündeln das, oder? Wir machen das, äh, nicht in Echtzeit. Denn wenn, äh, wenn ich Leute vergüten will, muss ich dich ja nicht jede Sekunde bezahlen, oder? Für dich ist es auch okay, wenn du, sagen wir mal, jeden oder jeden zweiten Tag bezahlt wirst. Am besten bündelt man also, äh, alle Inferenzen und schaut dann, wie die Attribution zustande kam.

Ram Kumar 30:17 Also, ähm, das haben wir gemacht. Wir haben das im Grunde optimiert. Ähm, wir brauchen da keine, na ja, Geschwindigkeit. Wir brauchen nur Genauigkeit, ähm, aber Genauigkeit über verschiedene Berührungspunkte hinweg, oder? Also das ist, das ist, was wir gemacht haben. Wir, wir machen das nicht in Echtzeit. Wir machen das, ähm, in gebündelten Verarbeitungsschritten, und dadurch sind unsere GPU-Kosten viel, viel niedriger.

Ram Kumar 30:42 Ähm, das ist anders, als wenn ich in Echtzeit eine Frage stelle und du eine schnelle Inferenz brauchst, oder? Dafür braucht man dann sehr stark hochskalierte CPUs. In diesem Fall ist der Aufwand viel geringer, es ist viel einfacher, und wir haben das sehr stark optimiert. Und, ähm, all das ist Teil der Forschung, die wir dazu gemacht haben.

Ram Kumar 31:00 Also ja, weil wir es bündeln, sind die Kosten viel niedriger.

Kevin 31:04 Cool. Und, äh, aus Sicht der Arch-, der Architektur ist mir gerade ein Gedanke gekommen, der vielleicht ein bisschen naiv ist, ja? Aber ich, ich nehme an, diese technischen Modelle, äh, also diese spezialisierten Modelle, sind nicht besonders dynamisch, oder? Wenn man ein spezialisiertes Modell einmal eingerichtet hat, ändert man es normalerweise nicht mehr groß.

Kevin 31:30 Warum also nicht so etwas wie einen Gültigkeitsnachweis, bei dem man im Grunde dieses Training macht, also vielleicht das Training on-chain bringt? Also, ich, ich, ich denke da in die Richtung, ja, dass man das im Grunde vorher bekommen kann und hinterher die Kosten spart. Was sind eure, warum geht, geht das nicht?

Ram Kumar 31:53 Du meinst, du meinst bei der Attribution oder bei, bei ... Also okay, so ist das, ja? Wenn du eine Frage stellst, weiß ich, wissen wir nicht, was für eine Frage du stellst, weil jede Inferenz ganz individuell ist, oder? Deshalb könnten wir das nicht schon vorher herausfinden. Wir müssen es, äh, nach der Inferenz machen.

Kevin 32:14 Okay. Und also, also auch aus MVP-Sicht, ich, ich weiß, ihr seid nicht in der MVP-Phase, oder? Aber man könnte das, denke ich, auch in gewisser Weise lösen. Viel-, vielleicht ist das nicht so genau, wobei Genauigkeit natürlich ein großer, äh, großer Teil des Nutzens ist. Aber man könnte auch sagen: Okay, das sind die Datensätze und so wichtig sind sie, also so allgemeine Gewichte dafür, wie wichtig sie in diesem spezialisierten Modell sind.

Kevin 32:39 Das wäre unabhängig davon.

32:43 Sie könnten, na ja,

Ram Kumar 32:44 zum Beispiel, äh, sagen wir, wir bauen ein Modell fürs Gesundheitswesen. Ähm, wir könnten bestimmte Datensätze haben, die sich auf die häufigsten, äh, Fragen beziehen, und diese Datensätze hätten Einfluss. Ähm, und ich denke, ja, das könnten wir herausfinden. Aber das ist nicht sehr, aber selbst wenn wir es herausfinden, wäre es nicht fair, sie schon im Voraus zu vergüten, weil, ähm, alle Datensätze beisteuern.

Ram Kumar 33:11 Ähm, vielleicht setzen sie bessere Prioritäten, oder? Auch das überlassen wir den Verantwortlichen, äh, denen, die das Modell entwickeln, oder? Wir sind eine Infrastrukturplattform, auf der wir die Lösung bereitstellen. Modellentwickler nutzen unsere Plattform, um Datensätze zu sammeln, und dann entscheiden sie, wie sie die Leute vergüten wollen, die die Daten beisteuern.

Ram Kumar 33:31 Wenn sie diese Leute schon im Voraus vergüten wollen, haben wir auch dafür Mechanismen. Sie könnten sich zum Beispiel überlegen: Ich brauche diese, diese Datensätze, und wer sie als Erstes bereitstellt, den vergüte ich, sagen wir, vielleicht mit einem Prozentsatz der Einnahmen, die ich mit diesem Modell erzielen werde, oder?

Ram Kumar 33:50 Und das im Voraus oder so. Das könnten sie machen, aber, ähm, das liegt bei ihnen. Wir empfehlen das nicht, aber es liegt bei ihnen. Normalerweise läuft es aber so, dass die Leute Datensätze sammeln, und diese Datensätze, also, sie wissen, sie sagen, was für Datensätze sie brauchen. Ähm, größtenteils sind das die wichtigsten Datensätze, äh, die sie brauchen, und die sammeln sie.

Ram Kumar 34:09 Äh, manche davon sind vielleicht nicht so nützlich, aber sie sammeln sie trotzdem, weil sie den gesamten Kontext brauchen. Das Modell wird trainiert. Erst wenn es genutzt wird, finden sie wirklich heraus, wonach der Markt sucht und welche Anfragen gestellt werden. Und dann versuchen sie, die Leute entsprechend zu vergüten.

Ram Kumar 34:27 Also, ähm, wir alle würden GPT zum Beispiel nach unseren Urlaubsplänen fragen, und bei den häufigsten Fragen ging es wohl meist um Urlaubspläne, das habe ich irgendwo gelesen. Das könnte also der nützlichste Datensatz sein, mit dem ChatGPT im letzten Jahr oder so trainiert wurde. Aber das heißt nicht, dass es so bleiben wird, oder?

Ram Kumar 34:48 Die Leute werden sich da weiterentwickeln. Sie werden viel weiter gehen, sie werden viel relevantere Fragen stellen, wenn sie, wenn sie anfangen, ChatGPT zu benutzen. Also, äh, ich würde, es wäre nicht fair, Leute danach zu vergüten, was man für die wichtigsten Daten hält. Es ist am, fair wäre es, die Datenbeitragenden dann zu vergüten, wenn die Leute diese Modelle tatsächlich nutzen.

Ram Kumar 35:08 Da, da kommt die Fairness ins Spiel.

Dateneigentum und Fazit

Kevin 35:10 Gefällt mir sehr. Superspannend. Danke, dass du das mit uns geteilt hast. Ähm, dann würde ich sagen: Gibt es vielleicht drei zentrale Erkenntnisse oder drei Dinge, die die Leute aus diesem Gespräch mitnehmen sollen? Oder vielleicht sogar, äh, drei Dinge, die sie tun sollen, wie etwa, äh, sich eure Blockchain anzuschauen oder so. Was sollten sie ...

Ram Kumar 35:29 Ein wichtiger Punkt wäre für mich, dass wir uns alle bewusst sein sollten, dass KI großen Einfluss haben wird, ähm, auf unser aller Leben. Ich glaube, die Generation vor uns, und wir auch, also wir haben uns, äh, für Bequemlichkeit statt Privatsphäre entschieden, oder? Es hat uns nichts ausgemacht, dass größere Konzerne unsere Daten nehmen und sie für verschiedene Zwecke nutzen.

Ram Kumar 35:55 Das hat sich jetzt auf KI ausgeweitet. Aber zumindest bei KI haben wir die Wahl: Unsere Daten können uns immer noch gehören, und wir können entscheiden, was wir damit machen wollen, oder? Wir können unsere eigene KI bauen. Wir können im Grunde, ähm, Teil des KI-Zeitalters sein, das gerade bevorsteht. Die Leute müssen also viel mehr darauf achten und viel besser verstehen, wofür ihre Daten nützlich sind.

Ram Kumar 36:18 Das ist also eine Sache, die ich den Leuten gerne mitgeben würde. Und lernt auch etwas über KI, ja? Denn das alles wird unser Leben verändern. Und dann, ähm, wir sind, wir sind gerade noch, ähm, in der Entwicklung. Wir sind im Testnet und gehen bald ins Mainnet. Äh, wir würden uns über Feedback aus der Community freuen.

Ram Kumar 36:35 Dazu ermutigen wir immer. Ähm, wir haben das in den letzten anderthalb Jahren aufgebaut, indem wir ständig mit der KI-Community gesprochen haben, mit Entwicklern und Leuten, die selbst etwas bauen. Wir würden uns freuen, wenn auch Nutzer aus aller Welt Feedback zum Produkt geben könnten. Das hilft uns, ein besseres Produkt zu bauen.

Ram Kumar 36:54 Das sind also die zwei wichtigsten Dinge. Und drittens, schaut bei OpenLedger HQ vorbei. Wie gesagt, es gibt Leute, äh, die auf unserer Plattform etwas bauen. Wir gehen bald ins Mainnet und haben schon, ich würde sagen, mehr als zehn Projekte, die bei uns etwas bauen, darunter das Team von Google [unverständlich], das sich entschieden hat, auf keinen der herkömmlichen KI-Anbieter zurückzugreifen.

Ram Kumar 37:13 Sie wollten mit uns arbeiten. Wir arbeiten mit vielen Unternehmen, mit einem großen E-Commerce-Unternehmen, einem der größten. Mit denen arbeiten wir. Dazu geben wir bald mehr bekannt. Wir arbeiten mit der Regierung, der Regierung eines souveränen Staates im Nahen Osten. Mit ihnen bauen wir ein Modell. Auch dazu werden wir etwas bekannt geben.

Ram Kumar 37:29 Das sind also Leute, die uns vertrauen. Wir würden uns freuen, wenn ihr euch das anschaut, sobald es Neuigkeiten gibt, und uns weiter unterstützt.

Kevin 37:37 Superspannend. Vielen Dank für deine Zeit. Es hat mich wirklich gefreut, mit dir zu sprechen. Ich habe viel gelernt. Das Publikum bestimmt auch. Und ja, alles Gute mit [unverständlich].

Ram Kumar 37:49 Danke, Kevin. Äh, es war schön, mit dir zu sprechen.

Kevin 37:51 Gleichfalls.

37:52 Mach’s gut. Bis dann, mein Lieber. Wavect, das Web3-Softwareunternehmen, das versteht, was du willst.