播客文字稿

OpenLedger 为什么押注专用 AI

Ram Kumar OpenLedger 核心贡献者

Ram Kumar 与 Kevin Riedl 讨论什么时候适合使用专用模型,以及 OpenLedger 打算如何追踪数据对模型输出的影响。Kumar 表示,模型开发者决定如何奖励数据贡献者。

  • 发布于 2025年6月16日
  • 时长 38:01
  • 操盘手
  • 录制语言 英语
播客单集《OpenLedger 为什么押注专用 AI》,嘉宾 Ram Kumar(OpenLedger 核心贡献者)
// 速读版
  • Kumar 认为,通用模型足以应付许多任务。若任务需要通用模型缺少的数据,专用模型就有用武之地。如果通用模型也有同样的专用数据,Kumar 认为它就够用,但规模更小、托管成本更低仍可能是选择专用模型的理由。
  • OpenLedger 提议追踪数据贡献及其对模型输出的影响,并提供奖励机制。模型开发者决定如何奖励数据贡献者。

开场介绍

观看这一段 · 0:00

Kevin 0:00 大家好。今天我要和 OpenLedger 的核心贡献者 Ram Kumar 聊一聊。我们会谈到链上的专用 AI,以及为什么现在 [听不清] 是错的。这次对话真的特别让人兴奋,因为我很想聊到技术细节,同时当然也会讲得足够通俗,让没有技术背景的人也能听懂。

Kevin 0:23 这次聊得真的很有意思,也很精彩。我还问了一些比较尖锐的问题,这样我自己才能真正弄明白他们在做什么、在解决哪些问题。我个人学到了很多,也真的很喜欢这次对话。所以我相信你们也会喜欢。

0:42 Wavect,懂你想要什么的 Web3 软件公司。

Kevin 0:48 呃,现在有 ChatGPT、Claude,还有各种通用模型,当然大家都知道这些模型。大家都在用,至少看起来是这样。大家都在用这些通用模型,而你们其实在专注于专用模型,对吧?能不能带我们捋一捋,为什么你觉得真正的未来会是专用模型,而不是那种大而全的、呃、什么都能做的模型?

何时适合使用专用 AI

观看这一段 · 0:53

Ram Kumar 1:21 对,先说明一下,呃,我们用的是大语言模型,然后把它们做成专用模型。嗯,我们认为,嗯,LLM 会继续存在。还会有更多模型出现,它们掌握的知识也会多得多。但这些都会是很通用的知识,对吧?呃,因为它们本来就是为这个目的设计的。

Ram Kumar 1:41 就像用 Google 搜索一样,Google 搜索是全球性的搜索服务。它掌握关于整个世界的通用知识。网上能找到的东西,Google 上都能搜到。但我们也会用 LinkedIn 联系专业人士,对吧?你会在 LinkedIn 上找工作,要找吃的,大概就会去 Uber Eats 上搜,对吧?

Ram Kumar 2:00 想买某件东西,你会去 Amazon 上搜。所以,从 Google 搜索这样的服务发展出来的,是针对特定需求、非常细分的搜索,对吧?大语言模型也会这样。大语言模型非常通用,是给日常通用场景用的。但要做专用模型,解决很独特的需求,就得给它专门的数据集。比如,有人想做一个医疗模型,专门用来进一步了解普通医学。

Ram Kumar 2:32 你不能拿一个掌握通用知识的模型来做这件事,对吧?它得用医学数据集来训练,得了解人体本身是怎么运作的。只有这样,这个模型才能针对各种病症给出有用的解决办法,对吧?类似地,如果有人想做一个金融领域的模型或应用,对吧?

Ram Kumar 2:52 比如一个 AI 应用,基本上就是指导你做交易,当你的交易助手。它得像交易员、对冲基金经理之类的人一样懂金融,对吧?它得有交易方面的知识。呃,一个有通用知识的通用模型也会有这方面的知识。

Ram Kumar 3:10 它会懂一些,但懂得很浅,对吧?就像一个人看看博客、网站之类的东西之后,对这事有个大致了解。它不会有做了 10 年交易的人那样的专业知识。这就是专用模型。

Ram Kumar 3:28 呃,它对某个特定主题的理解会深得多。技术一开始是通用的,掌握的是很通用、很宏观的知识,之后我们人类再根据具体需求去做更专门的技术,这很自然。AI 也会这样发展。现在我们是从通用知识开始,大家在慢慢熟悉 AI,然后就会开始把 AI 用到各自的日常场景里,对吧?

Ram Kumar 3:56 你看自动驾驶汽车用的模型,它们是视觉模型,但针对那个特定领域做了专门训练,对吧?嗯,也有些视觉模型是为机器人完成某项工作而训练的,比如给 Figure 这类机器人用的。还有些视觉模型更多是用在家用机器人这类东西上。

Ram Kumar 4:17 所以每个模型都会针对各自的需求来做。AI 就会这样解决我们日常生活中的问题。人们会开始把 AI 用到我们所有的互动里,而每一类互动都需要专门的模型。过去两年我们已经看到这种情况了,对吧?

Ram Kumar 4:34 GPT 一发布,人们就开始用 ChatGPT,接着就开始试着做专用模型。Bloomberg 推出了 BloombergGPT。它是市面上最专门的模型之一,懂金融。大多数情况下,它比 ChatGPT 好得多。

Ram Kumar 4:52 所以这是我们的基本判断。嗯,我们看到现实中发生的也是这样。Hugging Face 提供的工具让人们可以贡献数据、构建模型,但参与这个过程的人都得不到回报,对吧?它是个开源方案。开源很好,但这个做法长期来看行不通。

Ram Kumar 5:14 在开源领域,你得促成……监测……变现,对吧?参与其中的人得能从中受益。这就是 OpenLedger 想做的事。我们想确保,呃,那些贡献数据集、让模型得以构建的人,在这个过程中能得到回报。

Ram Kumar 5:30 只有这样,才会有源源不断的数据进来。只有这样,才会有质量更好的数据集进来。这就是我们想实现的目标。我们在测试网期间看到,大多数情况下确实是这样。我们有将近 100 万人在为此贡献数据集。

Ram Kumar 5:46 嗯,我们有,我们做过一个实验,需要构建一个语言模型。嗯,Hugging Face 也试过通过收集语言数据集来做这件事。呃,他们花了大约三个月,招募了大约 5 万名参与者。呃,我们只用了大约两周,就有了大约 30 多万名参与者,对吧?

Ram Kumar 6:06 这就是你把它变现、给人们回报之后会发生的事,对吧?有了激励,人们就会去把事情做起来,因为每个人都需要感受到,自己既然贡献了东西,就应该能从中受益,对吧?所以最核心的想法很简单,就是让大家能在一个平台上互相信任、一起做事,并在这个过程中得到回报。

Ram Kumar 6:28 这就是 OpenLedger 想解决的问题。

Kevin 6:30 好,我有几个问题。嗯,第一个,假设我们有两家公司,对吧?一家在做通用模型,另一家在做一个、一个专用模型。嗯,假设它们手里有同一个专用数据集。

6:49 嗯。

Kevin 6:52 那怎么说呢,单从数据本身来看,数据是一样的,对吧?唯一的区别是,呃,通用模型还掌握了和那个专门任务无关的其他知识。那怎么……

7:07 不是……

Kevin 7:08 好。嗯,不好意思,你继续。

Ram Kumar 7:10 也不完全是这样,对吧?比如说,嗯,通常一个为数学构建的模型,大概会掌握大多数定理,也知道怎么理解它们。嗯,通用模型也会有那些知识,对吧?但假设你要做一个专门的数学模型,它掌握的东西就细得多,对吧?

Ram Kumar 7:32 它对每个主题钻得都要深得多。所以碰到一道数学题,一道复杂得多的数学题,它能比通用模型解得更快、更准确,对吧?因为它拿到的数据集更多。你可以这么想,说得简单一点,就把本科生或者高中生看成是对世界有些通用知识的通用模型,再把博士生看成专用模型。

Ram Kumar 8:02 所以博士生对这个主题就是懂得更多。这个主题大家都知道,也能理解,但博士生理解得更好,答得也快得多、准得多。专用模型就是这么运作的,和通用模型比起来也是这样。

Ram Kumar 8:19 还有些场景,那个数据集本身在通用模型里就没有。比如,呃,我们在和一个团队合作,他们在做一个 X 光模型,用世界各地的 X 光影像训练模型,对吧?嗯,数据涵盖不同种族、不同疾病之类的。

Ram Kumar 8:40 嗯,这个模型识别和理解 X 光影像细节的能力比通用模型强得多,看得也清楚得多。你把一张 X 光片传给 ChatGPT,它是能大致看懂,也能跟你说一些东西,但它给不出什么准确的结果,也给不出专用模型那种深度的回答。

Ram Kumar 9:01 所以在这个例子里,这些数据集在通用模型里根本没有。只有专门的 X 光模型里才有 X 光数据集。所以,这个得、得看具体情况。某些数据集通用模型里有,另一些就只有专用模型里才有。嗯,具体情况可能很不一样。

Kevin 9:21 不过,呃,还是回到那个基本假设,对吧?假设两家公司都能访问同样的数据,就是那些真正深入的专用数据。那么一个专用模型,通用知识更少,但在这个领域掌握的知识和那个也有专用知识的通用模型一样,它为什么会更好呢?

Ram Kumar 9:48 那种情况下,我不确定大家通常是不是这么做模型的,对吧?呃,现实中没有这种做法,但我们姑且假设有。呃,如果通用模型有那些专用数据集,通用模型就够用了。他们唯一可能选专用模型的情况,是这个模型规模更小,也就不用付那么高的托管成本之类的。

Ram Kumar 10:15 除此之外,他们会选通用模型。但现实中大多数情况下,通用模型、通用模型,这些模型没有专用数据集,就是那些很独特的数据集。嗯,那些数据通常在专……所以才叫专用模型。

Ram Kumar 10:32 你拿一个模型来做专门化,是因为通用模型里没有那些数据。

Kevin 10:36 好,所以,除了托管成本之类的因素,专用模型真正的理由,就是组织上还有一层限制,对吧?你不会把高度专业化的数据分享给 OpenAI 这样的通用 AI 公司。所以实际上是因为,嗯,好,明白了。呃,你刚才也提到了你们的 Proof of Attribution,也就是归因证明,呃,算法、共识协议,嗯,怎么称呼都行,对吧?

归因证明的运作思路

观看这一段 · 10:56

Kevin 11:05 能不能再深入讲一点技术细节,比如,它到底是怎么运作的?假设我手上有数据,想分享到你们的区块链上,对吧?用你们的基础设施,从 A 到 C 是怎么走的?

Ram Kumar 11:22 好,先回到最基本的东西,对吧?嗯,随便拿一个做出来的 AI 模型来说,比如我们用 ChatGPT,背后运行的模型就是 OpenAI。你可以把它当成驱动这个应用的大脑。大家基本上就是把世界各地的数据集汇在一起,说到底就是互联网数据,再拿它们训练这个模型,对吧?

Ram Kumar 11:46 嗯,就像我们刚才说的,这些互联网数据都很通用,对吧?提供的是很通用的知识。做专用模型,就得从有技能、有专长的人那里拿到这些数据集,或者从企业和规模较小的公司那里拿,因为它们手上有很特别的数据集。

Ram Kumar 12:06 我们可以,也很希望他们接入进来,提供这些 [听不清]。要让他们这么做,最好的办法就是给他们激励。第二件事是让他们有信心相信这个系统,对吧?怎么给他们这种信心?你给他们一个协议之类的东西,相当于一个总账,他们可以去上面看看自己的数据是怎么存的。

Ram Kumar 12:32 你能看到自己拥有所有权。你的数据,你的数据和你的钱包绑定。模型训练时,如果用到了你的数据集,你就能清楚看到哪个模型在使用它。这是在链上的,可以在链上追溯。等到这个模型被使用时,呃,你可以看到你的数据对模型的输出有没有用。

Ram Kumar 12:56 你还可以看,这个模型具体收到了多少付款。所以我们把这些都放在链上,对吧?有人贡献数据,数据就会、就会上链,所以你能看到所有权。模型开发者使用了这些数据,这个过程也会在链上追踪。模型上线后,如果有人使用它,每次模型给出输出,我们都会显示一个数据集,比如别人分享的第 300 个数据集,有没有对那个模型、对那次输出产生影响,对吧?

Ram Kumar 13:28 如果你的数据集对某次模型输出产生了影响,我们就会做归因,展示你的数据集中有多少发挥了作用,以及产生了什么影响。比如说,如果你的数据集中大概有 30% 或 40% 的部分发挥了作用,帮助模型给出解决办法,你就会得到相应的回报。

Ram Kumar 13:49 再说一次,这些都在链上。模型开发者决定把自己收入的多少分给数据贡献者,然后在链上公开。他就是这样运行这个合约的。接着你就能在链上看到你产生了多大的影响,能分到多少收入。

Ram Kumar 14:06 你可以一路追溯,看到自己确实收到了钱。整个过程都能在链上看到,完整的来源和流转记录都能在链上看到。所以这就是我们想解决的问题,也是 Proof of Attribution 协议所做的事。我们把贡献者为模型提供的数据所起的作用归到这些数据上,再把结果放到链上,让他们可以验证,也能弄明白自己为什么会收到钱。

Ram Kumar 14:31 这能让他们有信心继续贡献,越做越多。你想想,对吧,比如我们做播客、把视频上传到 YouTube 之类的,是因为有某种变现渠道,对吧?嗯,大家做自己热爱的事,也能得到回报、拿到钱。

Ram Kumar 14:51 他们得到认可,就更愿意继续做。类似地,我们希望数据贡献者也能得到认可,并因此拿到报酬。不过,在 YouTube 这样的平台上,嗯,最大的问题就是它不开放。它是个中心化的系统。它给你多少,你就得相信这个数字,对吧?

Ram Kumar 15:07 你产生的影响可能大得多,观看量也可能高得多,你本该得到的回报或许比它实际上给你的多得多。但你还是接受了,因为这就是惯例,而且它是市面上最大的玩家。它是中心化的,已经占领了市场。所以你没有别的办法反抗,对吧?

Ram Kumar 15:26 AI 很快也可能变成这样,对吧?AI 模型公司可以直接把数据集收走,从来不给你回报,或者迫于压力才给一点点。我们大家都得接受。如果在早期就动手,而且真能从中拿到可观的市场份额,这件事可能有办法解决。

Ram Kumar 15:46 这就是 OpenLedger 在试着解决的事。我们想确定这以后会成为一个问题。以后会有很多需求。[听不清] 差一点就开始了。所以我们在搭一个平台,让大家可以贡献数据、把数据变现,还能清楚看到有多少数据是有用的。

Ram Kumar 16:03 他们可以在链上看到。整个过程是透明的,也可以追溯。所以这、这个系统比 Hugging Face 之类的要开放得多,后者是个封闭的、没法、没法变现的系统。我们想改变这一点,这、这就是我们正在做的事。

Kevin 16:20 这,呃,好像也跟那个有点关系,呃……

Ram Kumar 16:23 大家好,呃,我是 Ram,OpenLedger 的核心贡献者之一。OpenLedger 是一条面向 AI 的区块链。我们让用户贡献数据集、构建 AI 模型,让应用使用这些 AI 模型,再把回报分给数据贡献者。我们的想法是,任何人为构建 AI 模型贡献了数据集,都能为自己的贡献得到回报。

Ram Kumar 16:46 通常你现在在网上看到的那些模型,像 OpenAI、Llama 之类的大语言模型,用的是从互联网上获取的你的数据。你不会因此得到回报。但我们的想法是,AI 不会就停在这儿,它还会继续发展。AI 会变得更专门,而数据就在个人、企业和商家手里。

Ram Kumar 17:07 我们希望确保他们都能在这个过程中得到回报。也非常感谢你邀请我来。我很高兴能来这里多聊聊 OpenLedger。

Kevin 17:15 就是黑箱、可解释 AI 这一类概念。嗯,从企业的角度,你怎么看这件事,对吧?因为这往往是大家过去、甚至现在对 AI 模型的一大批评,就是你基本上不知道它是怎么得到那个输出、怎么得出那个结论的,对吧?

企业希望追溯哪些信息

观看这一段 · 17:16

Kevin 17:39 而所谓的思考,在这里算是一种进展,但它本身也是一种输出,对吧?所以我们其实并不知道。

Ram Kumar 17:45 对,你看现在的这些模型,它们都不可解释。你不知道它们是怎么运作的,因为没人说清楚用了什么样的数据集。就拿 Llama 这样的开源模型来说,他们发布的模型里,大多数都看不到这些信息。

Ram Kumar 18:05 看不到他们用了什么样的数据集。所以如果一家企业用 Llama 模型来做决策,比如一家医院、一家电商公司,或者说,一个、一个实验室要用它,这个过程就没有可解释性。你要是想……你拿到了一个答案,也已经用到了业务里,你 [听不清] 回过头去看哪些数据让 AI 给出那个答案,以及你为什么用了它,对吧?

Ram Kumar 18:31 这就是我们希望用专用模型改变的事。至少在专用模型上,我们知道别人贡献了哪些数据集,尽管我们不知道基础模型那边发生了什么。我们在想的是,做归因这件事的副产品,或者说它带来的一个结果,就是每次做归因时,我们都能给人们回报。

Ram Kumar 18:55 我们也能找出是哪些数据促成了这个输出,对吧?这样一来,我们就能通过数据,让模型更容易解释。每次有输出,你都可以回头看看是哪个数据集促成了它。如果输出不错,你就可以据此多收集一些这样的数据。

Ram Kumar 19:15 或者,如果输出不好,你觉得它带有恶意,怀疑 AI 已受到损害,那就可以移除那些可能毒害模型的数据集。我们希望这样用数据来解释 AI 是怎么运作的,对吧?企业需要这个。比如,我们在跟一家大型电商公司合作,它用自己的内部数据集跟我们一起做模型。

Ram Kumar 19:39 他们特别想要的一样东西,就是端到端的追溯。假设他们在自己的平台上使用这个 AI,用它管理库存、管理 SKU,到最后要做审计的时候,对吧,他们就想回头看看自己做了哪些决策、为什么这么做。

Ram Kumar 20:01 而这些决策会依赖 AI。他们希望能端到端地追溯输入了什么数据、AI 是怎么处理的、输出是什么,以及实际产生了什么影响,对吧?他们希望整个过程都能接受审计。这也是他们想跟我们合作的原因,因为我们能给他们提供这种可解释的模型。

Ram Kumar 20:18 呃,用 ChatGPT 做不到这点,用 Llama 也做不到,对吧?你把一堆数据集放进去,得到一个答案,你就得相信那是、是正确答案,然后拿去用。所以这就是我们希望借助可解释性改变的地方。这很重要,对吧?

Ram Kumar 20:34 你根据 AI 做医疗决策,给某个人下诊断。如果你不知道自己为什么这么做,那就有风险,对吧?所以,嗯,这事大家都知道,但做这方面工作的人很少,我们是其中之一。

Kevin 20:48 听起来,AI 的可解释性也跟 AI 模型里的偏差问题有点联系,对吧?如果你真的可以追溯模型的决策或输出,那么发现偏差的时候,你应该也能追溯到究竟是哪个数据集,或者哪个专用数据集里的哪种偏差,导致了这个结果。

将偏差追溯到训练数据

观看这一段 · 21:06

Kevin 21:17 这也是你们在做的事吗?还是说只是个副产品?

Ram Kumar 21:21 对,这、这也是可解释性的一部分,对吧?呃,我们向大家提供数据……这些模型,让大家能用区块链来追踪,弄清楚数据是怎么产生影响的。那就有两种情况,呃,他们发现了偏差,如果想去掉,就可以去掉。

Ram Kumar 21:40 在某些情况下,你可能需要更多偏差,对吧?假设你要做一个只面向美国的专用模型,对吧?是医疗方面的。你会想要一个偏向很明显的数据集,主要涵盖在美国占多数的族群,对吧?所以这种情况下,你就需要把带有偏差的数据喂给模型。

Ram Kumar 21:59 再假设是一个通用模型,那就不该有偏差。它应该是公平的,不应该对某个种族、主题或事项有任何倾向。那你就可以用可解释性去掉这些倾向。呃,所以这也算是一个产物,呃,一个副产品,或者说,这是在问可解释性能用来做什么。

Ram Kumar 22:24 消除偏差是最主要的用途之一。嗯,我们想弄清楚这件事,一个办法是先更多地在专用模型这一层做工作,对吧?对于专用模型,我们现在在弄清楚数据是怎么影响、影响输出的。下一步,我们想更多地从上下文入手,对吧?

Ram Kumar 22:43 你知道数据是什么,也知道给出了什么输出。我们想弄清楚 AI 模型从中得出了怎样的上下文。比如,你这辈子学到了某样东西,对吧?我这辈子也学到了差不多一样的东西。但我们俩从中得出的理解不同,讲出来的内容也不同。

Ram Kumar 23:02 你理解世界的背景不一样,我理解世界的背景也不一样。AI 也类似,对吧?喂给 AI 模型的东西不同,或者它对喂进去的东西理解得不一样,它得到的上下文也就不同。弄清楚这个上下文很重要,对吧?

Ram Kumar 23:21 嗯,假设我们问,嗯,亚历山大是谁,对吧?嗯,它会告诉你亚历山大是谁,但要看它具体怎么说,对吧?它会说亚历山大是一位国王,以他的,嗯,你知道,他的力量和勇气出名,也以这些年来怎么打仗之类的事出名。它之所以这么说,是因为它读到过各种统治者、各种国王之类的,所以才能形成一个上下文,给你一个答案,对吧?

Ram Kumar 23:55 所以,要真正了解 AI 模型是怎么运作的、它到底怎么给你一个答案,理解那个上下文也很重要。所以这点很重要,也算是我们接下来要做的事。可解释性,以及数据是怎么影响模型的,这里面还有很多东西可以往深处挖。

数据检索与微调

观看这一段 · 24:13

Kevin 24:13 嗯,你刚才才碰到一点皮毛。我很喜欢,挺有意思。我的意思是,这档播客本来就是想先讲一点皮毛,让更多人听得懂,对吧?嗯,不过也许我们可以再往下挖一层。嗯,从技术上说,怎么对数据集做归因,比如,输出是怎么得出来的?

Kevin 24:38 嗯,通常从技术上看,AI 模型里有这些层,也有权重,基本上就是这样得出输出的,对吧?大多数时候是个概率模型,对吧?至少按我的粗浅理解是这样。那从技术上说,是有人发起查询的时候,你们才实时把技术知识或专用知识喂进去,放到那次查询的上下文里吗?

Kevin 25:10 还是说你们真的会用这些知识来训练模型的权重?具体是怎么做的?

Ram Kumar 25:15 这是个、是个好问题。有两种做法,对吧?通常大家想定制一个模型 [听不清],让它符合自己的需求,或者把它做成专用模型,其实有好几种做法。最好的两种是用 RAG,或者微调模型。一般大家会选 RAG。

Ram Kumar 25:37 嗯,他们会提供一些上下文。呃,RAG 更多是为了给出一个更好的提示。你提供额外的数据集,问一个问题,它就去用你加进来做 RAG 的数据集,然后给你一个答案。这样它就有了你提问所需要的上下文。

Ram Kumar 25:57 这可能是最好的做法,嗯,也不是,我不会说是最好的,但算是最快的做法,对吧?所以我们也提供 RAG 方案。我们除了做模型微调、让大家能做专用模型,所有贡献给 OpenLedger 的数据集也都能拿来做 RAG。

Ram Kumar 26:18 这是第一层。你贡献一个数据集,可以直接拿原始数据来做 RAG。接下来,如果这样还达不到目的,你基本上就得微调模型。你拿来这些数据集做训练,把数据集叠加到模型上,用更多数据集对模型做后训练,然后就做成了一个专用模型。

Ram Kumar 26:38 这样你就有了一个用更多数据微调过的模型版本,可以用它来得到答案。所以我们就是用这两种方式来做这件事。嗯,我认为这是我们看到最成功的做法。在我们测试网上开发的人,大多数两种都试过,再根据需求和具体情况调整。

Kevin 27:00 嗯。我确实能看出来,做 RAG 的时候,你们是怎么归因的,或者说怎么追溯用了哪些数据集,对吧?但如果他们真的微调了模型呢?这又是怎么做的?

Ram Kumar 27:16 对,RAG 很简单,你也知道。有人提供了额外的数据,你就可以回头追溯。呃,那微调这一层怎么做,对吧?这、这是最大的挑战。我们怎么解决的呢?靠这篇论文。我们之前公布过这件事,也会在白皮书里公布。

Ram Kumar 27:36 呃,我们是基于一篇叫 DataInf 的论文做的。它做的事,基本上就是弄清楚数据对微调后的模型有多大影响,对吧?嗯,我们大致是用数据的,基本上就是损失函数。我们把所有数据集都去掉,再看哪份数据造成的损失最大。

Ram Kumar 27:58 这就说明它是影响最大的数据集,对吧?嗯,打个比方,你给了个答案,呃,如果我把它反推一遍,把你掌握的知识都拿掉,你的答案会变差多少?拿掉哪部分知识,会对你的答案产生最大的影响,对吧?

Ram Kumar 28:26 就是看哪份数据对损失的影响最大,然后我们就归因到那份数据,并把它展示出来。嗯,这里面还有很多细节,更多技术细节,你可以在白皮书里看到我们是怎么做的。我们遇到的最大挑战是,光是弄清一次推理的归因,平均就要花十五二十分钟甚至更久,对吧?

Ram Kumar 28:51 我们得把它降到几秒钟。这就是我们过去一年左右在做的事。你想一想,如果真的要对一次计算量很大的推理做这个,算力成本得有多少,得花大概 15、20 分钟,对吧?所以我们得把它降下来。这、这就是我们过去一年做的工作,主要是在归因这块。

推理后批量处理归因

观看这一段 · 29:00

Kevin 29:11 好,这很有意思。我有两个问题,希望,呃,别给忘了。嗯,第一个问题是,这基本上算是一种暴力做法,对吧?你拿掉一个数据集,看看损失有多大,然后再继续。按我的理解,基本上就是像剥洋葱一样,一层一层剥,对吧?

Kevin 29:28 嗯,我能想到,就算只要几秒,对吧,一方面,我估计经常这么做的话,成本也不低,所以我猜可能得按需做。不过,嗯,比如有 50 个专用数据集都对它有贡献,那该怎么做呢?

Ram Kumar 29:53 对,对。我们的做法是分批处理,对吧?我们不实时做,因为要给大家回报,也没必要每秒都给你付一次钱,对吧?比如说,一两天付一次,你也不会介意。所以最好的办法就是把所有推理集中起来,分批弄清楚该怎么归因。

Ram Kumar 30:17 所以,嗯,我们是这么做的,基本上就是做了优化。呃,我们在这件事上不需要快,只需要准确,嗯,但得在不同的接触点上都能做到准确,对吧?所以我们就这么做了。我们、我们不实时做,是分批做的,所以我们的 GPU 成本低得多,低很多。

Ram Kumar 30:42 嗯,跟实时问个问题、你得马上做推理的情况不一样,对吧?那种情况下,你需要把 CPU 的规模扩得很大。这里的要求低很多,也简单很多。我们把这个做法优化得很好。嗯,这些都是研究过程中做的工作。

Ram Kumar 31:00 所以是的,因为是批量处理,成本低得多。

Kevin 31:04 挺好。呃,从架、架构上说,我刚想到一件事,可能有点天真,对吧?但我、我觉得这些技术模型,呃,像这类专用模型,变化没有那么频繁,对吧?专用模型一旦搭好了,通常也不怎么改。

Kevin 31:30 那为什么不做某种有效性证明之类的东西呢?就是做训练的时候,也许,我猜,可以把训练放到链上?我、我、我大概是这么想的,就是说你可以事先得到那个结果,把后面的成本省下来。比如你们怎么看,为什么这样不行呢?

Ram Kumar 31:53 你是说,你是说在归因上,还是在、在……好,是这样的,对吧?你提问的时候,我不会、我们不会知道你问的是什么样的问题,因为每次推理都很独特,对吧?所以我们、我们没法提前弄清楚,得等推理结束之后再做。

Kevin 32:14 好。那从 MVP 的角度看,我、我知道你们不在 MVP 阶段,对吧?但我觉得某种程度上也可以这样解决。也、也许没有那么准确,当然,准确性是一大、很大的卖点。不过也可以说,好,这些是数据集,它们各有各的重要程度,类似于它们在那个专用模型里的通用重要性权重。

Kevin 32:39 这样就是独立的。

32:43 他们可以,比如……

Ram Kumar 32:44 举个例子,呃,假设我们在做一个医疗模型。嗯,我们可以有一些对应最常见问题的数据集,这些数据集是有影响的。嗯,我觉得,对,我们可以把它们找出来。但这就不太……就算找出来了,事先就给他们回报也不公平,因为,嗯,大家都在贡献数据集。

Ram Kumar 33:11 嗯,也许他们能更好地排优先级,对吧?这个我们还是交给所有者,呃,也就是模型的创建者,对吧?我们是个基础设施平台,提供的是解决方案。模型开发者用我们的平台收集数据集,再决定想怎么奖励数据贡献者。

Ram Kumar 33:31 如果他们想提前给这些数据贡献者回报,我们也有相应的机制。比如,他们可以想清楚,我需要这些、这些数据集,如果有人最先提供给我,我就奖励他们,比如说,可能把这个模型未来收入的一定比例分给他们,对吧?

Ram Kumar 33:50 可以事先这么做之类的。他们可以这么做,不过,嗯,由他们决定。我们不鼓励这么做,但由他们决定。通常实际发生的是,大家收集数据集,他们清楚自己要什么样的数据集,也会说出来。嗯,收集的主要是那些最重要、最需要的数据集。

Ram Kumar 34:09 呃,有些数据集可能没那么有用,但他们还是会收集,因为需要完整的上下文。接下来训练模型。只有等模型用起来,他们才会真正弄明白市场想要什么、大家在问什么,然后试着据此给人们相应的回报。

Ram Kumar 34:27 所以,嗯,比如说,我们都会问 GPT 关于假期计划之类的问题。我在哪儿读到过,最常见的问题大多是关于假期计划的。所以过去一年左右,用来训练 ChatGPT 的数据集里,最有用的可能就是这类数据集。但这不意味着以后也会一样,对吧?

Ram Kumar 34:48 大家会继续变化,会再往前走……随着大家开始使用 ChatGPT,他们会问一些更切合需要的问题。所以,呃,我觉得,按他们事先认为什么数据最重要来给回报,这样不公平。更公平的做法是根据人们实际怎么用这些模型来奖励数据贡献者。

Ram Kumar 35:08 这、这才是公平的地方。

数据所有权与结语

观看这一段 · 35:09

Kevin 35:10 我很喜欢,太有意思了。谢谢你分享。嗯,那最后我想问问,有没有三个要点,或者三件你希望大家听完这次对话之后记住的事?甚至也可以是三件希望他们去做的事,比如,呃,了解一下你们的区块链之类的,大家应该……

Ram Kumar 35:29 我想说,一个重要的方面是,我觉得大家都应该意识到,AI 会对我们每个人的生活产生很大的影响。我觉得我们的上一代,还有我们自己,都选择了便利,放在隐私前面,对吧?比如我们不介意大公司拿走我们的数据,用到各种场景里。

Ram Kumar 35:55 现在这种情况也延伸到了 AI。但至少在 AI 这件事上,我们还有选择,还是可以拥有自己的数据,也可以决定想拿它做什么,对吧?我们可以做自己的 AI。我们可以,嗯,参与到即将到来的 AI 时代。所以大家需要更有意识,也需要更了解自己的数据有什么用。

Ram Kumar 36:18 这是我很想跟大家说的一件事。还有就是去了解 AI,对吧?因为这会改变我们的生活。然后,嗯,我们、我们现在还在开发阶段。我们还在测试网,很快就会上主网。呃,我们很希望收到社区的反馈。

Ram Kumar 36:35 我们一直鼓励大家提反馈。嗯,过去一年半,我们就是靠不断和 AI 社区交流,跟开发者聊,跟动手做项目的人聊,一路把它做起来的。我们也很希望世界各地的用户能就产品给我们提反馈。这会帮助我们把产品做得更好。

Ram Kumar 36:54 这就是最重要的两件事。第三件是,去看看 OpenLedger HQ。就像我刚才说的,已经有人在我们平台上做项目了。我们很快会上主网,已经有大概 10 多个项目在开发,其中有一支来自 Google [听不清] 的团队,他们决定不采用任何传统 AI 公司的方案。

Ram Kumar 37:13 他们想跟我们合作。我们跟很多企业合作,其中有一家是规模最大的电商公司之一。我们在跟他们合作,很快就会公开这件事。我们也在跟政府合作,是中东一个主权国家的政府。我们在跟他们一起做一个模型,这件事我们也会公布。

Ram Kumar 37:29 这些都是信任我们的人。所以等这些消息出来的时候,希望大家去看看,也继续支持我们。

Kevin 37:37 太让人期待了。好,谢谢你抽时间。跟你聊得真的很开心。我学到了很多,相信听众也是。嗯,祝你在 [听不清] 上一切顺利。

Ram Kumar 37:49 谢谢,Kevin。呃,跟你聊得很开心。

Kevin 37:51 我也是。

37:52 祝你一切顺利。回头见,兄弟。Wavect,懂你想要什么的 Web3 软件公司。

文字稿由英语录音翻译而来,并为便于阅读略作编辑。以原始录音为准。 使用 Whisper large-v3 根据原始音频转录,并通过 AI 与原始自动字幕核对。听不清的内容用方括号标记;说话人标注和翻译仅供阅读参考。未进行完整的人工听校。原始录音为准,其中的陈述反映录制时的情况。 本期节目于 2025 年 6 月 16 日发布。Kumar 在访谈中称,OpenLedger 当时仍处于测试网阶段,计划很快上线主网。他报告的参与人数、语言模型数据收集实验和合作进展均以录制时的情况为背景。归因证明、链上追溯和奖励是他当时介绍的技术方案,奖励方式及收入分成由模型开发者决定。他关于用户掌握自身数据及决定数据用途的发言表达了个人观点。

本集回答的问题

Kumar 当时表示,他们会在推理结束后分批处理归因,这样比实时归因更节省 GPU 成本。

想把这种思路用到你的产品上?

我们做 MVP,也做兼职 CTO,服务那些宁可埋头交付、不想空谈的创始人。