本文转载自 B 站「觉醒红药丸」(主持人 NEO),原文为视频转录稿,转载仅作学习交流之用,版权归原作者所有。 视频来源:https://b23.tv/zbhpV54

项目内容
原标题你活在自己的世界模型里,而非活在 “现实本身” 里
作者觉醒红药丸(主持人 NEO)
来源链接https://b23.tv/zbhpV54
发布日期2026-07-22
时长13:46
播放量475
点赞数27

简介

你现在看到的画面——屏幕、房间、桌上的光——你大概不会怀疑它们是真的。但你体验到的,其实是大脑根据感官信号建造出来的一个内部模型。这个模型太稳定、太流畅了,所以它把自己的存在藏了起来。

这期视频,我们来聊聊”世界模型”——每一个智能系统与环境交互的唯一界面。

本视频将为你拆解:

  1. 世界模型的三种能力:模拟当前状态、预测未来、做反事实推演。
  2. 从 Othello-GPT 到大语言模型:AI 如何从符号预测中重建空间、时间和物理直觉。
  3. Yann LeCun 的 JEPA 与李飞飞的空间智能:AI 研究为什么都在逼近同一个目标?
  4. 大脑的预测机制:你的”看见”不是外部画面的复制,而是大脑提出的最佳解释。
  5. 梦、视觉错觉、幻肢痛:三个证据指向同一个结论。
  6. 世界模型的盲区:紫外线、量子叠加、四维空间——丰富不等于完整。

我们以为我们活在现实里,但我们活在模型里。这不是说现实不存在,而是说现实不会以”现实本身”的形式直接出现在体验中。


视频转录正文

什么是世界模型:每一个智能系统都活在自己的世界模型里

每一个智能系统都活在自己的世界模型里,而非活在现实本身里。你现在看到的画面——屏幕、房间、落在桌面上的光——你大概不会怀疑它们是真的。光进入眼睛,声音进入耳朵,大脑把这些信号拼在一起,于是你看见了眼前这个世界。我们很自然地觉得自己正在直接体验现实,但你没有——你体验到的是大脑根据感官信号建造出来的一个内部模型。

这个模型太稳定、太流畅,也太太好用了,所以它把自己的存在藏了起来。你以为自己在看世界,其实你在看大脑对世界的解释。 这并不是说外面的世界不存在,恰恰相反,外部世界一直在提供信号,约束并校正这个模型。问题在于,信号本身不会直接变成体验:落到视网膜上的只是光,撞击耳膜的只是空气振动。你真正看见的桌子、听见的人声、感受到的空间,都是大脑在内部完成解释之后的结果。


从 Othello-GPT 说起:压缩符号,迫使系统重建世界

前面一期谈”理解”的视频中,我们遇到过一个很小却很关键的例子——Othello-GPT 只接收一串落子坐标,任务也只是预测下一步合法落子。它没有见过棋盘图像,没有人告诉它黑白棋子如何排列,但研究者却能从它的内部激活中读出一张完整棋盘:64 个格子,每个格子是黑、白还是空。压缩一串表面符号,迫使它在内部重建了产生这些符号的结果。

可那毕竟只是一张棋盘。如果一个系统压缩的不是棋局,而是它接收到的全部信息流呢?如果输入里有文字、图像、声音、物体的运动,甚至行动带来的后果,它会在内部建造出什么?

大家好,我是 NEO,这期视频我们来聊聊世界模型。这里的”世界”并不一定指整个宇宙,它是相对于一个系统而言的:对 Othello-GPT 来说,64 个格子就是它能接触到的全部世界;对一个语言模型来说,它的世界主要由文字中留下的事实、关系、逻辑和常识构成;对我们来说,世界则来自视觉、听觉、触觉、身体行动、语言和漫长的个人经验。

所以领域模型和世界模型并不是两类截然不同的东西——天气模型、语法模型、棋盘模型都在同一条光谱上,区别在于光谱上的位置:模型覆盖的范围有多广、捕获的结构有多深。但这里有一个值得注意的点:当前主流 AI 领域在说”世界模型”时,通常指的是这条光谱上一个更具体的位置,这个我们后面会聊到。


世界模型的三种能力:模拟现在、预测未来、反事实推演

一个真正的世界模型能做三件事。

第一,模拟当前状态。 你走进房间,看见桌上有一杯水、窗户开着、窗帘在动,你并不会先列出物体清单,再慢慢计算它们之间的关系。一个连贯场景几乎瞬间就出现了——杯子在桌上,窗帘的运动来自窗外的风,物体之间有位置,也有因果联系。

第二,预测未来状态。 有人把杯子推到桌子边缘,杯子还没有掉,你已经看见了接下来会发生什么:它会落下,水会洒出来,如果是玻璃杯,地上还会留下碎片。你的大脑没有等现实播放完毕,它提前在内部运行了一次。

第三,做反事实推演。 杯子已经碎了,现在把条件改掉——如果刚才放在那里的是金属杯呢?你仍然能回答:它会掉、水也会洒,但杯身大概率不会碎。这个场景从未发生,却能在你的脑中被模拟出来。

模拟现在、预测未来、推演一个并不存在的可能——这三种能力,把世界模型和简单的模式匹配分开了。模式匹配擅长说”这像我见过的什么”,世界模型更进一步,它试图抓住是什么结构产生了眼前这一切。正因为编码的是生成事件的结构,它才有机会处理没有原样见过的情境。


AI 中的世界模型:从棋盘到空间、时间、物理直觉

世界模型的定义清楚了,但这只是一个理论上的描述——现实中这种东西真的存在吗?我们还是先从 AI 开始,因为人工系统有一个优势:它的输入、任务和内部激活都比人脑更容易检查。

还记得 Othello-GPT 吗?它是一个很干净的起点,输入很窄、规则很固定,所以我们能清楚看到:为了把下一步预测准,只背诵落子序列是不够的,它需要知道棋盘此刻是什么状态。于是表面的符号预测,在内部长出了一张棋盘。不过这个证据也有明显边界——棋盘只有 64 格,状态是离散的,规则不会突然改变。一个系统能重建这种小世界,不代表它能重建开放、连续、充满噪声的现实。

真正值得追问的是:同一种机制能不能随着数据和环境的复杂度一起扩展? 目前看到的答案是,至少它正在扩展。

研究者检查大型语言模型的内部表示时,发现里面编码的结构远远超过词语本身。比如空间关系:模型从没拿到一张专门标注好的世界地图,但它读过大量散落在文本里的描述——一座城市位于另一座城市的北方、某个国家与哪些国家接壤、某个地方靠近海岸。当这些碎片被持续压缩,模型内部会形成一种与真实地理位置高度对应的空间排布。时间也一样:历史人物、事件和年代不再只是互不相干的词条,它们在内部表示中呈现出先后关系,像是零散叙述被压成了一条时间轴。模型当然仍会犯错,但重要的是,它不止在保存句子,还在尝试重建句子背后的关系结构。

视频模型把这件事又往物理世界推了一步。它们训练时看到的是连续像素,目标往往是生成或预测接下来的画面。但要让下一帧对得上,系统逐渐需要处理遮挡、重力和碰撞:一个人走到墙后面,身体应该被挡住;一个物体失去支撑,通常会向下落;两个物体相撞,运动状态会改变。没有人把一套牛顿定律逐条写进每段视频模型,看到的只是大量画面变化,却开始在内部压缩出产生这些变化的某些规律。它们还远谈不上完整,也会生成违背物理常识的画面,但方向已经很清楚:输入是扁平的符号、文字或像素,预测压力却让系统尝试重建背后的状态和结构。 这也解释了为什么世界模型正在变成 AI 研究最核心的方向之一。


LeCun 的 JEPA 与李飞飞的空间智能:两条路线,同一个目标

这里要停一下:说现在的 AI 已经形成某种世界模型,不等于说它已经理解了完整世界。一个只从文本学习的系统,接触到的是人类愿意写下、能够写下的那一小部分经验。文字可以描述一只杯子,却无法把拿起杯子时手指的受力、杯壁的温度、身体对重量的及时调整,原封不动地交给模型。

图灵奖获得者、前 Meta 首席 AI 科学家 Yann LeCun(闫乐昆)反复强调的正是这个缺口。他认为只靠预测下一个词,很难获得足够完整的世界模型。他主导的 JEPA 这条架构路线,想做的不是逐像素复制未来,也不只是继续猜下一个符号,而是在内部表征空间里,预测世界状态会怎样变化。李飞飞提出的空间智能,从另一个方向逼近同一个问题:真正能在物理世界行动的智能,需要理解三维空间——一个物体在哪里、是什么形状、能不能被拿起、移动之后会挡住什么、又会影响什么。她创办的 World Labs 所瞄准的,也不是单纯生成一张好看的图,而是形成可以进入、操作和推演的三维世界表征。

一条路线强调世界状态的变化,一条路线强调空间中的结构与形状。它们并不相同,但都在把 AI 从表面生成推向内部模拟。从 64 格棋盘,到地理位置、历史时间,再到视频里的物理直觉,我们看到的是同一个故事在不同尺度上重复:预测和压缩不止保存表面信息,还可能迫使系统重建生成这些信息的世界结构。但重建到哪里,仍然取决于它收到什么、能表示什么。


人脑也是预测机器:预测编码与”看见”的真相

那人脑呢?人工系统通过预测建立内部世界,可能只是工程上的巧合,可如果人脑也在做同样的事,开头那个”我们并没有直接体验现实”的反转,就不再只是一种假设。

我们一个根深蒂固的直觉:我们的眼睛像摄像头,耳朵像麦克风,大脑像一台处理器,外界数据完整地流进来,大脑负责识别和拼装信息,似乎总是从外向内单向传递。但过去几十年的神经科学,逐渐给出了一幅不同的画面:大脑不是等感官信号到了之后才开始工作,而是一直在用内部模型预测下一刻可能出现什么信号。 真正到来时,大脑会把它与预测比较:对得上的部分可以快速通过;对不上的部分形成”预测误差”,迫使系统投入更多资源,重新解释或更新模型。

你现在盯着屏幕,大脑并没有每一秒都重新确认背景还在、屏幕仍然是巨型文字、没有突然漂浮起来——稳定的部分早已被模型预期。可如果屏幕忽然闪一下,你会立刻注意到——真正抢走注意力的,是现实偏离了预测。这套机制意味着,我们平时所说的”看见”,并不是外部画面被逐像素搬进脑中体验,更像是大脑提出的一个最佳解释,而感官信号不断告诉它”这里对了、那里不对、再改一点”。


三个证据:梦、视觉错觉、幻肢痛

如果这是真的,那么当外部校正减弱,或者模型与输入发生冲突时,模型应该仍然能够制造体验。现实中确实有几个很难忽略的例子。

就是最直接的一个。睡梦中,外界感官的校正显著减弱,但人物、空间、动作和事件仍然完整出现。更关键的是,身在梦里时我们通常不会察觉这只是模型——那些场景在当下同样具有真实感。清醒与梦境当然不同,但区别并不是一个有模型、一个没有模型,两种状态里模型都在生成体验,只是接受外部约束的程度不同。

视觉错觉展示了另一种情况:图案明明静止,你却看见它在运动。眼睛没有把一段运动偷偷传进来,是视觉系统根据亮度、边缘和局部变化做出了错误预测——你体验到的不只是输入本身,还有模型对输入的解释。

幻肢痛更尖锐:一个人的手臂已经失去,来自那只手的常规感官信号也不再存在,可疼痛仍然可能被清晰地感受到。因为大脑的身体模型没有同步消失,那只手不在物理身体上,却仍在内部身体表征中占有位置。

梦、错觉、幻肢痛看起来是三种完全不同的现象,放在一起却指向同一个结果:感官提供的不是体验成品,而是约束体验的信号;模型一旦运行,即使校正不足、预测错误或者表征没有及时更新,我们仍然会真实地感觉到它的输出。

现在回头看 AI 这条线就连起来了:语言模型和视频模型通过预测误差调整参数,人脑也用预测与感官差异更新内部状态。它们的材料完全不同——一边是矩阵运算,一边是神经放电;训练过程、复杂程度和生存目标也不能混为一谈。但在信息操作这一层,两者都在用内部状态模拟环境,提前预测输入,再根据偏差修正自己。

所以世界模型不是智能额外拥有的一张地图,它更像是智能接触环境时唯一可操作的界面。一个系统之所以能理解、预测和行动,是因为汹涌而连续的现实,已经被转换成了模型内部可以处理的状态、对象和关系。


世界模型的盲区:丰富不等于完整

可问题也正出在这里。如果世界模型是界面,它就不可能只带来能力、不带来过滤——它让你看到结构,也决定什么能够成为你眼中的结构。 没有被感官取得、没有被神经或计算架构表征、没有在经验中形成的维度,都很难进入这个系统可操作的现实。

先看 AI,这点最清楚。Othello-GPT 不能和你讨论一段音乐,不是它面对音乐时选择了沉默,而是声音、旋律和情绪根本不在那张 64 格的内部世界里。一个只用文字训练的模型可以谈论”红色”,却没有人类观看红色时的视觉经验;一个视频模型能生成运动画面,也不等于它知道杯子拿在手里有多重。不同输入建造了不同世界——模型之外的任务,很多时候不是”再努力一下”就能完成,而是系统缺少构成那项任务的表征维度。

我们很容易在 AI 身上看见这种边界,却不容易在自己身上看见,因为人的模型实在太丰富了——视觉、听觉、触觉、身体感、语言、文化和记忆叠在一起,给了我们一种强烈的完整感。但丰富只能扩大模型,不能让模型不再是模型。

比如紫外线:它真实存在,也会影响我们的身体,但人的眼睛看不见它,而蜜蜂的视觉系统却能利用这个维度寻找花蜜。同一朵花摆在面前,人和蜜蜂接收到的不是同一个可见世界——对我们来说,紫外线不是一个被故意忽略的颜色,而是根本没有作为颜色进入体验。

再比如量子叠加:我们可以学习它的数学表达,也可以通过实验观察它的后果,却很难在直觉中真正容纳一个系统”同时处于多个可能状态”。我们的日常模型是在中观尺度上训练出来的——杯子在这里就不在那里,门开着就不是关着。这个模型在生活里极其有效,到了微观尺度却不再可靠。

四维空间也是一样:我们可以写方程、可以画投影、可以用三维切片去接近它,但很难像在房间里转身那样,直接在第四个空间方向上形成直觉——因为人的空间经验,从一开始就在三维世界中被塑造。数学能够越过直觉模型的一部分边界,却不会自动把第四维变成一种可观看的日常经验。

感官带宽、神经架构、语言文化、个人经历,共同压缩出了每个人的世界模型。它当然不是任意幻想,因为现实会持续校正它;但它也绝不是现实原封不动的复制品——它是现实在一个特定系统中留下的、有选择的、有损的截面。


把 AI 和人放回同一幅图:程度的差别,不是结构的差别

这时把 AI 和人放回同一幅图里,会看到一个让人不太舒服却很难绕开的结论:

  • Othello-GPT 活在一张棋盘里;
  • 语言模型活在由文字关系搭起的世界里;
  • AI 视频模型活在可见运动和像素规律构成的世界里;
  • 人类活在感官、身体、语言与文化共同建造的世界里。

我们的模型比一张棋盘丰富得多,但这是程度的差别,不是结构的差别。每一个智能系统都只能通过自己的内部模型与环境交互。模型有多丰富,决定了它能够理解和行动到哪里;模型在哪里结束,也决定了它的现实在哪里结束。

我们以为我们活在现实里,但我们活在模型里。这句话不是说现实不存在,也不是说一切都只是你的想象。它说的是:现实不会以”现实本身”的形式直接出现在体验中——它先被感官取样、被神经系统压缩、被语言和经验组织,最后以一个可用模型的形式,成为你眼前这个稳定、连贯、可以行动的世界。


收束:让这条线拉直压缩

现在把这期视频的这条线拉直压缩:让系统从信息流中提取结构,形成内部模型;内部模型让系统模拟现在、预测未来、推演没有发生的可能;AI 依靠它处理符号和画面,人脑依靠它组织感知与行动;而同一个界面在提供能力时,也必然制造盲区。

所以再看一眼你面前的屏幕。开头时,它像是一个不证自明的现实对象;现在,它更像是外部世界与内部模型共同完成的一次结果——有真实的光从屏幕到达眼睛,也有大脑对形状、距离、文字和意义的持续解释。没有外界约束,模型可能滑进梦境和幻觉;没有模型,光也不会自动变成你正在理解的画面。

但如果这是对的,如果我们永远活在模型里,而不是活在现实本身里,那一个尖锐的问题就出现了:现实和模拟之间的边界,还像我们以为的那么清晰吗? 我们通常觉得这两件事截然不同——现实是真的,模拟是假的。但我们刚刚看到,你体验到的”现实”本身就是你的世界模型在内部生成的一个模拟;你在梦里分不清梦和现实,因为两者都是模型在运行;你在清醒时觉得自己在接触真实世界,但你接触的依然是模型。如果清醒与梦境都由模型生成,那真实和模拟之间的区别到底在哪里?

下一期我们来看这个问题。我是 NEO,感谢你的观看,我们下期见。