好,最近我真的是被这堆东西狂轰滥炸——“真相之死”视频杂文、死网理论(dead internet theory)讨论帖,我的各种信息流里全都是。跟我朋友聊天时也老提到这个,一样的对话循环上演:有人分享了个东西,另一个人问“等等,这真的是真的吗?”,然后没人能给句准话。而且随着 GenAI 让批量生产看似可信的电子垃圾(slop)变得越来越容易,要分清到底什么是真什么是假真的特么越来越难了。所以我终于坐下来,深挖了一下真正的学术研究究竟怎么说。我必须把这些不吐不快地写出来,因为我读得越多就越确信:目前大多数关于 AI 风险的讨论,根本就是盯错了末日方向。
有意思的地方来了——主流舆论一直把焦点放在“欺骗”上。心怀鬼胎的模型、超级智能在不再需要被评估之前玩弄人类评估者。听着,不少严肃的学者一辈子的研究生涯都建立在这些问题上,谁也不能轻易否定他们。但其实存在一种更为隐蔽的失效模式(failure mode),它根本不需要什么心机、不需要超级智能,也不需要哪怕一丝恶意。它需要的仅仅是——海量的吞吐规模(volume)。
2026 年 1 月,一些研究人员向受试者展示了 AI 生成的犯罪 deepfake 视频,并且提前明确告知他们这些视频是假的,结果根本没卵用。即使受试者在意识层面接受了“是的,这是假的”,他们依然受到了所见内容的影响。这比单纯的“deepfake 很有说服力”要诡异得多——因为这意味着,仅仅知道某事是假的,已经不再能切实保护你免受其影响了。你大脑中“眼见为实”的心智机制,是为了一个“看见某事就意味着它大概率真的发生过”的世界而演化出来的,而这套机制压根就不是为了适应如今这种“你眼前所见绝大多数都可能是人造的”环境而设计的。
(兄弟们,我真特么越来越讨厌这个破世界线了 gng)
如果你把这种现象放大到整个互联网的规模,事情就会以极快的速度恶化。到 2025 年中,已有超过 1200 个 AI 生成的“新闻”网站以看似可信的报头用 16 种语言发布内容;欧盟统计发现,在境外信息操纵尝试中,AI 的参与率达到了 27%,几乎是前一年的三倍;而且尽管大部分来自小账号,AI 生成的误导性帖子却引发了不成比例的疯传。于是,我们开始见证互联网的垃圾化(enslopification)。⊙﹏⊙
本来大家都是看个乐呵,直到死网理论(dead internet theory)开始真正变得可能 100% 压倒性地正确。我还记得在 COVID 期间看到过某项研究提到类似的话:从今年开始,Bot 流量已占据互联网流量的绝大部分。“垃圾农场(slop farms)”(草,这真是我听过最反乌托邦的词之一了)发现,量产骗互动的诱饵图片几乎毫无成本,而推荐算法会乐呵呵地把成百万上千万的这类图片硬塞给婴儿潮一代/老一辈(比如“大虾耶稣(shrimp Jesus)”,我的挚爱)。
就比如,兄弟,现在真的有所谓的“作家”、“音乐人”和“摄影师”,本质上特么就是一个连着收款账户的 prompt 循环脚本。
最操蛋的部分还不是人们被骗了——互联网上从来不缺大冤种——而是大家对搞清楚自己信息流里什么是真的这件事,已经有点彻底摆烂了(我累了毁灭吧 ToT)。顺便说一句,Hank 在他这个视频里讲得挺到位的,推荐看看,蛮不错的:
言归正传,回到核心概念:“认识论崩溃”(epistemic collapse)。这个词目前在至少四个不同的研究圈子里流传,但大家的指代并不完全相同。一开始这让我挺烦躁的,但我越琢磨越觉得,他们描述的其实是同一场级联崩塌的不同阶段,而不是四个孤立的问题。
做 ML 的人指的是模型崩溃(model collapse):当你用上一代模型的输出去训练新模型,重复几次后,原始分布的长尾部分就会消失,而每一代都会距离最初锚定的真实基准(ground truth)越来越远——顺便说一句,这在数学上已经被证明了。仅靠合成数据训练是无法避免模型崩溃的。而生态系统维度的崩溃更糟糕:当研究人员测试了跨 155 个主题的 27 个 LLM 时,每一个模型在认识论上的多样性都不如基础的网页搜索,而且模型越大,产生的观点反而越不多样。
搞 AI 伦理的人指的是验证过载:同行评审、事实核查员、编辑、法院、教师,所有这些受吞吐速率限制的系统,都在试图跟上一个不再受任何人类因素速率限制的生成过程。主张多到没人能够验证,合成内容在自我反哺,而负责核验的人类……正在逐渐被耗尽。
哲学家们指的是一种他们称为“错误承认(misrecognition)”的现象,听起来很高大上,但个人觉得这是最令人不寒而栗的一点。这么说吧,模型既不知道、也从未声称自己知道它所产出内容的含义。它的输出仅仅是统计分布,而当读者依然把这种输出当作一种知识断言(knowledge claim)时,读者其实是在代模型行使认识论的背书——这意味着他们把自身的公信力借给了一个本身毫无可信度的东西。把这种微小的行为乘以每天数十亿次的交互,你就会得到一个在系统层面上误判自己到底拥有多少已验证知识的社会。
而社会学家指的则是经常上新闻的那种:割裂的信息现实、消失的共识基础、信息茧房内的极端化。这通常被当作一个独立问题——“社交媒体问题”或“极化问题”,但我认为这只是底层所有问题在表层的投射。
你会开始注意到,这种级联崩塌遵循着某种顺序。当**技术性崩溃(technical collapse)**劣化工具时,**验证基础设施(validation infrastructure)**被垃圾内容特么彻底淹没,这些系统在设计之初就从未考虑过应对这种量级的吞吐量。错误承认变得常态化,因为未经证实的内容越来越成为唯一的充斥物。最终,任何集体决策所赖以存在的共同现实……直接分崩离析。
这时候,显而易见的反对意见会是:虚假信息自古以来就是个问题。人类从未生活在认识论意义上绝对纯净的环境中,而这恰恰是我们一开始建立期刊、法院、编辑部和同行评审的原因。真正全新的是欺骗的“单位经济效益”(unit economics)。我们所有的验证机构都假定,制造一个看似可信的主张是需要成本的——无论是时间、专业知识、声誉、印刷机还是随便什么鬼东西。过去的逻辑是,验证的速度可以比生成慢,因为生成本身也是昂贵的;但这一定律已不复存在。如今制造一个看似合理的主张成本几乎为零,而核验一个主张的成本却一如既往,在这个破烂经济环境下甚至还更高。
我脑海里还浮现出一个已被形式化表述的悖论:当合成媒体与真实媒体变得无法区分时,对个体而言最理性的策略是直接对所有数字证据大打折扣,而不是去费劲甄别真伪;因此终局便是一个证据彻底失效的世界。在这场混乱中,最终贬值的是作为通货的证据本身。
其反面则是“骗徒红利”(liar's dividend)——一旦人人都知道以假乱真的伪造物存在,任何被镜头拍到真凭实据的人都可以耸耸肩说“那是 AI”,而且网上的垃圾内容越多,这种辩解就显得越可信。拿现在生成的某些 AI 垃圾文本或句式举例,比如:“It's not X it's Y”(不是 X,而是 Y)。这确实是合法的英语表达,但由于我们看了太多 AI 垃圾,我们开始下意识把这种句式与“AI 生成的内容”联系在一起,用不了多久,特么就根本没人敢用这种句式了,因为哪怕是你亲手手写的,别人也会认定你用了 AI。
噢,这还没算上人类的写作风格会趋近于我们常用/听到/读到和看到最多的语言类型这一事实。这意味着随着时间的推移,会有更多的“人类”说话听起来像 AI。(真的就是 LinkedIn 的终局了属实是)
说到这儿你可能会想:“但搞 AI 安全(AI safety)的那帮人肯定在管这事吧?”嗯,算是吧。有点,但其实并没有。目前市面上最详尽的治理方案(AI Futures Project 的“Plan A”)在算力验证、光网络分流监控、芯片供应链审计、把“保证算力相互毁灭”作为威慑底线等方面,其具体程度令人钦佩,有着长达数百页的建模;但在认识论方面呢?就两页附录。平心而论,他们确实提出了一个绝妙的概念叫“理智之盆”(basin of sanity)——一种通过求真 AI 工具让社会变得更理智的自我强化平衡态。它点出了几项干预措施,然后就一笔带过了,完全没提一个社会究竟如何进入这个盆地、如何衡量距离其边界的距离,或者如何维持其稳定以抵御那些从另一个盆地牟利的人。
他们默认的前提似乎是:只要我们控制住算力并对齐(align)模型,认识论环境大体上就会自愈——然而研究给出的答案是:“滚犊子吧,根本不会”。一个完美对齐的模型依然会淹没信息公域;对齐约束的是意图,而这场级联崩塌靠的不是意图,靠的是吞吐量;在越来越合成化的语料上训练出来的老实模型依然会发生漂移;核验人员依然会在哪怕完全出于善意生成的内容重压下精疲力竭;读者依然会把统计输出误当作知识,哪怕这些统计数据毫无恶意。对齐对于解决欺骗问题是必要的,但对于解决耗竭(exhaustion)问题几乎毫无用处。事实就是:兄弟们,我们特么根本跟不上这玩意的节奏。
这里还存在一个更深层次的结构性错配,我认为这解释了为什么没人怎么碰这个话题:对齐是单个“人造物(artifact)”的属性,这意味着有人可以对其负责(own it)——比如一家实验室、一个安全团队、或者在模型发布前进行认证的监管机构;但验证能力是一个“生态系统”的属性,它存在于模型、机构、激励机制和思维习惯的相互耦合之中。我们的社会机构极其擅长为具体的人造物划分责任,但在为生态系统划分责任方面却出了名地稀烂。于是,那个容易着手处理、责任主体明确的问题吸纳了所有的资金和人才,而真正的关键制约瓶颈却什么也没捞着。
那么破局之法是什么?说实话?我特么毫无头绪(其实我确实有些想法,但都不咋地)。我不会在这儿煞有介事地端出什么拯救认识论公域的五点整治策略。这不是这篇博客的意义。目前流传着一些想法,比如:生态健康指标、模型训练的多样性强制要求、给验证工具提供哪怕仅占生成投入一小部分的资金支持。但这些到底管不管用?没人知道。没人正在做这个实验。按理说,赌注如此之大,总该有人在做才对。
这既是机遇,也是警告。每一个操蛋的年份,生成与验证之间的鸿沟都会继续拉大,理应构建这些防御机制的机构,其公信力与精力却比前一年更弱、更疲惫,而一个在如何验证主张上都无法达成共识的社会,根本无法验证“自身应该修复其验证体系”这一主张。
构建更强大 AI 的竞赛有成千上万的参赛者,而维护真相可核查性的竞赛几乎空无一人。说真的?我认为后者才是真正的瓶颈。
总之,吐槽就到这里。老子滚去睡觉了,大家晚安。
~ A.