智东西ai换脸 视频

编译 | 陈骏达 陈家阳

裁剪 | Panken

智东西4月13日音尘，近日，在OpenAI史上最贵模子GPT-4.5发布1个多月后，OpenAI合资首创东谈主兼CEO萨姆·阿尔特曼（Sam Altman）与GPT-4.5的3位中枢时期东谈主员进行了一场45分钟的高信息量对谈，初度败露了这款模子研发耗时严重超期、打算集群频繁故障、晋升旅途难以预测等诸多不为东谈主知的细节。

GPT-4.5名堂启动于两年前，是OpenAI迄今为止最成全的筹画，触及数百东谈主团队合作，阿尔特曼称OpenAI为了这又名堂简直是“全员上阵”。

研发经由中，OpenAI团队碰到了不少“灾难性问题”。10万卡集群暴露了基础设施的荫藏的小概率、深档次故障，为了衡量时效与性能，OpenAI的系统团队不得不“边修边训”。其中，有一个荫藏的小bug让集群频繁报错，直到锤真金不怕火进程条走过约40%才被揪出。

不外，这也匡助OpenAI打造了更为强盛的时期栈：如今不错仅用5-10东谈主便复刻出GPT-4级别的大模子。GPT-4至GPT-4.5的性能晋升约为10倍，得回了“难以量化但全场地增强的智能”，这点让OpenAI职工们王人感到无意。

OpenAI团队也曾强健到，要已毕下一个10倍乃至百倍的性能晋升，算力已不是瓶颈，关键在于数据效力，即开垦出大略控制更多算力，从一样数目的数据中学到更多知识的方法。

同期，系统正从单集群转向多集群架构，未来的锤真金不怕火可能触及1000万块GPU限度的合作学习，其容错才调需要进一步晋升。

对谈中，OpenAI职工们还共享了数据长尾效应与Scaling Law之间的关系、机器学习与系统团队深度协同想象（co-design）模式的上风、无监督学习的本色与“毫不放过任何极度”的问题排查文化，全场地展现了GPT-4.5研发时代的OpenAI的想考与收货。

除了阿尔特曼以外，参与本次对谈的3位OpenAI职工分别为Alex Paino（负责GPT-4.5的预锤真金不怕火机器学习算法）、Amin Tootoonchian（OpenAI首席系统架构师）与Daniel Selsam（研究数据效力与算法）。

以下是阿尔特曼与OpenAI GPT-4.5团队对谈视频的完整编译（为提高可读性，智东西在不违犯得意的前提下进行了一定的增删修改）：

一、GPT-4.5两年前已启动，名堂耗时远超预期

Sam Altman：打造一个如斯广博的模子（GPT-4.5），究竟需要什么呢？

Alex Paino：约莫两年前，咱们开启了这又名堂。那时，OpenAI行将上线一个新的大型打算集群，咱们团队看到了这个契机，作念了一系列职责来细目模子需要包含的功能，进行了多数诬捏风险的运行测试。

咱们为此制定了一个很长的筹画，触及从系统到机器学习的系数这个词时期栈。为了诬捏风险和为锤真金不怕火作念准备是一个漫长的履行经由，而锤真金不怕火本人亦然一个终点大的工程。

Amin Tootoonchian：我认为这个经由从一开首，就需要机器学习团队和系统团队密切合作，直到咱们明确了想要锤真金不怕火什么模子，然后开首锤真金不怕火。

咱们也曾在机器学习和系统方面王人作念了预测，试图尽量削弱预期和现实之间的差距。但由于咱们的职责节律很快，还要控制最新的打算资源，模子锤真金不怕火就成了难以提前齐全筹谋的事情。

咱们简直老是带着许多未惩办的问题开启锤真金不怕火，并试图在运行经由中克服挑战，取得进展。主要解法就是加多更多的打算资源。

终末阶段是履行，这需要好多东谈主经久插足多数元气心灵和能源，才能完成锤真金不怕火经由。

Sam Altman：你合计咱们的预期和现实的差距到底有若干？

Amin Tootoonchian：系统方面，在开首的时候，咱们庸碌离预期的现象很远。咱们老是靠近一个采用：到底是推迟启动，恭候问题惩办，如故提早启动并在经由中惩办问题。这老是需要衡量，要幸免分歧理地延伸进程。

但简直老是会碰到一些出东谈主意料的问题，咱们要作念的就是尽可能地处理好这些节点，处理好未知身分，并为模子锤真金不怕火制定筹画。

Alex Paino：在这个名堂中，咱们的主义是作念出GPT-4.5，这意味着其才调要比GPT-4奢睿10倍。这是咱们约莫2年前设定的运行主义。

这个经由中发生了好多事情，咱们在想考到底能作念得更好，如故会不如预期？这是一条终点复杂的经由，但最终，就咱们插足的有用打算而言，咱们得到了一个咱们认为达到了比GPT-4奢睿10倍的模子。

Amin Tootoonchian：在履行方面，GPT-4.5名堂的耗时与咱们一开首展望的相去甚远。

二、如今锤真金不怕火GPT-4级别模子，仅需5-10东谈主即可完成

Sam Altman：集群在从1万卡拓展到10万卡的时候，为什么碰到了这样多问题？

Amin Tootoonchian：我认为，若是系统开垦者毒害尖锐，大部分问题是能在小限度阶段就不雅察出来的。

还有些问题并不是大限度锤真金不怕火阶段特有的，而是正本就常常出现，但限度晋升后就会变成灾难性问题，特别是当团队并未提前意预想这些问题会恶化到如斯程度。

Sam Altman：有哪些事情酿成了灾难性的后果？

Amin Tootoonchian：我认为基础设施的问题是大众皆知的，不论是故障率、故障类型如故故障总量王人很高。10万卡集群是一个大限度的样本池，因此咱们也发现了算力供应商王人莫得不雅察到的问题。

网罗是其中一环，单个加快器也会出问题。不外这亦然这种系统的深邃之处——简直系数组件王人需要按预期职责，才能产生预期罢了。咱们的职责就是要尽量减少这种问题。

Sam Altman：在集群限度的极限上开展职责真的很贫窭，但我也舒缓到，作念那些不再是时期前沿的事情变得容易多了，锤真金不怕火GPT-4.5需要数百东谈主，OpenAI简直全员上阵。

但今天若是让你们从OpenAI中挑选出一个最小的团队，用咱们所知谈的一切知识和系数的系统职责从新开首再行锤真金不怕火GPT-4，需要若干东谈主？

Alex Paino：我认为目前要作念出GPT-4级别的模子，可能需要5到10东谈主傍边。在完成GPT-4.5的经由中，时期栈也曾有了很大转变。

其实，在咱们在锤真金不怕火GPT-4.5的经由中也曾作念了近似的事情——咱们锤真金不怕火了GPT-4o，这是一个GPT-4级别的模子，使用了好多来自GPT-4.5研究名堂的交流内容再行锤真金不怕火。进行那次锤真金不怕火所用的东谈主要少得多。

三、数据效力是大模子冲突关键，新一代硬件带来诸多挑战

Sam Altman：从你的角度来看呢，Dan？为什么锤真金不怕火大模子很难？

Daniel Selsam：我认为作念任何新事物王人很难。我认为即使只是发现别东谈主作念了某事，它也会变得容易得多，因为最难的部分是一开首就有作念某事的信念。我合计只是是知谈某事是可行的，就是一个超强的舞弊码，让事情变得容易许多。

Alex Paino：咱们正在将GPT预锤真金不怕火运行扩张到之前的10倍，老是会发现一些兴味的新东西，这些东西你不一定能意预想。

Sam Altman：在预锤真金不怕火限度上已毕下一个10倍或100倍的增长需要什么？

Daniel Selsam：数据效力。Transformer架构（也就是GPT）在控制数据方面终点高效，它能很好地继承和压缩信息，并已毕泛化。它最大的特质就是能用打算资源高效地继承信息。

然而，它从数据中得回细察力的深度是有限的。当打算才调快速增长，而数据增长相对舒缓时，数据就会成为这种法度模式的瓶颈。这就需要算法革命，开垦出大略控制更多算力从一样数目的数据中学到更多知识的方法。

Sam Altman：你们认为除此以外咱们还需要什么来保持扩张？

Amin Tootoonchian：我的谜底是对于系统的。我认为GPT-4.5所需的巨大职责量，本色上是模子规格带来的势必罢了。咱们无法用与GPT-4完全交流的时期架构来锤真金不怕火GPT-4.5。

在现象料理方面，BT核工厂由于所需打算资源已超出单集群承载才调，咱们不得不转向多集群锤真金不怕火架构。为了已毕这一主义，咱们必须在短时期内整合多个不同的职责流。

天然这确乎匡助咱们取得了阶段性冲突，但要已毕下一个数目级的性能晋升，仍需惩办若干已知但被暂时摈弃的时期难题——这些问题是无法藏匿的。恰是这类时期衡量不停延长着齐全系统的研发周期，咱们永久在追求最优实施决议的经由中作念出战术性遴选。

需要明确的是，系统本人并非终极主义，其推行产出价值才是中枢考量。就下一个10倍性能晋升而言，我认为容错才调的冲突至关进军。咱们需要构建与职责负载深度协同的容错机制，以权贵诬捏运维狂躁。现时超大限度系统的运维复杂度，与既往系统存在本色差异。

Sam Altman：你知谈在GPT-4.5锤真金不怕火中，由于某些组件导致失败的比例是若干吗？

Amin Tootoonchian：我莫得具体数字可供共享，但一般而言，在新一代硬件部署初期，系统运行常常靠近诸多未被充分剖析的时期挑战。咱们采用在问题尚未完全明确的情况下鼓吹名堂，这导致初期运行失败率居高不下。

但教会标明，跟着根柢原因的识别和惩办，故障率会权贵诬捏。这一风光本色上反馈了咱们对基础设施剖析的深化经由——有些东谈主称之为基础设施的计帐或贯通基础设施的基本问题。

履行的早期阶段简直老是相等苦难，咱们在鼓吹名堂的同期，也在继续发现和惩办新式故障模式，但最终失败率会逐渐下跌，正常运行的时期变多。

这本色上是个优先级衡量的问题：在基础设施生命周期的早期阶段，其故障风险常常难以准确预估；而若是过度追求终极瞎想现象（原文为“City Estate”，瞎想城邦式想象），反而可能导致系统在初期阶段的可用性进展极差。

四、打算资源不再是主要瓶颈，算法尚未触及表面上限

Sam Altman：天然推理模子是咱们未来时期栈的关键构成部分，但让咱们暂时聚焦于传统预锤真金不怕火模子的发展规模。假定咱们领有无穷的GPU算力、无穷的网罗带宽和无穷的电力供应，但仍受限于现时存在的时期瓶颈——包括系统可靠性问题、容错锤真金不怕火方法的缺失，以及现存数据集的限定。

按照咱们每个主要GPT版块号已毕100倍限度晋升的演进门径，基于现时的时期规模，预锤真金不怕火模子的发展究竟能达到什么水平？具体到GPT系列模子，以咱们现存的知识体系，表面上究竟大略锤真金不怕火出什么样的模子？能作念出GPT-5.5吗？

Alex Paino：从机器学习和算法发展的角度来看，咱们尚未触及明确的表面上限。事实上，咱们才刚刚开首探索数据效力更高的算法，以及如何更充分地控制现存数据资源。这个近况终点兴味——即即是像GPT-4这样的模子，很大程度上仍是在打算资源受限的条款下开垦的，这也决定了此前大多数研究的场地。

但目前的步地也曾完全不同。自GPT-4.5以来，在某些关键维度上，数据而非打算正成为主要的制约身分。这种转变让关系研究变得不那么令东谈主雀跃。

Sam Altman：不外这确乎是一个惊东谈主的进展，而天下可能还没完全强健到：在咱们大略构建的最好模子上，打算资源已不再是主要瓶颈。这个转变语重点长，毕竟咱们也曾在打算受限的环境中活命了太久太久。

五、模子全体性能晋升可预测，智能晋升旅途难以预测

Sam Altman：在锤真金不怕火GPT-4.5经由中，咱们学到的最特意旨真谛的机器学习教会是什么？说说你们想共享的就行。

Amin Tootoonchian：总的来说，最引东谈主深想的是那些偏离咱们预测的情况——特别是当咱们试图贯通为什么推行进展会偏离预期弧线时。

Alex Paino：最让咱们惊诧的发现之一是：不同机器学习组件的扩张性进展差异巨大。有些部分能很好地扩张，有些则不成。这是咱们在推行锤真金不怕火经由中才信得过强健到的。这段履历给了咱们好多启发。

Daniel Selsam：我认为GPT范式的两大中枢特征在于：其一，测试耗损（掂量模子在未见过的测试数据上进展利弊的目的）可被准确预测；其二，模子性能随限度扩大呈现可预测的晋升。更神奇的是，测试耗损的诬捏会以各样难以量化却又令东谈主赞佩的深邃方式，升沉为全场地增强的智能水平。

Sam Altman：你是否对此持全王人乐不雅作风？完全认可这一不雅点吗？

Daniel Selsam：其实我想说的是，从GPT-4.5测试中咱们发现了特别兴味的风光——再行测试后，模子展现出的诸多精妙才调完全超出了系数东谈主的预期。

咱们确信它会以千般难以事先界说的方式变得更智能，而推行部署后，从用户惬意度中就能不雅察到这些玄妙层面的晋升：更强的学问储备、更精确的语境贯通才调、更素雅的语义把捏——这恰是那些额外测试耗损带来的魅力。在我看来，Scaling Law在这一维度上得到了齐全考据。

六、机器学习与系统团队合作密切，不会“自扫门前雪”

Sam Altman：系数这个词锤真金不怕火经由中最积极的时刻是什么？最可爱的系念是什么？昭彰有好多苦难，但但愿那些苦难也曾有所缓解了。

Alex Paino：我确乎有一个这样的时刻。咱们在锤真金不怕火时代作念了好多机器学习方面的职责，我认为咱们在运行经由中作念出的一些改变产生了相等好的影响，可能比预期的还要好，这对咱们来说是一个终点令东谈主雀跃的时刻。

Amin Tootoonchian：对我来说，在锤真金不怕火的同期，咱们也同期在构建基础设施。咱们折服能越过这个性能绝壁，且咱们磋商，每个东谈主王人在履行，但这需要很万古期。这是难熬的职责，全王人比我想象的要难。我的预测是错的，我低估了惩办这些问题需要的时期。

当团队终于攻克了那些关键问题，性能得到权贵晋升的那一刻，于今让我水流花落。你能彰着感受到系数这个词团队的能量转变——系数东谈主陡然充满了劲头，带着全新的能源向最终主义冲刺。

最神奇的是，咱们现象追踪器上骄横的展望完成时期从领先的两年开首不停缩小，最终锁定在一个明确的时期节点上。这种可见的进展对团队士气的提振是难以计算的。我认为这就是它的深邃之处。

我想特别强调的是，机器学习的职责从未停滞。即使在锤真金不怕火启动后，这种机器学习协同想象的经由仍在继续。机器学习团队不仅主动跟进那些曾被标记为“后续处理”的问题，还继续录用了信得过优化锤真金不怕火时期的转变。

这齐全体现了咱们的团队精神——这里不存在“各东谈主自扫门前雪”的职责界限，而是一种信得过无缝的合作，这种凝华力恰是咱们最强盛的上风。

七、GPT-4.5预锤真金不怕火是最成全的筹画，毫不放过任何极度

Daniel Selsam：外界对于此次锤真金不怕火本人的挑战性和预测准确性也曾研究好多。但事实上，这一切王人建立在极其成全的筹谋基础上——你要不再阻难谈谈这方面？

Alex Paino：这全王人是咱们迄今为止最成全的筹画。正如我所说，早在看重启动锤真金不怕火前一年，咱们就也曾开首筹备这个名堂。时代咱们进行了屡次大限度的风险限度测试运行。

咱们特别珍摄轮番渐进地引入系数转变：从高置信度的基础成立开首——不错贯通为近似GPT-4的训导架构，这个成立在机器学习层面咱们也曾完全掌捏——然后像叠积木般层层重叠新本性。

关键是要严格考据每个转变在不同限度下的扩张性：不仅要看到性能晋升，更要确保这些晋升能跟着模子限度扩大而继续有用。好多转变在小限度测试时进展讲究，但在大限度应用中就会失效。

因此系数这个词经由中咱们王人保持着高度警惕，不停迭代完善咱们的扩张定律方法论。通过此次风险限度实践，咱们蚁集了多数贵重教会，这些教会将赓续带领未来GPT系列模子的开垦。

Amin Tootoonchian：我记起有个特别兴味的短暂让我终点乱骂。要知谈咱们每次启动锤真金不怕火任务简直王人免不了碰到千般bug，这也曾是家常便饭了。但关键是要确保进展不受阻，得时刻阐述现时进程是否确乎在正轨上，这些bug会不会对锤真金不怕火健康度酿成致命影响。

天然咱们领先终点确信存在紧要残障，但通过搭建的整套监控体系，咱们也曾大略精确离别问题根源：是硬件故障？哪类硬件故障？是数据损坏？如故机器学习模子本人的bug？或者是代码中的竞态条款？

那时的情况是，咱们同期开着多个问题研究区，千般症状丰富多采。经过一系列bug诞生后，咱们堕入了僵局：目下堆叠着多个未解问题，系数东谈主王人在苦想冥想——这些是不同bug导致的？如故某一个bug在作祟？

自后咱们搞了个投票，让团队成员票选最可能的根源。罢了最不被看好的选项反而射中真相：尽然是PyTorch上游的torch.sum函数出了问题，一个简短的乞降运算。

这个bug特别特意旨真谛。要知谈咱们主要使用Triton内核，唯有在某些卑不足谈的边际场景才会回退到torch运算。而咱们的特定代码旅途触发的这个torch.sum函数bug，会因数据散播本性极恐怕地激发犯科内存造访——它在打算内存偏移量时出了差错。

最戏剧性的是，当某位工程师终于定位到问题并提交诞生后，系数症状互异的报错尽然全部消散了。公共雀跃地把Slack频谈从“多bug表面”集体更名为“单bug表面”，场所特别欢快。

这个bug装潢了多久呢？从锤真金不怕火早期就存在，直到进程条走过约40%才被揪出来。发现经由也充满戏剧性：那时有个复杂内核一语气调用序列，第二个调用触发了犯科内存造访。

天然这种崩溃频率极低（每几百以致上千步锤真金不怕火才出现一次），很容易被手脚偶发故障忽略，但咱们的团队准则就是：毫不放过任何极度。这个故事最精彩的部分就在于这种不轻言毁灭的相持。

八、咱们离瞎想系统还很远

Sam Altman：GPT-4.5预锤真金不怕火启动后，公共还要作念哪些职责？

Alex Paino：咱们系数东谈主王人需要常常不雅察耗损弧线。除此以外，还要继续优化系统，转变在锤真金不怕火启动前未能完成的协同想象（co-design）。咱们密切监控锤真金不怕火经由中的千般统计目的，确保莫得出现预期外的极度趋势。同期从机器学习角度探索可能的转变决议。天然预锤真金不怕火启动后数据层面的职责会暂时减少，但仍有多数任务需要处理。

Amin Tootoonchian：我认为机器学习很大程度上依赖于正确性判断。预锤真金不怕火启动后，面对多数噪声信号，咱们就像解读茶叶渣的占卜师，需要判断系统是否健康，这就是咱们的职责所在。

Sam Altman：在系统层面，什么会限定咱们进行模子锤真金不怕火？是芯片、处理器、内存、网罗如故电源？

Amin Tootoonchian：系统的深邃之处在于，在进行协同想象时，职责负载不错符合你构建的基础设施。这里莫得普遍的说法说网罗是瓶颈，或者内存带宽是瓶颈之类的。即使是对于归并规格的模子，咱们不错采用编削资源需求，咱们不错采用创建一个愈加均衡的系统，但领有更多的内存带宽老是故意的。在莫得罢了条款的情况下很难修起这一问题。

在想象GPT-4.5时，咱们可能系统方面要具备某种属性，这种属性要经过东谈主的带领才能产生。是以协同想象对形成模子架构和架构元素很进军，某种程度上将系统和机器学习方面推敲在一齐。若是系统有一种咱们不太但愿领有的属性。我瞎想的情况是，一切王人应该是解耦的，以给相互最大的空间。

有时候事情会推敲在一齐，咱们需要骄贵基础设施的要求，或者说事情本应如斯。好多时候，咱们需要一个均衡的系统、均衡的通讯。而咱们领有的最好的诊疗技巧就是系数这些协同想象。

Sam Altman：咱们距离这样瞎想的系统主义还有多远？

Amin Tootoonchian：离阿谁主义还很远。构建系统的经由老是这样的：先有一个对于事物应该如何运作的瞎想化不雅点，然后用现存资源去长入那些差异。

我认为咱们并不是为了表面而表面，只是为了研究咱们但愿它变成什么花样，让它已毕，并尽可能地接近阿谁瞎想。这可能是系统治域中最令东谈主雀跃的部分。夙昔东谈主们会说这是一个优雅的系统想象，而最终历史会告诉咱们这个采用是正确如故舛讹的。

Sam Altman：若是能不才次大型锤真金不怕火前得回一个机器学习问题的谜底，你们最想知谈什么？

Alex Paino：我想知谈在有限数据和特定领域下，咱们应该秉承哪些算法。这天然是个遍及的问题，但确乎是最关键的。

Sam Altman：今后会进行1000万块GPU或更大的同步预锤真金不怕火吗？

Alex Paino：我认为会有，但未必是传统预锤真金不怕火模式，它的体式可能与现存时期判然不同，但仍会保留无监督学习的内核。

Amin Tootoonchian：我倾向于半同步模式。受物理门径限定，完全同步不太现实。

Daniel Selsam：我认为这更可能是去中心化的。肯定会有1000万块GPU共同职责在一个学习和履行任务的AI系统上，但像大脑的各个部分一样，相互并不一定会互相交流。

九、算法转变产生重叠效应，推动数据效力提高

Sam Altman：现时首先进的算法和东谈主类的数据效力出入若干？未来有望追逐上吗？

Daniel Selsam：两者很难径直比拟。说话学习层面上的差距肯定是巨大的，关键在于如何界说东谈主类视觉神经接收的信息量。我认为总体上算法的数据效力比东谈主类低许多。

几十年来，深度学习一直眷注算力效力。除了数据和算力的增长，信得过让东谈主惊喜的是算法转变产生的重叠效应。算法性能每次提高10%或20%，重叠在数据效力上就会有权贵效力。到目前为止，还莫得围绕数据效力进行这样的动员，因为在数据不畅达且打算才调受限时，这一作念法并不值得。

目前，咱们正在进入AI研究的新阶段，咱们将开首蚁集数据效力的见效。我认为，目前就预测咱们会碰到无法逾越的阻截是有些愚蠢的。东谈主类大脑的运行方式肯定与咱们算法转变不同，在这方面咱们要保持严慎。但我认为要对算法未来发展保持乐不雅。

Sam Altman：更大限度的预锤真金不怕火与模子更强的学习推理才调之间有什么关系性吗？

Alex Paino：咱们不雅察到的是，更好的预锤真金不怕火和无监督学习常常会晋升模子的全体智能，并在泛化方面有很大匡助，这与推理才调是相反相成的，而推理在提高智能方面可能会更蠢笨一些。我认为它们是互补的关系。

Sam Altman：预锤真金不怕火似乎在好多事情上大略通用，而锤真金不怕火一个模子只可让它在某一类事情上作念得很好，是这样吗？

Alex Paino：这点很兴味，不外当你看到锤真金不怕火它们的数据时，就不会对这种情况惊诧了。预锤真金不怕火的数据集范围终点大，咱们追求的是广度和千般性。而当谈到模子强化学习并让它不错明晰地得回讲究奖励信号和讲究的锤真金不怕火环境时，我认为很难兼顾数据集的广度。

Daniel Selsam：我同意，但我认为还有一个身分，预锤真金不怕火本色上是在压缩数据，从而发现不共事物之间的推敲。它关乎类比，愈加详细。推理是在特定问题上需要严慎想考的一种技能，也大略得回许多类型问题的惩办方法。但在预锤真金不怕火经由中，在超越不同领域进行数据压缩时，不错学到更详细层面的知识。

十、智能的本色是压缩，数据长尾效应让Scaling Law继续有用

Sam Altman：无监督学习为什么有用呢？

Daniel Selsam：关键是压缩。瞎想的智能形态是所罗门诺夫归纳（Solomonov induction），一般而言，机器学习会磋议系数的可能性，但倾向从更简短的智商开首考验。

一本大道香蕉大在线75

现时预锤真金不怕火的本色恰是一个压缩的经由，通过找到一个最简智商来解释东谈主类迄今为止产生的所特等据，以此已毕近似抒发。

Sam Altman：下一个Token预测如何协助已毕压缩？

Daniel Selsam：统计学里有一个悖论——为什么深度网罗看似无法压缩却能已毕泛化？正常来讲，当领有多数数据和一些小模子时，这些模子一定要履历压缩才学到了东西。

在预锤真金不怕火中，数据和模子的限度王人很大，有些东谈主就认为这种锤真金不怕火只是系念和插值学习，其实他们刻薄了压缩的另一种贯通视角——序贯压缩（pre-quential compression），它像一个压缩器，即使数据权重很大，二进制也无需存储这些信息，控制下一个Token预测的罢了不错快速检索出有用信息，提高压缩效力。

Sam Altman：锤真金不怕火GPT-4.5的经由蹧跶了多数东谈主力、时期和钞票，这其实不错看作念是一次考据Scaling Law的实验，而罢了讲明它是有用的，而且还会继续很万古期。Scaling Law为什么不错被称之为寰宇门径？

Daniel Selsam：压缩程度越高，智能就越强盛，这具有很久了的形而上学内涵。为什么锤真金不怕火更大的模子时期越长，压缩率就越高？这触及到好多表面，其中我可爱的是稀疏暗示（Sparse Representations）。

现实中的关键见解撤职幂律散播（power law），比如第100个进军见解可能在每100个文档里才出现一次，存在彰着的长尾效应。这种散播本性导致需要大限度数据和算力来有用捕捉所相干键见解，也决定了Scaling Law经久有用存在。

视频连接：

https://www.youtube.com/watch?v=6nJZopACRuQai换脸 视频