近日巨屌，Drastic Research副总裁兼Gemini斡旋崇拜东说念主Oriol Vinyals在Google DeepMind播客访谈均共享了对AI模子的看法，波及多模态模子背后的历程、立异的蹙迫性以及AI的下一步。

他认为，AI面前的挑战是收场算法的通用性。他还示意，在预查验中莫得所谓的无尽数据状态，数据是有限的。他倾向于确信翌日可以稍稍推高数据的极限，杰出面前的极限，并将突破一些scaling laws和在纯预查验中看到的限定。

以下为访谈重点：

算法本人，咱们致力于让它们相配通用，以便咱们可以连接攀高难度路线，游戏课程， 并作念更多复杂的事情。

AI查验，有两个基本设施一直保持相对不变，第一个设施，即预查验或效法学习。强化学习或后期查验的部分，这是查验的第二阶段。这两个设施执行上从AlphaGo到AlphaStar到现时大型言语模子险些是调换的。 天然，还有一些细节很蹙迫。而且这个范畴还是发展，但原则险些莫得蜕变。

狡计单位是神经元，神经元之间的蚁合执行上便是权重。是以你可以遐想有一个神经元，有几个神经元与之邻接。你基本上是将所有传入神经元的激活值乘以权重。

这些模子执行上作念一些事情，选择一些行径，学习任何可用的新东西，这是颠倒苍劲的。这是鼓舞通用性最大的要素，这便是许多东说念主称之为的AGI，嗅觉更接近。

为了鼓舞前沿，你需要给狡计机一个数字体魄，这么它不仅可以念念考，给出指示或翰墨输出，还可以在线或在你可能上传的文献上作念一些事情，或问相配复杂的问题，并为你个性化等等。

因为查验模子的历程是昂然的。是以咱们需要相配小心肠积蓄立异，以便最终，当咱们准备好时，咱们有弥漫的立异，可能也会有更好的限制来运行下一次模子的迭代。咱们运行它，然后咱们不仅通过数据和狡计取得算法上的突破。

预查验中，咱们莫得所谓的无尽数据状态，数据是有限的。

咱们唯独有限的数据来查验这个仲裁者，而确切的表率可能需要众人的判断。然则，这种形式不可推广。

通过给模子提供这些器具，它们可以初始收场更多超越查验语料库的高阶功能，比如依赖最新的新闻来讲解或转头前一天的紧要事件。

咱们但愿通过延伸模子处理时候，它能更好地转头新闻、写诗，以致措置数学问题。但这详情是另一个scaling轴，咱们正初始解锁，咱们但愿解锁。雷同，咱们将突破一些scaling laws和咱们在纯预查验中看到的限定。

当你需要接洽个性化和时候安排时，模子需要从多个信息开首中整合数据，身手给出最好谜底。这不再是一个简便的‘天外是什么神色’的问题。

本年的一个突破是能在潦倒文中处理数百万个瑰丽，你可以从曩昔检索一些东西，然后将其带到翌日，然后进行相配戒备的分析。

以下为访谈原文，部天职容略有删减：

AI查验的两个基本设施：预查验和强化学习国产视频a在线观看v

主理东说念主：

前次见到你时，你正在推敲一个可以使用键盘和鼠标的智能代理，它可以在绘制、绘画或玩《星际争霸》。从那时起，事情还是取得了很猛进展。

Oriol Vinyals：

咱们那时所作念的是制定一系列越来越难的任务。咱们谈到电子游戏《星际争霸》时，这是面前最复杂的当代政策游戏之一。天然，DeepMind以始创了雅达利游戏的趋势而著名， 这是一个简便的把握迁移拍子和打球的游戏。

这是算法本人，咱们致力于让它们相配通用，以便咱们可以连接攀高难度路线，游戏课程， 并作念更多复杂的事情。现在发生的事情是，咱们查验的模子比咱们那时开采的模子应用范围更广。

是以想想创建这个数字大脑的历程并莫得蜕变太多。但那时该大脑大约作念的事情相对有限，尽管相配复杂， 比如玩《星际争霸》或围棋。现在，这些模子可以作念更多平淡的应用，天然，还有与咱们聊天的聊天机器东说念主等等。

主理东说念主：

那时候，强化学习是你主要的杠杆吧。我想知说念现在有什么不同？

Oriol Vinyals：

是的，是以从算法上说，AlphaGo和AlphaStar使用了调换的一套算法序列来创建这个数字大脑。它与现时大型言语模子或多模态模子的创建形式并莫得太大不同。 在咱们参与的许多形貌中，有两个基本设施一直保持相对不变，第一个设施，即预查验或效法学习。

也便是说，从当场权重初始，有一个算法会尝试效法东说念主类为玩游戏而创建的大批数据，或者在这种情况下，效法互联网上所有咱们可以获取的学问。在这第一阶段，你只需诊治权重以尽可能好地效法那些数据。

主理东说念主：

这些权重骨子上是每个神经元里面的一系列数字，这些数字刻画了它与其他事物的有关？

Oriol Vinyals：

是的，是以基本上狡计单位是神经元，神经元之间的蚁合执行上便是权重。是以你可以遐想有一个神经元，有几个神经元与之邻接。你基本上是将所有传入神经元的激活值乘以权重。而这些权重是独一会蜕变的东西。输入激发神经元，这很像大脑的运作形式，有一些目田度的创造性。

主理东说念主：

好吧，如果咱们作念一个类比，那就像你有神经元，水流过它，而权重就像神经元之间管说念的宽度？

Oriol Vinyals：

是的，没错。然后你可以遐想罕有百万个神经元，数十亿以致万亿的管说念。这便是咱们破钞大部分狡计资源查验这些模子的地方，终点是言语模子，便是在预查验或效法所有咱们可以获取的数据。

主理东说念主：

好吧，是以你现在有了一张巨大的鸠合，有许多管说念蚁合所有的神经元。那便是你的效法阶段完成了。接下来，如果你在作念，比如说AlphaGo或AlphaZero，你会让它我方跟我方对弈。

Oriol Vinyals：

是的。天然，这些句子在英语中看起来很适应逻辑。或者如果它在玩一个游戏，它会合理地点击东西，以迁移棋盘上的棋子等等。但这个模子还莫得学会的是学习这些行径会产生答复。

那便是强化学习或后期查验的部分，这是查验的第二阶段。 是以你可以通过“嘿，平均来说，互联网上的诗是什么样的？”来写一首诗。但接下来的问题是，“我只想要好的部分”

是以我如何基于某种信号进一门径整这些管说念，现在写完整首诗后，它会给一个0或1的分数。

比如说，如果是一首泛泛的诗，你得到0分；如果是一首好诗，你得到1分。再用一个游戏的类比，这是咱们传统上使用强化学习的地方，如果你赢得了游戏，你得到1。如果你输了，你得到0，然后你进一门径整权重。

但现在，不再是效法东说念主类， 而是说，忘掉曩昔，我想超越东说念主类大约作念到的，尝试让我的所有诗歌齐成为完好的诗歌，或者我的所有棋局齐成为完好的棋局。在言语模子中，这个第二阶段， 即强化学习后查验阶段，时常相对褊狭，因为咱们莫得取得超等干净的奖励。

主理东说念主：

是以一朝完成，那便是所有幕后进行的事情。然后你就说，群众保持原地不动。咱们要对所有这个词鸠合进行一个快照，这便是你动作用户执行大约探望的东西。

Oriol Vinyals：

是的。是以现在这个惊东说念主的历程完成了。这些权重相配非常，是以你找到的这个成立，你果真花了几个月的时候来完善它，诊治一切。是以查验甩手，你不再蜕变成立。

你可能想让它相配高效。比如说你发现这个神经元莫得多大用处，它对任何事情齐没灵验，你把它移除，一切齐变得更快，更低廉，以便大限制运行它。

然后动作用户，你就得到了调换的权重，每个东说念主齐会得到咱们查验过的调换权重。。 这便是咱们所称的Gemini 1.5 Flash。这只是意味着一组冻结的权重，不会再进一步查验或任何事情。

是以这两个设施执行上从AlphaGo到AlphaStar到现时大型言语模子险些是调换的。 天然，还有一些细节很蹙迫。而且这个范畴还是发展，但原则险些莫得蜕变。

AGI是鼓舞通用性最大的要素

主理东说念主：

这是雅达利的例子，或 AlphaGo中使用的算法类型，或者在大型言语模子中，架构是不同的，对吧？

Oriol Vinyals：

是的。是以有一些组件组成了数字大脑。其中之一是架构，是以有这些神经鸠合。现在咱们有变压器模子，这在DQN时期咱们详情莫得。是以老是有一些架构上的突破，更好地从数据中学习。

但从变压器模子到今天，险些齐是一些小诊治。即使你望望AlphaFold，它亦然由变压器驱动的，团队有时需要数年只是为了找到一些小的诊治，比如，“嘿，让咱们移除这一组神经元，让咱们再加一层，让咱们把这个弄得更宽少许”， 是以你塑造大脑的口头，它稍稍蜕变一下，有时候这会影响性能的收场。

主理东说念主：

如果这些齐是迄今为止取得的成就，我的交融是，地点是创造更多的代理行径，让这些东西大约作念出自主有策画。这些如何匡助收场这一地点？

Oriol Vinyals：

是的。是以让咱们深入少许现时的趋势。咱们称之为大型言语模子，但它们是多模态的。

遐想一下，大约添加图像，然后提议问题、连接发问，这是何等好的一件事。是以这项技巧，咱们仍然会矫正它。这些权重集大约对输入进行的这些惊东说念主的测度。这张图像是什么？用户在问什么？我能写一首更好的诗吗？我能把它写得更长吗或别的什么吗？

就像咱们现在这些互动，咱们齐能玩这些东西，但这只是一种组件，咱们可以想，嘿，这现在是咱们的中央处理器，咱们可以在它周围添加更多内容。

如果模子能去为你作念推敲呢，比如说，我举的一个例子，咱们早就初始接洽这个问题。我可以要求一个言语模子或视觉言语模子学习玩《星际争霸》游戏。这与创建一个玩游戏的代理是相配不同的方法，在另一个例子中，它可以上网、看对于游戏的视频。天然，它可以下载游戏，初始与之互动学习。

在网上作念推敲，去论坛、阅读论坛。去玩并发现它在某方面薄弱并加以矫正。经过几周后，它可能会给你发一封电子邮件说，我现在知说念如何玩这个游戏了，让咱们来玩。这不是一个太远方的现实。

但这些模子执行上作念一些事情，选择一些行径，学习任何可用的新东西，这是颠倒苍劲的。这是鼓舞通用性最大的要素，这便是许多东说念主称之为的AGI，嗅觉更接近。

数字体魄能推广谜底

主理东说念主：

是以如果我的交融没错的话，面前咱们领有的东西，大型言语模子，多模态模子，不管你如何名称它们，那是中枢。但下一步是你在这个中枢之上构建东西，让它大约脱去褂讪器，去作念我方的事情。

Oriol Vinyals：

是的，如实如斯。如果它大约探望所有的学问，何况可以欺诈它的时候进行一些确切的推敲， 编写假定，编写一些代码等等，并花时候确切修起相配相配复杂的问题。现在的可能性大大推广了。

诚然咱们天然不是在所有事情上齐需要这么。如果咱们问一个问题，比如，“嘿，我可爱米饭。今晚我该准备什么？”可能不需要进行深入的念念考或者陆续三周的推敲，你可能平恭候时候不太清静。

但我认为，为了鼓舞前沿，你需要给狡计机一个数字体魄，这么它不仅可以念念考，给出指示或翰墨输出，还可以在线或在你可能上传的文献上作念一些事情，或问相配复杂的问题，并为你个性化等等。

主理东说念主：

我可爱这个想法，你有了电子大脑，现在你给它一个数字体魄。我知说念大型模子的大想法之一便是把它扩大、让它们越来越大。你认为通过推广看到的甩手现在还是褂讪下来了吗？

Oriol Vinyals：

是的，这是一个相配蹙迫的问题。咱们推敲了跟着模子变大，也便是这些模子有几许神经元，它们在咱们有明确贪图的某些任务上变得何等出色。举例，一个相配容易交融的例子是机器翻译，是以当你从数百万到数十亿以致可能数万亿个神经元推广时，你会看到性能抵制擢升。

这在简单意旨上意味着，在曩昔三年中，咱们取得了一些进展，你不应该祈望在接下来的三年中取得调换的越过。执行上这条路变得越来越难走。这意味着狡计参加也在超线性速率下越过，但可能莫得这些趋势所袒露的那么好，你会看到一些收益递减。

因为简便地扩大x轴，即参数数目，你需要增多10倍身手看到调换的矫正。这就给咱们带来了一些压力，嘿，也许咱们弗成推广那么多，咱们需要接洽其他方法来推广以使模子更好。

事实上，这个类比以致可以应用于模子的发扬。即使你有相配好的发扬，如果你想让这些模子统统准确，不会诬捏事实。但执行上，有时通过测试可以发现它们会产生不准确的内容。要达到统统的准确性仍然相配难熬，这给大限制部署带来了一些风趣风趣的挑战。

主理东说念主：

我听到了你所说的收益递减。但就如何让这些事情变得更好、如何让这些模子变得更好而言，只是是数据、狡计智商和限制吗？这些是独一需要拉动的杠杆吗？

Oriol Vinyals：

是的。如果你冻结架构，比如说在接下来的一年里莫得立异，咱们只是推广，因为有更好的硬件问世，那详情会有一个看起来可以的趋势。但发生了什么，终点是在Gemini， 咱们有其他立异，其他技巧，期间，对于如何从何种递次展示模子数据的细节，到架构的细节，如何运行查验历程，运行多万古候，咱们执行向模子展示什么样的数据？咱们如何过滤？咱们展示更多高质地的数据，展示更少低质地的数据，所有咱们称之为超参数的不同内容。

天然还有其他算法进展，咱们也相配仔细地推敲，因为查验模子的历程是昂然的。是以咱们需要相配小心肠积蓄立异，以便最终，当咱们准备好时，咱们有弥漫的立异，可能也会有更好的限制来运行下一次模子的迭代。咱们运行它，然后咱们不仅通过数据和狡计取得算法上的突破。

查验AI的历程中，数据执行上是有限的

主理东说念主：

我想对于这种推广的另一件事是，莫得确切的限定，你可以输入的节点数目执行上莫得限定，也许在表面上输入的狡计智商叶莫得限定。但你可以参加的数据是有限的。东说念主类言语的数目是有限的。

Oriol Vinyals：

很好的不雅点。是以我认为节点是有极限的，因为你推广这些模子的形式是，它们弗成在一个单一的芯片上运行。是以现在你有一个芯片网格。它们在通讯。有一些限定，比如光速等等。是以初始有一个时候点，查验这么一个大模子的后果也很不值得，即使是从你手头硬件的欺诈率来看。

另一个要道点是在这个预查验中，效法所罕有据，咱们莫得所谓的无尽数据状态，数据是有限的。因此一朝模子需要——你可以遐想，让咱们在所罕有据上查验。如果你想查验所有的东西，一说念互联网。是以咱们刚刚初始念念考，咱们将近用完数据了。有些期间，比如合成数据，咱们可以用多种形式书写或重写现存数据吗？

言语是一个不言而谕的念念路，你可以用不同的形式编写互联网。它主如果用英语写的，但有方针用不同的形式重写调换的学问。咱们正在探索这些。这是一个许多东说念主初始投资的推敲范畴。因为如果你用完数据，scaling laws会进一步刑事包袱你。

主理东说念主：

那么，举例，你可以让Gemini写我方的互联网版块，然后用它来查验新的Gemini版块？ 如果你初始输入调换模子的输出，会不会有创造出小的，不太有匡助的反馈轮回的危机？

Oriol Vinyals：

他们天然可以作念一些风趣风趣的实验来测试像你刚才提到的想法。的确，从名义上看，这不是个好主意。如果你让模子从头创建所有这个词互联网，模子会耐劳。如实，从信息和内容的角度来看，执行上，从信息内容的角度来看，这个数据集具有它所具有的信息。你如何能创造新的信息，对吧？我不知说念，这些想法可能会有所匡助，咱们并未达到从互联网确切索求所有信息的根底智商。咱们有好的算法，但它们并不完好。

主理东说念主：

如果你能找到东说念主类主张的E=MC²，然后仅用它生成新数据，那么这似乎更现实。

Oriol Vinyals：

是的。这些言语模子只是重叠在线上的内容而弗成创造任何新东西吗？或者他们正在学习一个宇宙模子，然后你就可以基于它索求的旨趣，可能超越数据所包含的范围？在更乐不雅的版块下，我更倾向于确信，咱们可以将数据的极限稍稍推高少许，杰出咱们面前的极限。

不外，有一些数据开首咱们还莫得看到突破，比如视频数据。尽管这些数据量遍及，咱们还莫得找到一个大约从所有视频中索求出大批学问和物理法例的突破口，即使这些视频中莫得翰墨说明。即便如斯，我也不认为咱们欺诈了阿谁开首。

主理东说念主：

它不是那样运作的？或者你不知说念？

Oriol Vinyals：

是的。它嗅觉它应该。早期有一些言语学习，但咱们也通过不雅察三维宇宙进行学习等等。是以可能还有更多学问咱们还莫得索求出来。显豁，咱们还是作念得很好了，你可以通过测试模子看到，将视频中的主张有关起来。然后你可以作念一些很棒的事情，比如，“嘿，把这个完整的视频索求三个风趣风趣的时刻”。但模子本人，是否确切欺诈了这些信息？可能还莫得。

主理东说念主：

如果我交融的话，面前它可以告诉你视频中有什么，但它弗成然后说出“E = MC²”。 或者如果你给它展示夜空的相片，它不会片刻大约像东说念主类天文体家那样瞻望行星招引。

Oriol Vinyals：

是的，如实如斯。咱们在这里选择的捷径是咱们在查验图像或视频时，险些老是附带有文本说明。是以它可能是一个讲解这张图像或视频有什么的说明等等。天然，这很了不得。

你可以放一张家庭功课的相片和一个小的主张图，它它就会蚁合起来，并基于此作念出许多很好的逻辑。但我在这里说的是，是否可以仅通过视频，不借助言语，来查验模子交融发生的事情，以致在某种进度上推导出一种言语（天然不是咱们的言语），并索求主张。面前这还充公场，但这可能会收场。

主理东说念主：

回到你一初始提到的Deep Mind所构建的模子，基本上齐有两个阶段。

Oriol Vinyals：

是的。

主理东说念主：

效法阶段，然后是在其上的强化学习阶段。Alpha Go和Alpha Zero以及许多其他模子通过自我对弈变得更好。这也适用于这里吗？

模子会寻找bug掌持游戏

Oriol Vinyals：

是的。这是主要的绽放挑战之一不仅是预查验，还有后期查验或强化学习。在游戏中，强化学习的妙处在于有一套明确的礼貌。

如果你赢了，你就知说念我方赢了。比如不才棋时，如果你赢了，门径会考据所有设施，阐发将军并示意道喜。

然则，在言语中，这就更辣手了。比如，这首诗比那首更好吗？即便在咱们之间谈论也很难达成一致。因此，这种泛化使得精准狡计变得相配难熬。如何评估这是不是一部电影的更好转头？ 或者这是不是视频中最风趣风趣的部分？这很难量化，但咱们尝试在作念。你查验一个模子，凭据一些东说念主的偏好，要求它进行泛化。让模子品评我方的输出，甩手不会太糟，也许在80%的时候里发扬尚可，诚然这不完好，但可以提供一些信号。

然则，当你初始凭据一个不完好的奖励模子进行查验时，模子会欺诈奖励的流毒。比如在外洋象棋中，假定一个兵在某个位置总能赢，而这个位置是莫得东说念主会下的。那么，算法可能会发现这少许，并欺诈它赢得比赛。尽管算法掌持了游戏，但从推敲东说念主员的角度来看，这种政策并不睬想。

是以这便是挑战。基本上你是在寻找破绽，而非确切交融优秀政策的确切含义。

主理东说念主：

你能弗成通过增多另一个模子，动作终极仲裁者来措置这个问题？

Oriol Vinyals：

好建议，但问题是，你如何查验阿谁模子？咱们唯独有限的数据来查验这个仲裁者，而确切的表率可能需要众人的判断。然则，这种形式不可推广。

遐想一下，如果咱们在3秒内完成了参数更新，然后要求众人审核这10000件事情，因为这是一个可靠的开首。咱们莫得弥漫的数据来查验一个弥漫好的奖励模子。因此，诚然有一些想法，但咱们无法取得真实的表率。

将突破一些scaling laws和限定

主理东说念主：

而现在咱们正在诞生数字体魄，你但愿这个数字体魄领有什么样的智商， 比如推理，因为在那方面也有许多责任，不是吗？

Oriol Vinyals：

是的。是以当你初始念念考时，咱们可以给这些模子有限的探望权限，以便它们大约看到它们权重以外的东西，而这些权重是冻结的，大约网罗学问或者作念一些可能更复杂的事情，而不单是是凭据它们在潦倒文中领有的内容，以及它们在权重中领有的内容来瞻望下一个单词？

那么不言而谕的是，给它们探望搜索引擎的权限。这是咱们在Google擅长的。另外，赋予它们运行我方编写代码的智商，可能更平淡的是赐与它们与有互联网探望权限的浏览器互动的智商。

在所有这些历程中，你必须小心sandbox，这意味着保护这些环境，以确保即使模子不那么先进，也不会实践就怕的操作。因此，当模子超出查验时，安全性问题变得愈加引东说念主关爱。但如果咱们只是瞎想有什么可能，通过给模子提供这些器具，它们可以初始收场更多超越查验语料库的高阶功能，比如依赖最新的新闻来讲解或转头前一天的紧要事件。所有这些事情，你需要赐与它们这些器具。

主理东说念主：

好的，那么推理如何融入这一切呢？

Oriol Vinyals：

是的。推理很风趣风趣，对吧？ 我刚才刻画的内容可以详细为：如果我想了解昨天发生的事情，我可以说，"嘿，模子，我是Oriol，我对这些事情谊风趣风趣，我的政事不雅点是这么的或那样的。给我一个对于昨天新闻的积极看法。"然后模子可能会进行搜索，检索所有新闻，按照我的要求以我可爱的形式呈现。如果我不清静，还可以反馈说我不可爱这个或这个见笑不好，然后在对话中进行诊治。

现在，推理是一个不同的推广轴。是以你可以遐想模子决定了哪些中间设施，以给我一个更好的谜底。遐想一下，谷歌搜索检索到约莫一百家新闻媒体的信息，模子可能会决定不单是简便地阅读和转头所有内容，而是先逐篇转头所有著述。这意味着模子会为我方转头每篇著述，而不是成功给用户。

然后，它可能将这些转头按主题分组，以致还会对某些看似可疑的著述进行进一步考据，比如检讨网上谈论。这种多设施的推敲历程可以陆续很万古候，直到模子认为它得出了更高质地的谜底，才会提供简易的转头。

此时，模子有充足的时候来处理信息和进行推理。咱们但愿通过延伸模子处理时候，它能更好地转头新闻、写诗，以致措置数学问题。但这详情是另一个推广轴，咱们正初始解锁，咱们但愿解锁。雷同，咱们将突破一些scaling laws和咱们在纯预查验中看到的限定。

主理东说念主：

这是否也包括策画智商？比如说，模子能否浏览你的日期，狡计出你的发薪日，并在行将到来的一月打折季前提醒你推迟假期预订？

Oriol Vinyals：这可能会变得相配复杂。当你需要接洽个性化和时候安排时，模子需要从多个信息开首中整合数据，身手给出最好谜底。这不再是一个简便的‘天外是什么神色’的问题。

我想起一个例子，在咱们的一篇早期论文中提到，言语模子大约自愿修起而无需编程指示，这令东说念主惊诧。但如果波及到行星位置、时候、天气等的推理和策画，谜底就会变得相配奥密。是以念念考和策画，这些模子可以作念到这少许。

主理东说念主：

我想起2019年的一个对话，对方谈到对于东说念主脑的两种念念维系统：一种是快速直观型，另一种是慢速狡计型，比如作念数学和棋战。第二种更容易用狡计机收场，但现在咱们也初始看到快速直观反映的可能性。你在评论将这两者衔尾，对吧？

Oriol Vinyals：

是的，的确如斯。他可能也在评论系统，这如实是你更多地念念考的一个方面。在游戏中这很显豁，直观上以为对的就成功行径，但三念念尔后行可能带来更好的有策画。挑战在于这些模子的通用性。

为了在相配通用的功能基础上添加念念考智商，你可能需要一种通用的念念考形式。因此，你使用模子本人来生成它应该如何念念考任何事情。然后模子会想出，我要转头每一篇著述，我要作念这作念那。这不是咱们编程，这是一个相配真切的见地。这是独一的方法吗？是最优的方法吗？面前尚处于早期阶段，五年后。咱们翘首跂踵。

AI收场了顾虑并能进行深度分析

主理东说念主：

你正在评论策画和推理，顾虑是另一个相配蹙迫的问题。它收场了吗？东说念主们通常评论长短潦倒文。我想这在某种进度上便是责任顾虑，不是吗？

Oriol Vinyals：

是的，有一些期间可以应用于言语模子，至少有三种，而且它们颠倒容易讲解。咱们领有一个顾虑所有这个词互联网的系统的第一种方法是通过实践预查验设施。这执行上是一个特定口头的顾虑设施，咱们有这些权重，它们是当场的，然后咱们将它们拼装成这些惊东说念主的架构。

第二个档次，我可能稍稍讲解了一下。如何将谷歌等搜索引擎器具提供给模子。你可以说，这便是神经科学家所说的情景顾虑，动作东说念主类，也许就像咱们很久以前就有这些顾虑一样。

它们不是很精准，是以它们时常有点疲塌。如果我必须念念考，我在谷歌的第一天是若何的？我谨记一些零龙套碎的事情，在一个房间里，或者我遭受的某个东说念主，诸如斯类。

现在，风趣风趣的是，这些模子可能莫得这个限定。你可以在网上找到一篇多年前写的著述，它将包含所有图像，一切齐将是完好的，完好地重建。是以第二种模式称为情景顾虑，很显豁当你将终点苍劲的搜索引擎集成到咱们的模子中时，咱们会看到这少许。

第三个是你可以称之为责任顾虑的东西，执行上我刻画的所有这个词念念维便是其中之一。如果咱们把每一篇新闻著述齐拿出来，然后咱们想创建摘要，找出它们之间的关连，品评其中的一些，这就初始衔尾责任顾虑，这意味着我将有一个摘要的草稿本。这衔尾了责任顾虑，比如在处理长短潦倒文时，可以更好地进行推理。

本年的一个突破是能在潦倒文中处理数百万个瑰丽，你可以从曩昔检索一些东西，然后将其带到翌日，然后进行相配戒备的分析。比如，咱们可以上传并转头电影或长视频内容，咱们可以在每一帧内进行颠倒多的关联，电影中的每个对象等等。

主理东说念主：

更长的潦倒文窗口是否老是更好，因为我只是在想，我不知说念你们还在多猛进度上将神经科学动作你们所作念责任的灵感。但东说念主类的责任顾虑是有限定的。天然，有些时候你会以为，我的大脑还是满了，我作念完结。

Oriol Vinyals：

有时大脑是一种灵感，但狡计机详情有上风。咱们应该欺诈它的上风，是以也许事实上他们可以记取每一篇维基百科著述，不管是什么，咱们作念不到，但如果模子可以，那么就行了。

但同期，即使对于这些神经鸠合来说，太多的信息也可能会让东说念主感到困惑。是以压缩可能是一个好主意。是以你可能想从中取得一些灵感巨屌，让咱们作念咱们作念的事情，这在顾虑检索等方面是颠倒了不得的。

风险指示及免责要求 市集有风险，投资需严慎。本文不组成个东说念主投资建议，也未接洽到个别用户特殊的投资地点、财务现象或需要。用户应试虑本文中的任何意见、不雅点或论断是否符合其特定现象。据此投资，包袱自诩。