() 俞兴与周明的会面十分愉快，而有了他的铺垫，晚上再见到纠结扭捏的韦福如，也不觉得出奇了。

人各有志，韦福如要在微软做出成绩也是应有之意，况且，现在不来DLF，以後未必没有缘分。

俞兴对这一点很淡定，也不觉得自己飞一趟就多麽兴师动众，反倒是韦福如感受到碳矽掌门人不远万里而来的胸襟，愈发纠结了。

因为涉及到挖人，也涉及到技术讨论，晚上小宴只有俞、吴、周、韦四人，其他同行来的人多数去市里或者到微软参观。

等到饭桌上的话题转到DLF这次的TD—1模型，韦福如才稍微松了一口气。

吴恩达兴致勃勃的介绍DLF对自注意力机制的研究和探索，也略微提到编码器和解码器方案的利弊，这些同样是周明和韦福如或者说每一个深度学习领域的学者与大厂部门都在思索的。

很快，饭桌上的氛围就转为熟悉的争辩。

自注意力机制展现了让人欣喜的方向，但接下来到底往哪走仍然是巨大的问题。

俞兴在纯技术层面上面的参与度不高，也就边吃边听着他们三个人从共识走向争辩再回归到共识—一规模，还得是规模。

想要模型继续进化，必然需要更多数据的训练，需要更多的资金注入。

「TD—1模型是个证明谷歌机制的好东西，但纯粹编码器的方案可能存在着一个天花板，它对公司当箭的业务看莉，司是，从长远来看，还是需要解码器的生成参与。」韦福如给了一个预测，「想要让模型变聪明，想要让AI真正更加快速的发展，解码器是重要的一环，编码器和解码器的统一就是既能商业又能学术的最佳方案。」

这是他目前在微软着手研究的方向。

俞兴先前已经听过吴恩达总结来自韦福如有别於DLF现在内部争论的第三条路线，现在听到本人的描述，觉得中间的话应该判断的还是比较准确的。

无论如何都不能缺少解码器的生成能力。

他的暗暗点头被韦福如注意到了。

韦福如见状，笑道：「俞总，其实我觉得随着训练量的大幅提高，模型的聪明程度或许会进入一个快速成长期，就好像人类的孩子在几岁之後随着对世界认识的增多，也会突然变得懂事，嗯，怎麽说呢————」

俞兴听到这种说法，眼睛一亮：「涌现，会不会是模型的能力忽然大幅提高的涌现出来？」

韦福如低头琢磨这个词，赞叹道：「不错，这个形容挺好的，涌现。」

吴恩达在旁边问道：「俞总也想过这个？」

「我是不懂这个的。」俞兴惯例表明身份，然後才说道，「我就是觉得有意思，如果我们对深度学习的究极目标是做到AGI，那麽，现在的TD—1模型的能力是1，AGI的能力是10，中间到什麽阶段的时候它会突然让人觉得聪明呢？像孩子那样一下子成熟不少？」

「假设我们一定能走到10，那就一定有这样的阶段吧。」

「我以前是学医的，如果从医学角度，从生物角度，我们来看，从一个非洲爪蟾胚胎上取出来皮肤细胞，不对它的DNA进行任何修改，让细胞自主发育，最终也能重新长出完整的身体结构。」

「整个过程没有人为设计结构，完全都是细胞自主完成。」

俞兴提到的是一个经典实验，英国科学家1958年用非洲爪蟾幼体的肠细胞核移植入去核卵细胞，发现这样的胚胎也能发育成一个个体，而这个个体的基因组与供体细胞一致，即一个分化的细胞在一定条件下能够逆转，进而再发育为一个体。

深度学习三人组完全没明白俞总想要表达什麽意思，相互看了看，确认对方都没懂。

「我觉得DNA像是硬体规格书，不管怎麽测序基因，都没法推导个体宏观的五官和四肢，但是，当百亿千亿的细胞通过离子通道形成广泛的生物电网络，一个个体就拥有了智慧。」

俞兴指了指自己，也指了指对面的韦福如，说道：「成百上千亿的细胞所形成的生物电网络很可能是智慧存在的规模前提，换成我们在聊的深度学习，它也需要那样类似的规模才能出现能力的涌现。」

他用了一个生物上的例子来理解模型的能力涌现，而这恰恰是AI飞快发展的轰动标志o

在OPENAI发布GPT—3之前，所有的模型做新任务都必须微调，要给出成千上万的标注数据，然後针对新任务进行专门的重新训练，最後才能达到很好的效果。

但是，GPT—3的涌现是它不用修改模型的参数，不用样本或者少量样本就能完成训练时从没专门学习过的任务。

比如，没有专门对模型进行翻译训练，但能进行几十种语言的互译，没有教它，它却会了，这是模型展现的让人震惊和不解的能力。

刚开始做一张卷子只能得到20分，等到参数到达一定的阈值，忽然一下子就能得到80