不能说计算资源是丰富的但已经足够支撑模型的发展基本不再是一个限制。而在数据方面所有前沿实验室已经尽可能地挖掘了可用的数据资源。
接下来就是在数据方面取得突破对吗？ W： 是的基本上是这样。如果你看这三大支柱计算方面我们显然会继续扩大训练集群的规模这个方向是比较明确的。算法方面我认为将会有很多创新。
事实上很多实验室现在都在这一领域进行深入的研究。而关于数 俄罗斯 电话号码数据库 据你提到的很对我们已经用尽了所有容易获取的公开数据。 v ： 是的所有人都可以获得相同的数据。 W： 没错很多人称之为“数据墙”我们已经利用了所有公开的数据资源。
而下一阶段的标志之一将是数据生产。 每个实验室将如何生成所需的数据以实现更高的智能水平这将是一个关键问题我们如何朝着数据丰富迈进？这将需要多个领域的前沿研究。
我认为首先是推动数据复杂性的提升迈向前沿数据。我们希望在模型中构建的许多能力其最大的障碍其实是数据的缺乏。 比如说过去两年内 一直是一个热门话题但实际上几乎没有 能很好地运作。
原因是网络上根本没有大量有价值的 数据。这些数据不在那里所以我们需要生产高质量的 数据。 v ： 能举个例子说明我们需要生产什么样的数据吗？ W： 我们即将发布的一项研究表明目前所有前沿模型在工具组合上的表现都很差。