DeepMind不断更新研究：如何将「大语言模型」 训练到最优？

DeepMind最新研究者：如何将「大口语数学模型」 专业训练到拟合？

作者丨杰西

Transformer的驳斥距离我们仍未有5年的时间，随着数学模型量的不断增长，性能提升也逐渐出现极大化经济效益递减的上述情况。如何专业训练出拟合性能的大数学模型？

最近，DeepMind要用了一项追查，想鲜为人知AI口语数学模型的量和token两者之间的间的关系。这个该小组专业训练了最多 400个数学模型，量从 7000万匹配到 160亿匹配平均，token量从 50亿到 5000亿平均。

该该小组推测，数学模型匹配大小和token的量成正之外，换句话说，当数学模型量一点点的时候，token也应该一点点。

1 如何想得到这种间的关系？

目前其实是大数学模型时代，自从1750亿匹配的GPT-3横空出世时，勾起了研究者员的天份。近两年的时间，出版界陆续推出了好几个数学模型，且一个比一个大，并且在多数侦查上授予了引人引人深刻的性能。

但这种超越认知的性能展现出，是以巨大的数值和能源消耗为代价，出版界也长期在咨询这种代价应该值得。例如前谷歌研究者员Timnit Gebru就曾撰写专著咨询“AI 口语数学模型应该想像中大以及科技一些公司在减低潜在几率总体要用得应该所需。”她也因为该专著被谷歌裁员。

大数学模型的专业训练预算一般是提前计划好的，毕竟专业训练一次成本想像中大。因此，在给定预算的条件下，恰当估计最佳数学模型超匹配变得并不关键。在此之前，也有史家仍未证明匹配的量和自回归口语数学模型（autoregressive language model）的性能两者之间存在幂律间的关系。

例如先前的研究者表明，10倍数值预算近似于增加5.5倍数学模型量，以及1.8倍的token量。但这项研究者表明：数学模型大小和token的量应该成等%增长。

此外，研究者员还预测，对于专业训练Gopher（2800亿个匹配的口语数学模型），最佳数学模型应该小4倍，并且应该在大4倍的token上顺利完成专业训练。这一预测，在包含1.4万亿个token的 Chinchilla中的专业训练想得到验证。Chincilla的性能比不上Gopher，由于数学模型量降低，推理小说成本也更低。

2 如何让大数学模型更加高效？

大数学模型只有在大样本集上才能发挥最大的踢球，同时，DeepMind也注意到，执行大样本集时只能甚为随便，专业训练集和测试集的合理分成，才能这样一来口语建模损失以及拟合赋能沿河侦查。

研究者界须要考虑到与此类大型数学模型之外的伦理和隐私权问题。正如过去所咨询：从网络上收集的大型样本集包含排泄物的口语、同性恋和私人信息。

关于大数学模型如何更高效的问题，全因，北京大学刘知远从数学模型架构侧重也驳斥了看法《清华刘知远：大数学模型「十问」，探寻新认识论下的研究者斜向》，他表示：

随着大数学模型越变越好，对数值和存储成本的消耗大自然也愈来愈好。最近有人驳斥 GreenAI的概念，即只能考虑到数值能耗的上述情况来综合设计和专业训练人工智能数学模型。朝向这个问题，我们确信，随着数学模型变大，AI会愈来愈只能跟数值机系统顺利完成为基础，从而驳斥一个更高效朝向大数学模型的拥护体系。一总体，我们只能去建设更加高效分布式专业训练的正则表达式，在这总体国内外都有并不多的之外探寻，包括国际上比较有名的DeepSpeed 以及悟道团队在开发的一些减缓正则表达式。

另一个总体，大数学模型一旦专业训练好去使用时，数学模型的“大”会让推理小说过程变得十分缓慢，因此另外一个依托斜向就是如何高效将数学模型顺利完成来使的传输，在减缓推理小说的同时保证它的效果。这总体的主要技术两条路线包括剪枝、蒸馏、量化等等。同时最近我们推测，大数学模型上面不具并不强的稀疏发给的现象，这对于数学模型的高效传输和数值展现出并不大的帮助，这总体只能一些主要用途正则表达式的拥护。