系统大师 > IT资讯

谷歌新研究冲击缩放定律！模型规模真的关键吗？

更新日期：2024-04-09

来源：系统大师

　　4月9日消息，近年来，模型规模不断扩大，一种普遍的信念是力大砖飞。

　　谷歌新研究冲击缩放定律！模型规模真的关键吗？

　　尽管OpenAI没有公布Sora的训练细节，但在其技术报告中提到了：最大的模型Sora能够生成一分钟高保真视频，这表明扩大视频生成模型是构建通用世界模拟器的有前景途径。

　　然而，谷歌最新的研究发现：并非如此!谷歌研究院和约翰霍普金斯大学在最新论文中指出：对于潜在扩散模型，模型不一定是越大越好。

　　据本站了解，关于缩放定律的争议一直存在。OpenAI在2020年发表的论文提出，模型效果与规模大小、数据集大小、计算量强相关，而与具体结构弱相关。

　　缩放定律不仅适用于语言模型，还适用于其他模态及跨模态场景。这一概念的提出使研究人员和开发者能够更有效地设计模型架构，选择合适的模型大小和数据集规模，以实现最佳性能。

　　谷歌最新研究集中在图像生成模型上，提出对于潜在扩散模型，在计算资源有限时，增加计算量应该增加数据集大小，而不是模型参数量。

　　这是否意味着缩放定律失效了?作者的研究表明，在有限的计算资源下，较小的模型可以优于较大的模型;模型大小和训练步骤的选择需与计算资源相匹配。

　　然而，在训练步骤恒定的情况下，大模型仍然具有优势，尤其在处理图像细节方面。

　　研究者还发现，不同大小的模型在CFG(Classifier-Free Guidance)技术下受影响基本相同，这一发现令人意外。

　　这项研究探索了模型效率与品质之间的最佳平衡，为开发更高效的图像生成AI系统提供了指导。这与当前AI领域的趋势相契合，即小型语言模型在多项任务中超越大型对手，旨在推动AI技术的民主化。