算力、数据、模型三者对于 Loss 的贡献能力 有了 Scaling Law,CFO 可以直接算:**投 1000 万美元,能得到什么效果的模型**。 之前大家都在疯狂堆参数,但 Scaling Law 证明**数据更重要**。 1. 模型参数翻 10 倍,Loss 降低约 1.2 倍 2. 训练数据翻 10 倍,Loss 降低约 1.26 倍 3. 算力翻 10 倍,Loss 降低约 1.15 倍