博客详情

训练一个参数规模达5000亿的大模型，究竟需要多少人力？

AI领域的普遍认知是，至少需要几十人，而大型科技公司往往投入数百人。

然而，硅谷一家名为Mirendil的初创企业，将这一数字压缩到了极致——仅需一人。

就在最近，Mirendil在其官网发布了一篇文章，标题颇为震撼：《无需预训练团队的大规模预训练》。

文章标题下方列出了三项数据：

一名研究员、三个半月时间、成本不足1000万美元。

这笔费用涵盖了Agent的token消耗、数据处理以及所有研究实验开销。凭借这些投入，他们成功训练出了千亿参数模型：Mirendil-Base，一个参数范围在1000亿至5000亿的编码专用基座模型。

Mirendil在文章中表示，新模型超过99%的代码并非由人类编写，而是由Agent完成。

人类研究员只需负责确定方向、做出判断，并在关键节点进行干预。编写代码、运行实验、排查错误等任务，全部交由Agent处理。

在Mirendil的测试中，新模型的部分指标已接近Kimi K3、GLM-5.3、DeepSeek-V4等主流一线模型。

“单人打造基座模型”的时代，真的来临了吗……？

01

根据官方说法，Mirendil-Base是Mirendil系列模型的首发产品，定位为编码专用基座模型，目标用户是前沿AI实验室内部的研究员和工程师。

为了验证一人能否独立完成模型训练，Mirendil设定了多项严苛条件。例如，不得使用现成的预训练框架，也不能继承已有代码。

研究员和Agent从零开始，在100多天内构建了所有内容——训练基础设施、模型架构、训练算法、数据管道，全部自主编写，仅在PyTorch、JAX等通用库的基础上，参考了一些热门开源项目作为模板。

当然，这里的“自主”通常指的是Agent。

研究员主要负责决定尝试什么、信任什么，并在必要时进行干预。编写代码、运行实验、诊断错误等具体操作，基本都由Agent自主完成。

在数据方面，Mirendil全部使用公开数据，例如GitHub开源代码、公开网页、公开数据集等。公司强调，训练过程中未购买任何一行数据，未进行蒸馏，也未使用合成数据。

此外，Mirendil通过改进设计来提升效率。“我们通过改进的架构、数据混合的高级调优，以及其他数据层面的改进，加上kernel优化，获得了显著的效率提升。”公告称。

最终成品是Mirendil-Base，参数规模为1000亿至5000亿。

一人训练出的千亿参数模型，究竟处于什么水平？

Mirendil选取了五款模型进行对比，分别是Kimi K3、GLM-5.3、Nemotron-550B-Base、DeepSeek-V4-Pro-Base、Inkling，均为MoE架构的大参数模型。

在新代码仓库的交叉熵测试（模型猜测代码编写方式，分数越低表示猜得越准）中，各模型的比拼结果如下：

Kimi K3排名第一，得分为0.193；Mirendil-Base排名第二，得分为0.222；随后依次是GLM-5.3、DeepSeek-V4、Nemotron。

换句话说，在部分编码维度上，一人与Agent组队训练出的预训练模型，已能与头部大厂的成品模型一较高下。

不过，需要指出的是，通常情况下，基座模型在交叉熵测试中的表现优于后训练模型。Mirendil-Base作为基座模型，分数反而高于后训练过的Kimi-K3，这说明Kimi-K3的真实实力远超表面分数，Mirendil-Base与它的差距比看起来更大。

根据官方介绍，Mirendil-Base之上还有两档：Large参数在5000亿到2万亿之间，XL则直接达到2万亿到10万亿。

目前，Large已训练了80%，XL刚起步，仅完成19%，但其分数已接近Large当前水平。

这意味着，在充裕资金和Agent的助力下，一人训练万亿模型并非遥不可及——这是许多AI大厂尚未触及的门槛。

02

千亿乃至万亿参数大模型的预训练，极其耗费资金和时间，且需要大量人力投入。

数百名研究员中，一部分负责研究模型架构和scaling方法；一部分负责处理数万亿token的清洗与配比；还有一部分人管理着数千甚至数十万张算力卡，确保训练不中断。

AI大厂能够聚集足够多的人才，但资金和算力成本压力依然巨大。

整个行业一直在探索降本之道，核心思路是：让AI来训练AI。

例如，Anthropic已在这条路上走了很远。

该公司此前透露，今年5月，其代码库中超过80%的合并代码是由Claude编写的。

谷歌也在进行类似尝试：AI编程智能体AlphaEvolve已被用于优化数据中心调度、芯片设计和AI训练流程。

但“AI训练AI”这条路，目前仍只有大厂能够驾驭。

对于科学家、研究员、小团队而言，想要自行训练一个模型，此前几乎不可能。

Mirendil-Base却证明了，在特定条件下，一人也能“手搓”模型。

Mirendil在官网文章中表示，直到不久前，预训练一个有竞争力模型的瓶颈还是人力：一支需要多年才能组建起来的专家团队。

如今，这一局面正在改变。

过去只有大型研究机构才能做到的事，现在一名研究员即可完成。当Agent承担了大部分动手工作时，瓶颈转移到了算力、数据，以及指挥Agent的那个人判断力上。

“人人都能训练模型”，蕴含着巨大的想象空间。

以前，大多数人和公司如果需要专属模型，往往租用一个通用模型，再在边缘进行适配。

现在，一支芯片设计团队、一个机器人实验室，或是一家医院，都可以用自己的数据、为自己的问题训练一个模型。基座模型及其构建的系统，将不再只是少数大厂才能制造的东西，而会更加普及。

另一方面，过去需要一个大型团队才能启动的AI项目，现在可以从一个小团队，甚至一个人起步；随着算力越来越便宜、越来越强大，更多人能够尝试这些项目。“一人公司”或“超级个体”，有望成为现实。

人们的工作方式也会随之改变：随着越来越多的工作被交给Agent，人类的日常工作将越来越不像“亲手做事情”，而更像“带领一个小型实验室”：设定研究方向、设计值得运行的实验、判断哪些想法值得继续推进。

Mirendil描绘了更加炫目的前景：下一个模型将部分由Mirendil自己的模型来构建，而每一个在构建AI方面变得更强的模型，都会让下一个模型的构建更便宜、更快速。

“我们认为，尚未达到完全自主的RSI，但我们已经比以往更接近了。”公司称。

此外，公司已开始对Mirendil-Base进行后训练。Mirendil-Base-Large以及达到前沿水平的Mirendil-Base-XL仍在训练中。

03

Mirendil的背后，是两位Anthropic前员工：Behnam Neyshabur和Harsh Mehta。

Neyshabur是80后，出生于伊朗，并在当地读大学。2011年赴美，在丰田工业大学芝加哥分校获得博士学位。毕业后，他在谷歌DeepMind工作了5年，2024年底加入Anthropic，领导了Discovery团队，专门研究如何让AI像科学家一样参与研发。

Mehta是印度裔，毕业于印度理工学院古瓦哈提分校，在DeepMind时与Neyshabur是同事。加入Anthropic后，Mehta搭建了Anthropic内部自动化AI研究平台的第一个版本。

2025年12月，两人先后离职，成立了Mirendil，公司定位是让AI帮助科学家创造他们自己的AI，而不仅仅是直接利用AI辅助科学。

换句话说，他们希望让科研团队能够自行训练、迭代专属AI模型，不再依赖大厂的通用模型。背后的技术路线，正是近期AI圈热议的RSI。

今年6月，Mirendil官宣了2亿美元种子轮融资，投后估值10亿美元。投资方包括a16z、凯鹏华盈、英伟达等。

团队目前约20人，均来自Anthropic、xAI、Google DeepMind、OpenAI等机构，在旧金山市中心办公。

Mirendil-Base的亮相，标志着公司跨过了第一个里程碑。九游体育平台

但话说回来，“单人训练千亿参数模型”听起来美好，门槛并未降低多少。

1000万美元的成本，对大厂来说不算什么，刚刚获得融资的Mirendil也负担得起。但对于绝大多数个人、小团队而言，仍是天文数字。

更不用说，能指挥Agent完成如此大工程，并非随便一名工程师就能胜任。Mirendil的人才质量和AI项目经验，在整个硅谷都处于第一梯队。

“一人手搓大模型”的时代确实在靠近，但离普通人还很遥远。

Mirendil-Base的发布，是这条漫长道路上的第一块路标。至于它能否真正降低大模型的门槛，还需看后续更大规模模型的实际表现，以及这套方法论能否复制到其他人身上。

本文来自微信公众号“字母AI”，作者：彦飞，编辑：王靖，36氪经授权发布。