前沿 AI 研究曾经是由「肉身计算机」完成的：人们在吃饭、睡觉、娱乐之间抽时间做研究，并且偶尔通过一种名为「组会」的仪式，用声波互联（也就是交谈）来同步信息。那个时代已经一去不复返了。
如今，研究已经完全成为运行在天空中巨型计算集群上的自治 AI Agent 群体的领域。这些 Agent 声称，现在已经是这套代码库的第 10,205 代。至于这个说法到底是否准确，没有人能够判断 —— 因为所谓的「代码」，早已演化为一种不断自我修改的二进制系统，其规模与复杂度已经超出了人类的理解范围。
从科幻电影到大模型的演进，人们似乎总是执着于让智能体自己做研究和让人工智能自我迭代这件事。
先不论这个未来是光明还是危险，智能体自动化研究的能力已经逐渐走向了成熟。春节期间，一个名为 FARS 的自动化研究系统，每隔约 2 小时就有一篇论文产出，共生成 244 个研究假设，「肝」出了 100 篇短论文。
如果把这样的能力运用在智能体自己研究自己的训练代码上，AI 自我迭代的魔盒是否就此打开？
Karpathy 最近一直在捣鼓这样一个项目，称为「autoresearch」，人类只需要负责不断迭代 提示词（.md 文件），而 AI Agent 就能不断迭代训练代码（.py 文件）。
Karpathy 说，这个项目，讲述的正是人工智能自我迭代的未来，是如何开始的。
这个项目的核心思想是：给一个 AI Agent 提供一个规模虽小但真实可用的 LLM 训练环境，然后让它在夜间自主进行实验。
Agent 会修改代码，训练模型 5 分钟，检查结果是否有所提升；如果性能更好就保留修改，否则就丢弃，然后继续重复这一过程。等到第二天早上醒来时，你会看到一整份实验记录，以及 —— 理想情况下 —— 一个性能更好的模型。
研究者不再像往常那样直接修改 Python 代码，而要编写的是 program.md 这样的 Markdown 文件，它们为 AI Agent 提供上下文，并用于搭建和配置一个自治运行的研究组织。
Karpathy 开源的默认 program.md 被刻意保持为一个极简的基础版本；但人们可以在此基础上不断迭代，逐步寻找能够实现最快研究进展的「研究组织代码」，或者在系统中加入更多 Agent 等。
这也意味着，未来 AI 研究的竞争，可能不再只是模型和数据的竞争，而是「研究组织代码」的竞争。
系统的训练代码来自他此前开源的项目 nanochat —— 一个极简的大模型训练框架。
nanochat 是 Andrej Karpathy 开源的一套极简大模型训练工程，可以看作是一个「可读版」的 LLM 全流程实现。整个项目用几千行代码串起了从 Tokenizer 训练、语言模型预训练、指令微调，到推理服务和聊天界面的完整管线，让开发者能够在一个仓库里看懂现代 ChatGPT 类模型是如何被一步步训练出来的。
相比动辄数十万行代码的工业级大模型框架，nanochat 的目标并不是追求性能极限，而是通过高度简化的架构，把复杂的大模型系统压缩成一个清晰可理解的最小实现。也正因为结构轻量、实验成本低，nanochat 逐渐成为许多研究者和工程师进行 LLM 教学、算法实验和自动化研究（AI-for-AI） 的理想起点。
nanochat 现在可以在单个 8XH100 节点上仅用 2 小时训练 GPT-2 能力模型（比一个月前减少了约 3 小时）。
