MIT CSAIL 是麻省理工学院(MIT)旗下的 计算机科学与人工智能实验室
他表示,只直接改动了 0.016% 的权重,就修复了 0.8B 的推理循环问题,使数学能力最高提升 6 倍,指令遵循能力也提升了 3 倍,而且无需梯度或训练。
修改后,MATH-500成绩从约7.9%提升到48.1%(约6倍),指令跟随(IFEval)也提升约3倍,且这些改进是泛化的。
他将这种方法称之为 Weight-Space Programming(权重空间编程),并表示前沿 LLM 如今已能原生读写神经网络权重。
他还在其他实验介绍道:Astra仅凭权重就能识别游戏策略网络(Breakout、Pong等)、从零写出比PPO训练500M步更强的小游戏网络、以及修复卡在坡道上的小车策略等。
🔗 https://rikiyat.github.io/blog/weight-space-programming/