ePN🌐IPLC专线推荐选购指南:
https://iplc.best/

🤝 联系频道主:
@IPLC_BEST_CHATBOT
MIT CSAIL博士利用 GPT-6 Astra 修改 Qwen3.5-0.8B 的权重,以提升数学能力

MIT CSAIL 是麻省理工学院(MIT)旗下的 计算机科学与人工智能实验室


他表示,只直接改动了 0.016% 的权重,就修复了 0.8B 的推理循环问题,使数学能力最高提升 6 倍,指令遵循能力也提升了 3 倍,而且无需梯度或训练。

修改后,MATH-500成绩从约7.9%提升到48.1%(约6倍),指令跟随(IFEval)也提升约3倍,且这些改进是泛化的。

他将这种方法称之为 Weight-Space Programming(权重空间编程),并表示前沿 LLM 如今已能原生读写神经网络权重。

他还在其他实验介绍道:Astra仅凭权重就能识别游戏策略网络(Breakout、Pong等)、从零写出比PPO训练500M步更强的小游戏网络、以及修复卡在坡道上的小车策略等。

🔗 https://rikiyat.github.io/blog/weight-space-programming/

🗒 标签: #Astra #权重空间编程 #Qwen #MIT
📢 频道: @GodlyNews1
🤖 投稿: @GodlyNewsBot
 
 
Back to Top