一篇论文让我停下来看了半小时 S0 Tuning
核心idea:不改模型权重,只调一个初始状态矩阵,就能大幅提升模型coding能力。
在Qwen3.5-4B上,只用48个HumanEval训练样本(不是48K,是48个),S0 tuning把pass@1提升了23.6个百分点。
对比LoRA,S0高了10.8个百分点。p值<0.001,统计显著。
核心idea:不改模型权重,只调一个初始状态矩阵,就能大幅提升模型coding能力。
在Qwen3.5-4B上,只用48个HumanEval训练样本(不是48K,是48个),S0 tuning把pass@1提升了23.6个百分点。
对比LoRA,S0高了10.8个百分点。p值<0.001,统计显著。