一篇论文让我停下来看了半小时 S0 Tuning


核心idea:不改模型权重,只调一个初始状态矩阵,就能大幅提升模型coding能力。
在Qwen3.5-4B上,只用48个HumanEval训练样本(不是48K,是48个),S0 tuning把pass@1提升了23.6个百分点。
对比LoRA,S0高了10.8个百分点。p值<0.001,统计显著。
在FalconH1-7B上,S0达到71.8%。
这意味调完之后模型速度不变,大小不变,只是"起跑位置"更好了。
对做本地模型部署的人来说,这打开了一扇门:拿一个通用模型,用几十个领域样本把它调成专用模型,不付任何性能代价。
论文在arxiv: 2604.01168。做模型适配的人应该读一下
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言
  • 熱門 Gate Fun

    查看更多
  • 市值:$2224.13持有人數:1
    0.00%
  • 市值:$2234.48持有人數:1
    0.00%
  • 市值:$2231.03持有人數:0
    0.00%
  • 市值:$2246.35持有人數:2
    0.24%
  • 市值:$2238.35持有人數:2
    0.00%