Transformer² - 实时自适应大模型的新范式
大型语言模型(LLMs)已在众多任务中展现出惊人的通用能力。然而,如何让这些强大的模型高效地适应特定领域或动态变化的需求,仍是一个关键挑战。传统的完全微调方法成本高昂、耗时,且容易导致”灾难性遗忘”;而参数高效微调(PEFT)方法(如 LoRA)虽然降低了成本,却往往牺牲了模型的灵活性和技能的可组合性。
想象一下,一个 LLM 能够像经验丰富的专家一样,迅速分析任务需求,并实时调整自身”状态”以最优地解决问题,而不是用一套固定的模式应对所有情况。这正是自适应 LLM 的愿景。Sakana AI 提出的 Transformer² 框架朝着这一方向迈出了重要一步。