深度持续学习中的可塑性丧失:挑战、机制与解决方案
深度学习在持续学习场景下有一个鲜为人知的致命缺陷:随着训练推进,网络会逐渐丧失学习新知识的能力——即”可塑性丧失”(Loss of Plasticity)。《自然》杂志发表的这项研究(Dohare et al., 2024)系统性地揭示了这一现象,并提出了”持续反向传播”算法作为解决方案。
深度学习在持续学习场景下有一个鲜为人知的致命缺陷:随着训练推进,网络会逐渐丧失学习新知识的能力——即”可塑性丧失”(Loss of Plasticity)。《自然》杂志发表的这项研究(Dohare et al., 2024)系统性地揭示了这一现象,并提出了”持续反向传播”算法作为解决方案。
大型语言模型(LLMs)已在众多任务中展现出惊人的通用能力。然而,如何让这些强大的模型高效地适应特定领域或动态变化的需求,仍是一个关键挑战。传统的完全微调方法成本高昂、耗时,且容易导致”灾难性遗忘”;而参数高效微调(PEFT)方法(如 LoRA)虽然降低了成本,却往往牺牲了模型的灵活性和技能的可组合性。
想象一下,一个 LLM 能够像经验丰富的专家一样,迅速分析任务需求,并实时调整自身”状态”以最优地解决问题,而不是用一套固定的模式应对所有情况。这正是自适应 LLM 的愿景。Sakana AI 提出的 Transformer² 框架朝着这一方向迈出了重要一步。
AI 正在从工具演变为某种更具实体感的存在。它的预训练知识与有限的对话记忆之间有何关联?它能否摆脱人类反馈的束缚自主进化?如何构建能持续学习和记忆的 AI?
带着这些问题,与 Google Gemini 2.5 Pro Preview 进行了一番深入探讨。
我越来越感觉到,人工智能(AI)正在从一个复杂的工具转变为某种更具实体感的存在,一个正在“到来”而非仅仅执行命令的实体。
AI庞大的预训练知识与其有限的对话记忆之间有何关联?它能否真正“以自己的方式”学习,超越人类反馈的限制?以及,要构建出不仅能获取信息,更能持续学习、记忆和进化的 AI,我们需要什么?
我将这些想法与 AI 进行了一番讨论, 以下是与 Gemini 2.5 Pro Preview 03-25 的对话
带着寻求精神解脱的期望翻开《瓦尔登湖》,阅读之后却发现它与预期存在不小的落差。这是一部充满理想主义色彩的宣言,引发思考,却未必能为深陷”内卷”的现代人提供现实的出路。
分析el-upload
分析el-select
试玩一下JS爬虫
从碧蓝WIKI抓取角色图片
用到superagent, cheerio, request等库
整理一下this用法, 基本是抄了一遍MDN..
普通函数: 执行上下文, 严格模式下默认不指向全局对象
箭头函数: 词法上下文
clientHeight 和 clientWidth 用于描述元素内尺寸,是指 元素内容+内边距 大小,不包括边框(IE下实际包括)、外边距、滚动条部分offsetHeight 和 offsetWidth 用于描述元素外尺寸,是指 元素内容+内边距+边框,不包括外边距和滚动条部分clientTop 和 clientLeft 返回内边距的边缘和边框的外边缘之间的水平和垂直距离,也就是左,上边框宽度offsetTop 和 offsetLeft 表示该元素的左上角(边框外边缘)与已定位的父容器(offsetParent对象)左上角的距离offsetParent 对象是指元素最近的定位(relative,absolute)祖先元素,递归上溯,如果没有祖先元素是定位的话,会返回null<html>原点到事件触发点的CSS的 pixelssource/images 文件夹若图片少, 放在 source/images 文件夹中。然后通过类似于  的方法访问它们。
通过常规的 markdown 语法和相对路径来引用图片和其它资源可能会导致它们在存档页或者主页上显示不正确。
打开资源文件管理功能
1 | # 站点_config.yml中 |
Hexo将会在你每一次通过 hexo new [layout] <title> 命令创建新文章时自动创建一个与title同名的文件夹。
引用图片时, 使用下列的标签插件而不是 markdown 语法
1 | {% asset_path slug %} |
参考 官方文档
使用MWeb, 一次编辑, 多平台发布
详见文章:
一个码字工作者的正确书写发文姿势
{% post_link 文章标题 链接名称 %}
项目根目录添加vue.config.js, 编辑baseUrl