Civilization Museum
The Dark Forest
目录
0%
知识蒸馏
知识提取
Labeling 标注法
Expansion 扩充法
Data Curation 数据构建法
Feature 特征蒸馏(白盒专属)
Feedback 反馈蒸馏
Self-Knowledge 自知识蒸馏(自蒸馏)
算法
监督微调 SFT(序列级蒸馏)
散度(白盒专用)
特征相似度损失
强化学习蒸馏(RL-based KD)
排序优化算法(轻量化偏好方案)
技能蒸馏(Skill Distillation)
上下文跟随能力(Context Following)
指令跟随(Instruction Following)
多轮对话(Multi-turn Dialogue)
RAG 能力(Retrieval-Augmented Generation)
对齐能力(Alignment)
思维模式对齐
偏好对齐
价值对齐
智能体能力(Agent)
工具使用
任务规划
NLP任务专项化
自然语言理解(NLU)
自然语言生成(NLG)
信息检索(IR)
推荐系统
文本生成评估
代码
多模态能力
视觉-语言蒸馏
全模态扩展
垂直行业领域蒸馏
法律领域蒸馏
医疗与健康领域蒸馏
金融领域蒸馏
科学综合领域
通用科学
数学方向
地学、天文、海洋:低资源知识型蒸馏
化学、生物、材料:多模态科学蒸馏
开放性问题
数据质量与数据量
自动化高质量筛选方案
轻量化蒸馏
多教师蒸馏
深层知识挖掘
中间层特征蒸馏
过程性知识蒸馏
反馈信号蒸馏
缓解灾难性遗忘
数据混合回放(最常用)
正则约束法
参数隔离法
自蒸馏回放
0%