type
status
date
slug
summary
tags
category
icon
password
它是一种训练策略，模仿人类的学习过程，主张让模型先从容易的样本开始学习，并逐渐进阶到复杂的样本和知识。
一、训练分布和目标（测试）分布有一个共同的大密度高置信度标注区域，这对应于CL中比较容易的样本。
“大密度高置信度标注区域”从直观上可以这样理解：
- 大密度（High Density）
- 在样本的特征空间（或输入空间）里，数据点特别“集中”的那一块区域；
- 也就是在这片区域内，你能看到大量的训练样本堆在一起，形成了一个“峰”或“簇”——这对应着数据分布的“核心”部分。
- 高置信度标注（High Confidence Labeling）
- 这些集中在一起的样本，一般都是在人工标注或模型推断时比较“确定”的样本；
- 例如，大多数人（或绝大多数基准模型）对它们的标签判断都非常一致、几乎不会出错。
- 区域含义
- 这一区域内的数据质量高、噪声少，因此把它们看作“易学样本”最合适；
- 在课程学习（CL）里，正是先让模型多学习这些“密集且可靠”样本，夯实基础，再逐步引入那些分布稀疏、置信度低（更可能有标注错误或噪声）的尾部样本。
二、课程学习的核心问题是得到一个ranking function，该函数能够对每条数据/每个任务给出其learning priority (学习优先程度)。这个则由难度测量器（Difficulty Measurer）实现。
三、我们什么时候把 Hard data 输入训练 以及 每次放多少呢？ 这个则由训练调度器 （Training Scheduler）决定。
四、目前大多数CL都是基于"难度测量器+训练调度器 "的框架设计。根据这两个是否自动设计可以将CL分成两个大类即 Predefined CL 和 Automatic CL。
- Predifined CL 的难度测量器和训练调度器都是利用人类先验先验知识由人类专家去设计；而Automatic CL 的至少其中一个是以数据驱动的方式自动设计。
- Self-paced Learning
Self-paced Learning 让学生自己充当老师，根据其对实例的损失来衡量训练实例的难度。这种策略类似于学生自学：根据自己的现状决定自己的学习进度。
- Transfer Teacher
Transfer Teacher 则通过1个强势的教师模型来充当教师，根据教师对实例的表现来衡量训练实例的难度。教师模型经过预训练，并将其知识转移到测量学生模型训练的例子难度上。
- RL Teacher
RL Teacher 采用强化学习（RL）模式，教师根据学生的反馈，实现数据动态选择。这种策略是人类教育中最理想的场景，教师和学生通过良性互动共同提高：学生根据教师选择的量身定做的学习材料取得最大的进步，而教师也有效地调整自己的教学策略，更好地进行教学。
- 其他自动 CL
除上述方法外，其他自动CL方法包括各种自动CL策略。如采取不同的优化技术来自动寻找模型训练的最佳课程，包括贝叶斯优化、元学习、hypernetworks等。
- 作者:spark
- 链接:http://sparkleaf.cn/article/CL
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
