0 提纲
- 小样本学习问题
- 数据增强
- 基于模型的小样本学习
- 基于算法的小样本学习
- 相关资源
1 小样本学习问题
在小样本监督分类中，通常将问题表述为 N-way-K-shot分类，
- 当K = 1，称为one-shot learning；
- 当K = 0时，成为zero-shot learning（ZSL）。ZSL就要求学习的问题具备充足的先验知识，例如wordNet，word embedding等；
- K比较小，FSL(few shot learning)。
1.1 与其它学习的关系：
- 弱监督学习：不完全监督、不确切监督、不精确监督；
- 非平衡学习；
- 迁移学习：如果把目标领域的学习看作是小样本学习，把源领域的知识看成是先验知识，那么迁移学习就是小样本学习；
- 元学习。
1.2 各个领域的小样本学习：
- 图像方面的小样本分类已经有较多性能优异的算法模型；
- 文本方面的小样本分类仍不尽人意；
- 网络安全方面的小样本也很难于解决。
1.3 PAC(probably approximate correct)计算学习理论
从假设空间H学习一个好的h，好的假设h，满足两个条件：
(1) 近似正确：存在一个很小的数 0 < ϵ < 1 0<\epsilon<1 0<ϵ<1, 使得泛化误差 E ( h ) ≤ ϵ E(h) \leq \epsilon E(h)≤ϵ；
(2) 可能正确：给定一个值 0 < δ < 1 0<\delta<1 0<δ<1， h h h满足 P ( h 近似正确 ) ≥ 1 − δ P(h近似正确) ≥ 1−\delta P(h近似正确)≥1−δ。即 P ( E ( h ) ≤ ϵ ) ≥ 1 − δ P(E(h) ≤ \epsilon) ≥ 1−\delta P(E(h)≤ϵ)≥1−δ, 0 < ϵ < 1 0<\epsilon<1 0<ϵ<1, 0 < δ < 1 0<\delta<1 0<δ<1。这两个常量可以理解为， ϵ ϵ ϵ是最大错误率， δ δ δ是置信度。
样本数量和泛化误差 ϵ , δ \epsilon,\delta ϵ,δ之间的关系：
m ≥ M = ln 2 ∣ H ∣ δ 2 ϵ 2 m \geq M = \frac{\ln\frac{2|H|}{\delta}}{2 \epsilon^2} m