小样本学习？小样本学习，即《Matching Networks for One Shot Learning》这篇2016年NIPS发表的DeepMind论文，解决了机器学习领域的一个核心挑战——从少量样本中学习。论文提出了一种基于深度神经特征的度量学习方法和外部记忆增强神经网络的新思路，旨在构建一个能在单个标记样本上学习新概念的模型，那么，小样本学习？一起来了解一下吧。

小样本综述

作 者 | Heet Sankesara

翻 译 | 天字一号（郑州大学）、邺调（江苏 科技 大学）

审 校 | 唐里、Pita

如果将AI比作电力的话，那么数据就是创造电力的煤。

不幸的是，正如我们看到可用煤是消耗品一样，许多 AI 应用程序可供访问的数据很少或根本就没有数据。

新技术已经弥补了物质资源的不足；同样需要新的技术来允许在数据很少时，保证程序的正常运行。这是正在成为一个非常受欢迎的领域，核心问题：N-shot Learning

1. N-Shot Learning

你可能会问，什么是shot？好问题，shot只用一个样本来训练，在N-shot学习中，我们有N个训练的样本。术语“小样本学习”中的“小”通常在0-5之间，也就是说，训练一个没有样本的模型被称为 zero-shot ，一个样本就是 one-shot 学习，以此类推。

1-1 为什么需要N-Shot？

我们在 ImageNet 中的分类错误率已经小于 4% 了，为什么我们需要这个？

首先，ImageNet 的数据集包含了许多用于机器学习的示例，但在医学影像、药物发现和许多其他 AI 可能至关重要的领域中并不总是如此。

小样本学习里什么是支撑集、查询集？

小样本学习，即《Matching Networks for One Shot Learning》这篇2016年NIPS发表的DeepMind论文，解决了机器学习领域的一个核心挑战——从少量样本中学习。论文提出了一种基于深度神经特征的度量学习方法和外部记忆增强神经网络的新思路，旨在构建一个能在单个标记样本上学习新概念的模型，避免了对新类别的微调需求。

论文的亮点在于，通过定义视觉（Omniglot、ImageNet）和语言（如Penn Treebank）的一次学习问题，该模型在ImageNet数据集上将一-shot精度从87.6%提升至93.2%，在Omniglot上的精度从88.0%提升至93.8%。作者通过实验证明了模型在不同领域的通用性和有效性。

论文的核心创新包括：1）将匹配网络应用于小样本分类，融合了最近邻算法和深度学习，解决过拟合问题；2）引入注意力机制和记忆模块，扩展了神经网络的特征映射空间；3）采用独特的训练策略，每个任务包含支持集和测试样本，模拟真实世界中的快速学习过程。

尽管如此，算法的局限性也很明显：支持集过大时计算复杂度会增加，并且测试时需要提供目标类别在内的支持集。总体而言，Matching Networks在小样本学习领域的突破为机器学习提供了新的思考方向，但仍有改进空间以应对更多复杂场景。

N-Shot Learning：用最少的数据训练最多的模型

小样本学习在文心ERNIE3.0多分类任务应用介绍，主要关注提示学习方法与实践。

二分类/多分类任务广泛应用于商品、网页、新闻和医疗文本分类等现实场景。主流解决方案是在大规模预训练语言模型上进行微调，但需要大量标注数据。小样本学习旨在在数据量有限的情况下取得更好效果。

提示学习通过任务转换和添加提示文本，使下游任务与预训练任务更相似，利用预训练模型学习的特征，减少对大量标注数据的依赖。在Ernie模型中，通过类似完形填空的形式转换多分类任务。

以新闻分类为例，展示如何使用小样本学习进行文本分类。环境要求包括Python3.6及以上、paddlepaddle 2.3及以上、paddlenlp 2.4.0（预计9月发布）。获取最新版本的步骤包括使用git直接安装paddlenlp的源码。

数据集格式包括训练/验证/测试数据集和待预测数据文件。标签集文件存储所有标签，用于分类器初始化，标签名与映射词构成通顺语句以优化学习效果。

模型训练与预测步骤包括使用--do_predict参数进行预测，配置参数如数据路径、输出目录、是否预测、最大序列长度等。训练结束后，模型可导出为静态图参数以部署推理。

部署过程涉及模型转换与ONNXRuntime预测，使用Paddle2ONNX将静态图模型转化为ONNX格式，根据部署设备选择所需的依赖和配置参数。

小样本数据集：miniImageNet数据集

小样本学习测试集采样方法：

1、留出法：将整个数据集分为训练集和测试集两部分。一般情况下，可以将数据按照一定比例（如70%训练集和30%测试集）划分。

2、自助采样法：从原始数据集中有放回地随机采样n个样本作为训练集，剩下的样本作为测试集。

什么是Few-shot Learning

针对“小样本”这一概念，不同文章的定义有所差异。齐国君的综述中将其泛化为在标记数据稀缺甚至无标记数据的情况下进行的研究。ACM的一篇综述则直接将小样本与few-shot划等号。本文主要遵循齐国君的划分，旨在定位Few-Shot在深度学习领域的角色。

一、引言

深度学习依赖大量标记数据实现高效训练，但在实际应用中，收集大量标注数据往往面临诸多困难。因此，产生了一系列不依赖或少依赖标注数据的技术，主要分为两大类：无监督与半监督方法。

1.1 无监督方法

无监督方法试图通过学习数据的泛化表示来完成各类深度学习任务。然而，此类方法目前仅限于处理较为简单的任务，并且在环境适应性和应用范围上受到限制。

1.2 半监督方法

半监督方法结合了有标记与无标记数据进行模型训练，旨在利用无标注数据揭示数据在特征空间的分布规律，从而训练出更为强大的模型。Few-Shot Learning即是半监督方法的热门方向之一。

二、Few-shot Learning

Few-shot Learning旨在解决在有限样本条件下，模型如何快速学习并分类新类别的问题。它基于Meta Learning思想，通过在训练阶段构建不同任务，使模型学习如何从少量样本中提取关键特征和比较样本相似性。

以上就是小样本学习的全部内容，模型训练与预测步骤包括使用--do_predict参数进行预测，配置参数如数据路径、输出目录、是否预测、最大序列长度等。训练结束后，模型可导出为静态图参数以部署推理。部署过程涉及模型转换与ONNXRuntime预测，使用Paddle2ONNX将静态图模型转化为ONNX格式，根据部署设备选择所需的依赖和配置参数。总结，内容来源于互联网，信息真伪需自行辨别。如有侵权请联系删除。