Hi,are you ready?

准备好开始了?
那就与我们取得联系吧

有一个品牌项目想和我们谈谈吗?您可以填写右边的表格,让我们了解您的项目需求,这是一个良好的开始,我们将会尽快与你取得联系。当然也欢迎您给我们写信或是打电话,让我们听到你的声?

?址:

?话:

E-mail:

ImageNet识别率一次提高1%:谷歌AI新突破引Jeff

作者:admin 时间:2020-01-01

论文地址:https://arxiv.org/abs/1911.04252

谷歌大脑负责人 Jeff Dean 和该论文的作者之一 Quoc Le 今日都在 Twitter 上介绍了这项研究工作,新办法能运用更多的未标示图画数据,并提高终究作用。

在本文中,研究者首要在标示的 ImageNet 图画上练习了一个 EfficientNet 模型,然后用这个模型作为教师在 3 亿无标签图画上生成伪标签。然后研究者练习了一个更大的 EfficientNet 作为学生模型,运用的数据则是正确标示图画和伪标示图画的混合数据。

这一进程不断迭代,每个新的学生模型作为下一轮的教师模型,在生成伪标签的进程中,教师模型不会被噪声搅扰,所以生成的伪标示会尽或许传神。可是在学生模型练习的进程中,研究者对数据加入了噪声,运用了比如数据增强、dropout、随机深度等办法,使得学生模型在从伪标签练习的进程中愈加困难。

这一自练习模型,能够在 ImageNet 上到达 87.4% 的 top-1 精确度,这一成果比当时的 SOTA 模型体现进步了一个点。除此之外,该模型在 ImageNet 鲁棒性测验集上有更好的作用,它比较之前的 SOTA 模型能应对更多特殊情况。

ImageNet 现已是大数据集了,许多标示图画现已满足咱们学习一个不错的模型。可是它还需求更多的未标示图画,即便有一些图画底子不在要辨认的类别之内也不要紧。当模型见过广阔的未标示数据,它才干做更好的 ImageNet 分类。

在本文中,研究者运用未标示图画来提高当时最优 ImageNet 的精确度,并标明精确度增益对鲁棒性具有十分大的影响。基于此,研究者运用了包含未标示图画的更大语料库,其间一些图画并不归于 ImageNet 的任何类别。

研究者在练习模型的进程中运用了自练习结构,分为以下三步:

1)在标示图画上练习一个教师模型;

2)运用该教师模型在未标示图画上生成伪标签;

3)在标示和伪标示混合图画上练习一个学生模型。最终,经过将学生模型作为教师模型,研究者对算法进行了几回迭代,以生成新的伪标签和练习新的学生模型。

研究者表明,试验阐明,一项重要的办法是,学生模型在练习中应当被噪声搅扰,而教师模型在生成伪标签的时分不需求。这样,伪标签能够尽或许传神,而学生模型则在练习中愈加困难。

为了搅扰学生模型,研究者运用了 dropout、数据增强和随机深度几种办法。为了在 ImageNet 上完成稳健的成果,学生模型也需求变得很大,特别是要比一般的视觉模型大许多,这样它才干处理许多的无标示数据。

运用自练习的带噪声学生模型,加上 3 亿的无标示图画,研究者将 EfficientNet 的 ImageNet top-1 精确度提高到了新 SOTA。

表 1:和之前的 SOTA 模型指标的比照成果。

下图算法 1 给出了运用 Noisy Student 办法打开自练习的总览图,算法的输入包含标示和未标示图画。

算法 1: Noisy Student 办法。

研究者首要运用规范穿插熵丢失和标示图画来练习教师模型。然后,他们运用该教师模型在未标示图画上生成伪标签。这些伪标签既可所以柔性的,也可所以硬性的。接着,研究者练习学生模型,该模型最小化标示和未标示图画上的联合穿插熵丢失。最终,经过将学生和教师模型的方位交换,他们对练习进程进行了几回迭代,以生成新的伪标签和练习新的学生模型。

该算法基本上是自练习的,这是一种半监督的办法。在本文中,研究者首要的改动是给学生模型增加了更多的噪声源,这样能够在移除教师模型中的噪声后,让它生成的伪标签具有更好的作用。当学生模型被故意搅扰后,它实际上会被练习成一个安稳的教师模型。当这个模型在生成伪标签的时分,研究者不会去用噪声搅扰它。

此外,教师模型与学生模型的架构能够相同也能够不同,但假如要带噪声的学生模型更好地学习,那么学生模型需求满足大以拟合更多的数据。

在这一部分中,研究者描绘了试验的各种细节与完成的成果。他们展现了新办法在 ImageNet 上的作用,并比照了此前作用最佳的模型。此外,研究者还要点展现了新办法在鲁棒性数据集上的杰出体现,即在 ImageNet-A、C 和 P 测验集,以及在对立样本上的鲁棒性。

如下表 2 所示,以 EfficientNet-L2 为首要架构的 Noisy Student 完成了 87.4% 的 Top-1准确率,它显着逾越了之前选用 EfficientNet 的准确率。其间 2.4% 的功能增益首要有两个来历:更大的模型和 Noisy Student。也就是说,Noisy Student 对准确率的奉献要大于架构的加深。

表 2: Noisy Student 与之前 SOTA 模型在 ImageNet 上的 Top-1 与 Top-5准确率,带有 Noisy Student 的 EfficientNet 能在准确率与模型巨细上获得更好的权衡。

如下图 1 所示,Noisy Student 关于不同的模型巨细都能带来 0.8% 左右的功能提高。

图 1: Noisy Student 使得 EfficientNet 一切巨细的模型都呈现了显着的功能提高。研究者对教师和学生模型运用了相同的架构,而且没有履行迭代练习。

研究者将完成了 87.4% top-1 精确度的模型放到三个测验会集进行评价。这三个测验集分别是 ImageNet-A、 ImageNet-C 和 ImageNet-P。这些测验集包含了许多图画中常见的损坏和搅扰,如含糊、雾化、旋转和拉伸。ImageNet-A 测验聚会让之前的 SOTA 模型精确度显着下降。

这些测验集被认为是「鲁棒性」的基准测验,由于它们要么十分难,如 ImageNet-A,要么和练习集十分不同,如 ImageNet-C 和 P。

表 3:ImageNet-A 的鲁棒性成果。

表 4: ImageNet-C 的鲁棒性成果。 mCE 是不同腐蚀情况下的均匀过错率,以 AlexNet 过错率为基准。

表 5: 在 ImageNet-P 上的鲁棒性成果,其间图片是经过一系列搅扰生成的 mFR 运用 AlexNet 为基准,丈量模型在扰动下翻转猜测的概率。

为了直观了解三个鲁棒性基准的大幅度提高,下图中展现了一些图片,其间基准模型辨认过错,而 Noisy Student 模型的猜测则正确。

图 2:从模型稳健性基准ImageNet-A、C 和 P 中选择的图片。

返回列表

RELATED CASE

相关案例

文化传播

ImageNet识别率一次提高1%:谷歌AI新突破引

论文地址:https://arxiv.org/abs/1911.04252 谷歌...

Are you interested in ?

感兴趣吗?

有关我们服务的更多信息,请联系

与我们合作

与我们合作,您将会得到更成熟的品牌建设服务。我们以客户至上,同时也相互挑战,力求呈现最好的品牌建设成果。

品牌咨询热线:

TOP