基于聚类kaiyun官方网站

基于聚类的无监督深度学习仅仅通过选定神经集中来学习聚类友好的暗示来推广传统的聚类手脚。咱们不错将它们视为一个包含两种而不是一种亏空的神经集中：集中损成仇聚类亏空。利害引入超参数来衡量亏空：

集中损成仇聚类亏空的遴荐导致了多种手脚。从聚类亏空的角度来看，商讨东说念主员使用了 k 均值、聚类分派强化、凝合聚类、局部性保留亏空、组寥落亏空以及 k 均值等。

从集中亏空的角度来看，大无数使用自动编码器重建亏空。其他东说念主则使用变分自动编码器（VAE）和生成抵挡集中（GAN）亏空。另一方面，一些东说念主忽略了集中损耗，并使用集群分派来微调集中。对基于聚类的手脚的全面造访不错在 [5, 6] 中找到。

自我监督

在与基于聚类的手脚并行的社区中，自监督深度学习手脚也获得了关爱和发展。自监督手脚不是为深度模子引入新的亏空，而是为要检修的模子生成伪标签。这个思法是建议一个不需要东说念主工凝视（即着色）况兼其检修数据不错自动生成的任务 - 供集中料理。通过把柄所建议的任务目的函数检修集中，它不错学习与本色下流任务相干的特征。

到撰写本文为止，照旧建议了几个借口任务。最近，[7]的作家编写了一份对于自监督学习的抽象造访。提议的任务界限互异很大，从仅依赖于 3 通说念图像的任务运转，到依赖视频、东说念主工生成的数据（使用游戏引擎）、东说念主工生成的标签（使用硬编码要领）等的任务甩掉。 -3通说念图像（即具有深度的图像）。

作用于 3 通说念图像的任务示例包括：

展望图像块之间的相对位置。为灰度图像着色建立被荫庇的图像块抗增广不变性跨通说念展望（从灰度展望面孔通说念，反之也是）料理拼图游戏计数物体展望图像旋转

建议的自我监督借口任务的示例。从左上角顺时针标的：展望相对位置、建立、展望跨通说念、料理拼图游戏。

生成模子

生成模子是第一个在无监督深度学习限制建议的。模子不是通过鉴别来学习，而是被检修来重现图像，并把柄生成图像的质料进行处分。

早期的手脚包括深度置信集中 (DBN) 和受限玻尔兹曼机 RBM。与自动编码器、变分自动编码器和生成抵挡集中 (GAN) 等其他生成模子比拟，DBN 照旧失宠况兼很少使用。

尽管这些手脚背后的动机是对数据进行建模并无意生成数据，但在检修生成模子本事学到的暗示不错用于下流任务。请闪耀，生成模子利害用于基于聚类的无监督深度学习中的集中亏空。

基于样本特异性的手脚

基于样本特异性的手脚照旧将聚类发展到了极致，它们将每个实例视为一个类，集中应该学会分辩它。对于这种手脚的出书物数目很少。

领先建议了 Exemplar-CNN，其中他们从图像中索要补丁kaiyun官方网站，然后通过增强每个补丁来创建一个代理类。该模子经由检修不错分辩这些代理类别。建议将图像实例映射到飞快向量的固定散播。通过为每个实例提供标签来径直涟漪监督学习手脚，可是他们使用非参数 Softmax 替代决议并使用噪声对比臆想（NCE）对其进行访佛。