采用SVD协同训练的半监督实例级目标检测 Semi-supervised instance object detection method based on SVD co-training 1 corresp first-author E-mail： wangr@buaa.edu.cn E-mail： wangr@buaa.edu.cn 王 睿（1965-），女，北京人，博士，副教授，1987年、1990年于清华大学分别获得学士和硕士学位，2006年于北京航空航天大学获得博士学位，研究方向为信号测试与处理、图像处理、机器学习等。E-mail： wangr@buaa.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716272&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716276&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716274&type= 22.01332855 32.00399780 王 睿 （1965-），女，北京人，博士，副教授，1987年、1990年于清华大学分别获得学士和硕士学位，2006年于北京航空航天大学获得博士学位，研究方向为信号测试与处理、图像处理、机器学习等。E-mail： wangr@buaa.edu.cn wangr@buaa.edu.cn 1 1 2 温志庆（1964-），男，博士，正高级工程师，1994年于清华大学获得博士学位，研究方向为智能机器视觉、模式识别、3D成像、光学工程、人工智能等。E-mail： wenzq@jihualab.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716294&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716298&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716296&type= 22.01333237 32.00399780 温志庆 （1964-），男，博士，正高级工程师，1994年于清华大学获得博士学位，研究方向为智能机器视觉、模式识别、3D成像、光学工程、人工智能等。E-mail： wenzq@jihualab.com wenzq@jihualab.com 北京航空航天大学 仪器科学与光电工程学院 精密光机电一体化教育部重点实验室，北京 100191 北京航空航天大学 仪器科学与光电工程学院 精密光机电一体化教育部重点实验室，北京 100191 Laboratory of Precision Opto-mechatronics Technology， Ministry of Education， Institute of Instrumentation Science and Opto-electronics Engineering， Beihang University， Beijing 100191， China Laboratory of Precision Opto-mechatronics Technology， Ministry of Education， Institute of Instrumentation Science and Opto-electronics Engineering， Beihang University， Beijing 100191， China 季华实验室 智能机器人工程研究中心，广东 佛山 528200 季华实验室 智能机器人工程研究中心，广东 佛山 528200 Engineering Research Center for Intelligent Robotics， Ji Hua Laboratory， Foshan 528200， China Engineering Research Center for Intelligent Robotics， Ji Hua Laboratory， Foshan 528200， China 在室内实例物体目标检测中，传统深度学习需要大量人工标注的训练样本进行网络训练，费时费力，为此提出并实现了一种采用奇异值分解（Singular Value Decomposition，SVD）和协同训练的半监督实例级目标检测网络SVD-RCNN。挑选关键样本进行人工标注并预训练SVD-RCNN，以确保其获取更多先验知识，采用基于SVD的收敛-分解-微调策略，在SVD-RCNN中得到两个较强独立性的检测器以满足协同训练的要求，最后提出一种自适应的自标注策略，获得高质量的自标注及检测结果。在多个室内实例数据集上对该方法进行测试，在GMU数据集上只需人工标注199个样本，均值平均精度（mean Average Precision，mAP）达到了79.3%，相较于需标注3 851个样本的全监督Faster RCNN的81.3% mAP仅下降了2%。消融实验及系列实验证明了本文方法的有效性和普适性，本文提出的方法仅需人工标注5%的训练数据，即可达到与全监督学习相当的实例级目标检测精度，有利于智能机器人高效识别不同实例物体的实际应用。 Detecting indoor instance objects is useful for various applications. Traditional deep-learning methods require a large number of labeled samples for network training， making them time-consuming and labor-intensive. To address this problem， SVD-RCNN—a semi-supervised instance object detection network based on singular value decomposition （SVD） and co-training—is proposed. First， key samples are selected for manual labeling to pre-train SVD-RCNN， to ensure that it acquires more prior knowledge. Second， a convergence， decomposition， and finetuning strategy based on SVD is used to obtain two detectors with strong independence in SVD-RCNN to satisfy the requirements of co-training. Finally， an adaptive self-labeling strategy is used to obtain high-quality self-labeling and detection results. The method was tested on multiple indoor instance datasets. On the GMU dataset， it achieved a mean average precision of 79.3% with 199 manually labeled samples. This was only 2% lower than that （81.3%） of Faster RCNN with fully supervised learning， which required labeling 3 851 samples. Ablation studies and a series of experiments confirmed the effectiveness and universality of the method. The results indicated that the method only needs to manually label 5% of the training data to achieve instance-level detection accuracy comparable to that of fully supervised learning； thus， it is suitable for applications in which intelligent robots must efficiently identify different instance objects. 计算机视觉 目标检测 半监督学习 自标注 computer vision object detection semi-supervised learning self-labeling 1 引 言 1 智能机器人技术已逐渐应用于室内场景以完成智能家居、助老助残等任务，这些任务中智能机器人要能够在结构复杂的不同室内场景中识别检测到特定的实例物体，有别于常见的类别级目标检测技术，实例级目标检测 ［ 1 1 ］ 通过提取和分析目标的特征，对特定的实例目标进行分类和定位。 近年来，学者们将卷积神经网络（Convolutional Neural Network， CNN）应用于类别级目标检测 ［ 2 2 ］ ，通常能够获得较为稳定、准确的检测效果。由于任务的相似性，通过迁移学习将相应的CNN改进后可以应用于实例级目标检测，但CNN通常需要10 3 及10 4 以上数量级的带标签训练数据进行有监督训练，而实例级目标检测任务中有时每个实例只有少量带标签的训练样本可用，相较于类别级样本，人工标注实例样本更为繁琐耗时，从而限制了卷积神经网络在实例级物体检测领域的发展与应用。因此，利用易获取的未标注样本训练模型的想法应运而生，其中，通过学习少量有标注样本和大量未标注样本而获得高精度模型的半监督学习方法 ［ 3 3 - 4 4 3-4 ］ 倍受关注。 当前主流的半监督目标检测方法可以分为两类：基于一致性的方法 ［ 5 5 ］ 和基于伪标签的方法 ［ 6 6 - 8 8 6-8 ］ 。基于一致性的方法 ［ 5 5 ］ 采用对未标注样本进行数据增强和一致性约束提高模型的性能，但是相对于全监督来说，检测精度下降较大。为了能够提升半监督目标检测算法的检测精度，Sohn等 ［ 6 6 ］ 提出了基于伪标签的STAC算法，利用教师模型输出的较高精度的伪标签训练学生模型。在此基础上，Liu等 ［ 7 7 ］ 提出了采用Focal loss的Unbiased Teacher算法，Guo等 ［ 8 8 ］ 提出了解决物体尺度差异大的问题SED框架，Li等 ［ 9 9 ］ 则是实现了能够进行带噪伪标签学习的PseCo。但是上述半监督目标检测方法主要是面向类别级目标检测，面向实例级目标检测的半监督方法目前几乎没有。 借鉴面向类别级目标检测的半监督方法，本文提出了一种基于伪标签的半监督实例级目标检测方法。该方法使用协同训练 ［ 10 10 ］ 的方式训练目标检测网络，包括关键样本选择策略、基于奇异值分解（Singular Value Decomposition，SVD ［ 11 11 ］ ）的收敛-分解-微调训练策略和自适应的自标注策略，确保协同训练的稳健进行，仅需人工标注5%的训练样本即可达到与全监督学习相当的实例级检测精度。 2 原 理 1 协同训练 ［ 10 10 ］ 在半监督学习中的应用范围较为广泛，它通过两个学习器的独立性来互相标记样本扩充训练集，从而利用未标注样本提升学习器的性能。 SVD ［ 11 11 ］ 提出对于任意一个 m×n 维的矩阵 W 可以分解为： <math display="block" id="M1"><mi mathvariant="bold-italic">W</mi><mo>=</mo><mi mathvariant="bold-italic">U</mi><mi mathvariant="bold-italic">S</mi><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>=</mo><mi mathvariant="bold-italic">U</mi><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mtd><mtd><mo>⋯</mo></mtd><mtd><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd><mtd><mo>⋱</mo></mtd><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>⋯</mo></mtd><mtd><msub><mrow><mi>σ</mi></mrow><mrow><mi>m</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716303&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716285&type= 54.44067001 14.05466747 ， 其中： <math id="M2"><mi>S</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>m</mi><mo>×</mo><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716324&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716306&type= 13.80066681 3.38666677 是 m×n 维的对角矩阵，其对角线元素为 W 从大到小排序的非负奇异值 <math id="M3"><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>⋯</mo><mo>,</mo><msub><mrow><mi>σ</mi></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716327&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716311&type= 13.97000027 4.14866638 ； <math id="M4"><mi mathvariant="bold-italic">U</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>m</mi><mo>×</mo><mi>m</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716330&type= 15.07066536 3.38666677 ， <math id="M5"><mi mathvariant="bold-italic">V</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716337&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716334&type= 14.13933277 3.38666677 均为正交矩阵，矩阵中的向量两两正交，相互独立。因此，本文通过SVD来满足协同训练中对学习器独立性的要求。 本文以经典的Faster RCNN ［ 12 12 ］ 作为基础网络，提出了SVD-RCNN检测网络，如 图1 图1 所示。与原网络不同，SVD-RCNN将最后的全连接层替换为参数矩阵为正交矩阵的SVD层，并将其输出的特征向量分为两组，作为特征向量1和特征向量2，分别输入两个检测器中完成协同训练。 SVD协同训练分为预训练阶段和协同训练阶段。首先，通过预训练阶段获得较为可靠的SVD-RCNN，再将它迁移至协同训练阶段继续训练，使其最终获得较高的检测精度。 算法1：SVD协同训练流程如下： 输入：未标注样本 <math id="M6"><mi>U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716370&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716368&type= 3.30200005 2.79399991 预训练： （1）从未标注样本 <math id="M7"><mi>U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716370&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716368&type= 3.30200005 2.79399991 中挑选关键样本进行人工标注作为训练集 <math id="M8"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716386&type= 2.20133328 3.64066648 ， <math id="M9"><mi>U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716370&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716368&type= 3.30200005 2.79399991 中剩余样本作为未标注样本 <math id="M10"><msub><mrow><mi>U</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716372&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716365&type= 4.23333359 3.72533321 ； （2）使用 <math id="M11"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716386&type= 2.20133328 3.64066648 对SVD-RCNN采用基于SVD的收敛-分解-微调策略训练至收敛； 协同训练： （3）将预训练后的SVD-RCNN迁移至协同训练阶段，将 <math id="M12"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716386&type= 2.20133328 3.64066648 中的样本信息赋值给训练集 <math id="M13"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716390&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716389&type= 3.38666677 4.57200003 和 <math id="M14"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716394&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716392&type= 3.38666677 4.57200003 ； （4）repeat； （5）使用SVD-RCNN对 <math id="M15"><msub><mrow><mi>U</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716405&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716395&type= 4.23333359 3.72533321 进行自标注，得到自标注样本 <math id="M16"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716443&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716432&type= 3.64066648 3.72533321 和 <math id="M17"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716434&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716444&type= 3.64066648 3.72533321 并加入对方训练集， <math id="M18"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋃</mo><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716411&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716416&type= 18.96533203 4.57200003 ， <math id="M19"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>⋃</mo><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716429&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716418&type= 18.96533203 4.57200003 ； （6）使用 <math id="M20"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716421&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716419&type= 3.38666677 4.57200003 和 <math id="M21"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716423&type= 3.38666677 4.57200003 对SVD-RCNN采用收敛-分解-微调的策略训练至收敛，更新SVD-RCNN； （7）until 无法从 <math id="M22"><msub><mrow><mi>U</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716425&type= 4.23333359 3.72533321 中得到 <math id="M23"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716443&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716432&type= 3.64066648 3.72533321 和 <math id="M24"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716434&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716444&type= 3.64066648 3.72533321 ； 输出：高检测精度的SVD-RCNN和数据集的标注结果。 根据以上流程，本文提出了关键样本选择策略、收敛-分解-微调的训练策略和自适应的自标注策略以确保协同训练稳健进行。 2.1　关键样本选择 2 为有效实现协同训练，本文首先对SVD-RCNN使用关键样本进行预训练，确保SVD-RCNN能够获取更多先验知识且更具泛化能力，从而为SVD-RCNN的性能提升打下基础，为此提出了关键样本选择策略，该策略能挑选出信息量丰富的代表性样本，其框架如 图2 图2 所示。 本文采用差异性准则和不确定性准则选择对SVD-RCNN最具信息量的关键样本，实现关键样本信息量和信息冗余之间的平衡。如 图2 图2 所示，根据差异性准则，首先使用聚类 ［ 13 13 ］ 将未标注样本分类。对于一张RGB图像，联合使用颜色特征和空间特征：将图像分为4个子块，提取每个子块R，G，B三通道的颜色直方图作为颜色特征，然后拼接四个子块的颜色特征，得到颜色空间特征。以轮廓系数为指标，采用层次聚类将未标注样本分为 K 类，每一类中分别包含D 1 ，…，D K 张图像。根据不确定性准则，本文选用图像的信息熵 ［ 14 14 ］ 来衡量样本的不确定度，其计算公式为： <math display="block" id="M25"><mi>E</mi><mo>=</mo><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mn mathvariant="normal">255</mn></mrow></munderover></mstyle><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716439&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716450&type= 27.09333420 8.55133343 ， 其中： <math id="M26"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716442&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716440&type= 3.04800010 4.57200003 表示图像中灰度值为 i 的像素所占的比例，熵越大说明样本的不确定度越大，所含信息量越高。选择每一类中熵最大的前几张样本图片进行人工标注，如按熵值大小在第1类中选择较大的 d 1 个样本进行人工标注，以此类推， K 类样本共可产生出 d 1 +…+ d k 张样本图片（训练集 <math id="M27"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716457&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716454&type= 2.20133328 3.64066648 ），称为关键样本。 2.2　基于SVD的收敛-分解-微调的训练策略 2 对于 图1 图1 的SVD-RCNN来说，协同训练成功的关键在于检测器1和检测器2之间的独立性，因此本文提出一种收敛-分解-微调的策略。该策略训练得到的SVD-RCNN中包含上千个互不相关的特征向量，分成两组分别输入两个检测器可以获取独立的检测器，协同工作实现半监督学习。 如 图1 图1 所示，SVD-RCNN中最后全连接层的参数矩阵可以看作由其中列向量组成的线性空间，其输出特征是输入特征经过该线性空间的投影，因此只需将最后全连接层的投影方向变成正交投影方向，即可使其输出的特征向量1和2相互正交从而去相关。单轮训练SVD-RCNN的具体操作为： （1）收敛。在预训练阶段使用训练集 <math id="M28"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716457&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716454&type= 2.20133328 3.64066648 或者在协同训练阶段使用训练集 <math id="M29"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716461&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716474&type= 3.38666677 4.57200003 和 <math id="M30"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716478&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716477&type= 3.38666677 4.57200003 训练SVD-RCNN至收敛，使其提取的特征具有一定的表达能力。 （2）分解。将SVD-RCNN中最后全连接层的参数矩阵 W 进行SVD分解（ <math id="M31"><mi mathvariant="bold-italic">W</mi><mo>=</mo><mi mathvariant="bold-italic">U</mi><mi mathvariant="bold-italic">S</mi><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716480&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716464&type= 18.71133423 3.13266683 ［ 11 11 ］ ），使用 US 替换 W 得到SVD层。 （3）微调。将SVD层的参数矩阵固定，继续训练SVD-RCNN至收敛。 如算法1所示，上述单轮操作方法是整个半监督学习的一个环节，需要重复多次，且要不断更新扩充标记样本，直至所有的无标记样本被充分利用时，才可以获取一个高检测精度的SVD-RCNN。 为证明收敛-分解-微调策略能够增强检测器1和2之间的独立性，构建检测器的参数矩阵 <math id="M32"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>m</mi><mo>×</mo><mi>n</mi></mrow></msup><mtable><mtr><mtd><mrow><mo stretchy="false">(</mo><mi>k</mi><mo>∈</mo><mo>{</mo><mn mathvariant="normal">1,2</mn><mo>}</mo><mo stretchy="false">)</mo></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716484&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716482&type= 34.29000092 3.55599999 的格莱姆Gram矩阵 ［ 15 15 ］ ，如下： <math display="block" id="M33"><mi mathvariant="bold-italic">G</mi><mo>=</mo><msup><mrow><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msubsup><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">11</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">21</mn></mrow></msub></mtd><mtd><mo>⋯</mo></mtd><mtd><msubsup><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">11</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">2</mn><mi>n</mi></mrow></msub></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd><mtd><mo>⋱</mo></mtd><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><msubsup><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">1</mn><mi>n</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">21</mn></mrow></msub></mtd><mtd><mo>⋯</mo></mtd><mtd><msubsup><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">1</mn><mi>n</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">2</mn><mi>n</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>g</mi></mrow><mrow><mn mathvariant="normal">11</mn></mrow></msub></mtd><mtd><mo>⋯</mo></mtd><mtd><msub><mrow><mi>g</mi></mrow><mrow><mn mathvariant="normal">1</mn><mi>n</mi></mrow></msub></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd><mtd><mo>⋱</mo></mtd><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>g</mi></mrow><mrow><mi>n</mi><mn mathvariant="normal">1</mn></mrow></msub></mtd><mtd><mo>⋯</mo></mtd><mtd><msub><mrow><mi>g</mi></mrow><mrow><mi>n</mi><mi>n</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716487&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716485&type= 86.52933502 15.66333294 ， 其中： <math id="M34"><msub><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mi>k</mi><mi>i</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>m</mi><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716469&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716467&type= 16.17133331 4.65666676 为 <math id="M35"><msub><mrow><mi>W</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716488&type= 4.82600021 3.72533321 的第 i 列向量， <math id="M36"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716557&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716565&type= 3.30200005 4.57200003 表示 <math id="M37"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716493&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716504&type= 4.99533367 3.72533321 中第 i 列向量和 <math id="M38"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716496&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716495&type= 4.99533367 3.72533321 中第 j 列向量的内积。此时Gram矩阵中的每个元素 <math id="M39"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716508&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716507&type= 3.30200005 4.57200003 实际上就代表着 <math id="M40"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716510&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716509&type= 4.91066647 3.80999994 的 i 通道与 <math id="M41"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716501&type= 4.91066647 3.80999994 的 j 通道的特征向量 <math id="M42"><msub><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">1</mn><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716518&type= 4.65666676 4.14866638 ， <math id="M43"><msub><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">2</mn><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716521&type= 4.65666676 4.14866638 之间的相关程度， <math id="M44"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716557&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716565&type= 3.30200005 4.57200003 越小，表示相关性越低， <math id="M45"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716515&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716514&type= 3.30200005 4.57200003 值为0则表示参与内积的两个向量正交。利用Gram矩阵对训练前后的特征向量（ <math id="M46"><msub><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">1</mn><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716526&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716524&type= 4.65666676 4.14866638 ， <math id="M47"><msub><mrow><mover accent="true"><mi>w</mi><mo>⃗</mo></mover></mrow><mrow><mn mathvariant="normal">2</mn><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716530&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716528&type= 4.65666676 4.14866638 ）进行相关性评估，以验证SVD-RCNN的有效性，如果 <math id="M48"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716534&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716532&type= 4.91066647 3.80999994 和 <math id="M49"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716552&type= 4.91066647 3.80999994 之间任意两向量正交，则说明 <math id="M50"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716540&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716548&type= 4.91066647 3.80999994 和 <math id="M51"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716552&type= 4.91066647 3.80999994 完全相互独立。 图3 图3 将Gram矩阵中 <math id="M52"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716557&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716565&type= 3.30200005 4.57200003 用灰度值进行了可视化表示， <math id="M53"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716555&type= 3.30200005 4.57200003 越小，其灰度值越大。图 3 3 （a）~ 3 3 （c）反映了使用收敛-分解-微调策略进行不同迭代次数时Gram矩阵中各 <math id="M54"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716557&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716565&type= 3.30200005 4.57200003 值的分布情况， 图3 图3 （d）为仿真生成的两个完全独立矩阵的Gram矩阵，即当 <math id="M55"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716558&type= 4.91066647 3.80999994 和 <math id="M56"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716571&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716569&type= 4.91066647 3.80999994 之间任意两向量正交时，Gram矩阵表示为全白。 图3 图3 表明：随着协同训练迭代的递增，两个检测器之间的独立性逐渐增强，且能很好地逼近完全独立的状态。 2.3　自适应的自标注策略 2 样本在协同更新时，如何判断检测器的自主标注是否可信非常重要，对于目标检测任务来说，高置信度的样本应该包含高准确率和高召回率两个指标。因此，本文提出了一种自适应的自标注策略，综合准确率与召回率对自标注结果进行打分，依据分数进行样本的筛选与更新，以确保将高置信度的自标注样本添加到训练集 <math id="M57"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716562&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716578&type= 3.38666677 4.57200003 和 <math id="M58"><msub><mrow><mi>ϕ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716582&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716580&type= 3.38666677 4.57200003 中，提升后续训练中SVD-RCNN的精度。对于一张待检测的图像x，其得分规则如下： <math display="block" id="M59"><mtable><mtr><mtd><mi>s</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mi mathvariant="bold-italic">I</mi><mo stretchy="false">(</mo><mi>a</mi><mi>c</mi><mi>c</mi><mi>u</mi><mi>r</mi><mi>a</mi><mi>c</mi><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>></mo><msub><mrow><mi>δ</mi></mrow><mrow><mi>a</mi><mi>c</mi><mi>c</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mtd></mtr><mtr><mtd><mo stretchy="false">[</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">(</mo><mi>a</mi><mi>c</mi><mi>c</mi><mi>u</mi><mi>r</mi><mi>a</mi><mi>c</mi><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mo stretchy="false">)</mo><mo>></mo><msub><mrow><mi>δ</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">)</mo><mo>⋅</mo><mi>I</mi><mo stretchy="false">(</mo><mi>I</mi><mi>o</mi><mi>U</mi><mo stretchy="false">(</mo><mi>w</mi><mi>i</mi><mo stretchy="false">)</mo><mo>></mo><msub><mrow><mi>δ</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716586&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716584&type= 74.25267029 15.23999977 其中： <math id="M60"><mi mathvariant="bold-italic">I</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716593&type= 5.07999992 3.55599999 为指示函数，在 <math id="M61"><mo>⋅</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716596&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716589&type= 0.84666669 2.79399991 为真和假时分别取值为1，0， <math id="M62"><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716627&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716625&type= 3.72533321 3.72533321 是检测器1和检测器2都检测出的目标， <math id="M63"><mi>I</mi><mi>o</mi><mi>U</mi><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716612&type= 13.71599960 4.48733330 是目标 <math id="M64"><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716627&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716625&type= 3.72533321 3.72533321 在两个检测器中所属预测框的交并比，根据文献［ 16 16 ］， <math id="M65"><msub><mrow><mi>δ</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716603&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716616&type= 5.33400011 3.72533321 设置为0.5。 <math id="M66"><mi>a</mi><mi>c</mi><mi>c</mi><mi>u</mi><mi>r</mi><mi>a</mi><mi>c</mi><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716619&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716618&type= 14.39333248 4.57200003 和 <math id="M67"><mi>a</mi><mi>c</mi><mi>c</mi><mi>u</mi><mi>r</mi><mi>a</mi><mi>c</mi><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716621&type= 14.39333248 4.57200003 分别是两个检测器对目标 <math id="M68"><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716627&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716625&type= 3.72533321 3.72533321 所属预测框的置信度，本文在GMU数据库上研究了 <math id="M69"><msub><mrow><mi>δ</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716606&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716605&type= 4.65666676 3.72533321 对训练SVD-RCNN的影响。实验结果表明，将 <math id="M70"><msub><mrow><mi>δ</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716606&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716605&type= 4.65666676 3.72533321 设置为0.8，能够较好地平衡自标注结果中的准确率和召回率，使得SVD-RCNN的性能最好。 式（4） 式（4） 中，accuracy和IoU考虑了预测框的准确率，计算满足要求的预测框的个数则是衡量预测框的召回率，因此在该规则下得到的高得分自标注结果可以被认为是既精确又全面的。 其次，设置阈值 <math id="M73"><msub><mrow><mi>τ</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716669&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716667&type= 2.62466669 3.72533321 以筛选样本并更新训练集，为平衡自标注样本的质量与数量，使用一种自适应的方式设置阈值 <math id="M74"><msub><mrow><mi>τ</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716669&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716667&type= 2.62466669 3.72533321 ，即： <math display="block" id="M75"><msub><mrow><mi>τ</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi>β</mi></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></munderover></mstyle><mrow><mi>s</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716643&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716641&type= 31.83466530 8.89000034 ， 其中： <math id="M76"><msub><mrow><mi>N</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716671&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45716670&type= 3.97933316 3.80999994 是第 K 类中包含的图像数量， β 是调节每轮自标注样本数量的参数，在协同训练的第一轮设置为 β 0 ，随着迭代次数的增加， β 值每轮递减。在实验中，设置每轮递减6.5% β 0 能够取得较好的精度。这是由于初始迭代时SVD-RCNN的精度较低，需设置较高的阈值避免将置信度低的自标注样本添加到训练集中造成噪声累积；随着迭代的进行，SVD-RCNN能够进行较高质量的自标注，因此需降低阈值以选出更多数量的自标注样本，防止SVD-RCNN过拟合。 3 实验结果与分析 1 3.1　实验数据集 2 为验证SVD-RCNN的性能，分别在GMU ［ 17 17 ］ ，AVD ［ 18 18 ］ 公共数据集和BHID自制数据集上进行了系列实验。GMU数据集为厨房场景下的实例级目标检测数据集，包含11个实例对象，总共有6 728张图像，其中3 851张图像用于训练，2 877张图像用于测试；AVD数据集为家庭场景下的实例级目标检测数据集，包含30个实例对象，本文从中挑选出厨房场景下的6个实例对象，共计7 262张图像，其中5 083张图片用于训练，2 179张用于测试；BHID数据集为在办公场景下的自制实例级数据集，包含7个实例对象，共计1 721张图像，其中1 110张图片用于训练，611张用于测试。 3.2　评价指标 2 实验采用均值平均精度 （mean Average Precision，mAP）作为SVD-RCNN的目标检测性能的评价指标。mAP是各实例目标类的平均精度（Average Precision， AP）的均值，AP是准确率-召回率（Precision-Recall）曲线下的面积，因此mAP是从准确率和召回率两个角度对SVD-RCNN检测不同实例物体的性能进行综合评价。 3.3　实　验 2 实验分为两个部分，第一部分在GMU数据集上探究了关键样本选择策略、收敛-分解-微调策略和自适应的自标注策略对SVD-RCNN性能的影响，以证明各个策略的有效性；第二部分在GMU，AVD和BHID数据集上将本文方法与全监督学习和其他半监督学习进行比较，以证明本文方法的有效性与普适性。 第一部分实验首先探讨了不同数量的关键样本对SVD-RCNN性能的影响。按照2.1所述的策略，从GMU数据集的训练集中分别选择2%（82张），5%（199张）和10%（396张）的图像作为关键样本对SVD-RCNN进行训练，检测精度分别达到了73.8% mAP，79.3% mAP和79.3% mAP，说明使用5%的训练样本作为关键样本足以表示训练集的整体分布，且可以保证SVD-RCNN的性能可持续提升。其次，探究了关键样本选择策略对预训练SVD-RCNN泛化能力的影响，在GMU的训练集中分别使用随机选择的方法和关键样本选择的方法获取5%的图像作为初始样本对SVD-RCNN进行训练，检测精度分别达到了66.5% mAP和73.6% mAP。 图5 图5 列举了预训练SVD-RCNN对6类实例物体的检测精度。 在预训练SVD-RCNN时，人工标注关键样本比随机标注样本在单个实例物体的检测精度上有一定程度的提高，说明关键样本选择策略可以保证预训练时人工标注的样本是最具信息量的关键样本，从而令SVD-RCNN预训练后获取更多的先验知识并具有较好的泛化能力。 为探究收敛-分解-微调策略和自适应的自标注策略的有效性，在GMU的训练集中挑选5%（199张）的图像进行消融实验，结果如 表1 表1 所示。 数据集 关键样本数量 收敛-分解-微调 自适应的自标注 mAP/% 4 GMU 199 72.1 199 √ 77.6 199 √ 75.8 199 √ √ 79.3 从 表1 表1 可以看出，单独采用收敛-分解-微调的训练策略提升了5.5%的检测精度，说明相比于两个相关性较强的检测器，独立性强的检测器能增强互相检查与纠错的能力。单独实施自适应的自标注策略提升了3.7%的检测精度，说明在协同训练时，如果将置信度低的自标注结果添加到训练集中会造成噪声累积，从而对最终迭代的SVD-RCNN产生负面影响。将两者结合使用，检测精度提升了7.2%，由此证明了收敛-分解-微调策略和自适应的自标注策略的有效性。 为验证本文方法的有效性和普适性，在GMU，AVD和BHID数据集上与全监督学习的Faster RCNN进行了对比实验。分别从3个数据集的训练集中选择5%的图像作为关键样本进行人工标注，并使用本文方法训练SVD-RCNN，在GMU数据集上的检测精度达到了79.3% mAP，相比于全监督学习的Faster RCNN的81.3%，mAP仅下降2%，说明本文方法在不同数据集上仅需人工标注5%的训练样本，就可达到与全监督相当的目标检测精度。 数据集 关键样本数量 方 法 mAP/% 2 GMU 199 半监督SVD-RCNN 79.3 3 851 全监督Faster RCNN 81.3 2 AVD 255 半监督SVD-RCNN 75.6 5 083 全监督Faster RCNN 78.5 2 BHID 55 半监督SVD-RCNN 76.1 1 110 全监督Faster RCNN 78.4 SVD-RCNN在不同数据集上对部分实例物体的检测结果如 图6 图6 所示。可以看出，SVD-RCNN在结构复杂的环境中对每个数据集均可达到很好的检测效果，甚至在遮挡，物体不完整的情况下仍能找到物体，如 图6 图6 （b）中的第一幅图所示。这说明SVD-RCNN可以在结构复杂的不同室内场景中胜任特定实例物体的检测工作。 在GMU数据集上，将本文算法与采用学生教师模型的两个性能较好的半监督方法进行了对比，实验结果如 表3 表3 所示。在使用相同标注样本数量的情况下，采用协同训练的本文算法的检测精度比Unbiased Teacher ［ 7 7 ］ 提升了2.8%，比Soft Teacher ［ 19 19 ］ 提升了1.0%。 数据集 （标注样本数量） 基础网络 方 法 mAP/% 3 GMU （199） 3 Faster RCNN Unbiased Teacher ［ 7 7 ］ 76.5 Soft Teacher ［ 19 19 ］ 78.3 本文算法 79.3 4 结 论 1 本文提出了一种采用SVD和协同训练的半监督实例级目标检测网络SVD-RCNN。为保证SVD-RCNN具有较好的实例目标检测先验知识，只需人工标注少量关键样本对其进行预训练，并将预训练好的SVD-RCNN迁移到协同训练阶段；利用基于SVD的收敛-分解-微调策略，在保证网络收敛的前提下，训练出两个独立不相关的检测器，以满足协同训练对于相互独立视图的要求，最后采用一种自适应的自标注策略获得高质量的实例级目标的自标注和检测结果。实验结果表明，在人工标注5%的训练样本的条件下，本文方法可以达到与全监督学习相当的实例级目标检测精度，大大节约了人工标注的开销，有利于智能机器人高效识别不同实例物体。 参考文献 GRAUMAN K ， LEIBE B . Visual object recognition ［J］. Synthesis Lectures on Artificial Intelligence and Machine Learning ， 2011 ， 5 （ 2 ）： 1 - 181 . doi: 10.2200/s00332ed1v01y201103aim011 http://dx.doi.org/10.2200/s00332ed1v01y201103aim011 Visual object recognition 范丽丽 ， 赵宏伟 ， 赵浩宇 ， 等 . 基于深度卷积神经网络的目标检测研究综述 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1152 - 1164 . 基于深度卷积神经网络的目标检测研究综述 FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese） Survey of target detection based on deep convolutional neural networks 徐哲 ， 耿杰 ， 蒋雯 ， 等 . 联合训练生成对抗网络的半监督分类方法 ［J］. 光学 精密工程 ， 2021 ， 29 （ 5 ）： 1127 - 1135 . doi: 10.37188/OPE.20212905.1127 http://dx.doi.org/10.37188/OPE.20212905.1127 联合训练生成对抗网络的半监督分类方法 XU ZH ， GENG J ， JIANG W ， et al . Co-training generative adversarial networks for semi-supervised classification method ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 5 ）： 1127 - 1135 . （in Chinese） . doi: 10.37188/OPE.20212905.1127 http://dx.doi.org/10.37188/OPE.20212905.1127 Co-training generative adversarial networks for semi-supervised classification method 黄鸿 ， 唐玉枭 ， 段宇乐 . 半监督多图嵌入的高光谱影像特征提取 ［J］. 光学 精密工程 ， 2020 ， 28 （ 2 ）： 443 - 456 . 半监督多图嵌入的高光谱影像特征提取 HUANG H ， TANG Y X ， DUAN Y L . Feature extraction of hyperspectral image with semi-supervised multi-graph embedding ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 443 - 456 . （in Chinese） Feature extraction of hyperspectral image with semi-supervised multi-graph embedding JEONG J ， VERMA V ， HYUN M ， et al . Interpolation-based semi-supervised learning for object detection ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 11597 - 11606 . doi: 10.1109/cvpr46437.2021.01143 http://dx.doi.org/10.1109/cvpr46437.2021.01143 Interpolation-based semi-supervised learning for object detection SOHN K ， ZHANG Z ， LI C ， et al . A Simple Semi-supervised Learning Framework for Object Detection ［EB/OL］. 2020 ： arXiv ： 2005 . 04757 . https：//arxiv.org/abs/2005.04757 https://arxiv.org/abs/2005.04757 . doi: 10.48550/arXiv.2005.04757 http://dx.doi.org/10.48550/arXiv.2005.04757 A Simple Semi-supervised Learning Framework for Object Detection LIU Y C ， MA C Y ， HE Z ， et al . Unbiased Teacher for Semi-supervised Object Detection ［EB/OL］. 2021 ： arXiv ： 2102 . 09480 . https：//arxiv.org/abs/2102.09480 https://arxiv.org/abs/2102.09480 . Unbiased Teacher for Semi-supervised Object Detection GUO Q S ， MU Y ， CHEN J Y ， et al . Scale-equivalent distillation for semi-supervised object detection ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1824，2022 ， New Orleans， LA， USA. IEEE ， 2022 ： 14502 - 14511 . doi: 10.1109/cvpr52688.2022.01412 http://dx.doi.org/10.1109/cvpr52688.2022.01412 Scale-equivalent distillation for semi-supervised object detection LI G ， LI X ， WANG Y J ， et al . PseCo ： Pseudo Labeling and Consistency Training for Semi-supervised Object Detection ［M］. Lecture Notes in Computer Science . Cham ： Springer Nature Switzerland ， 2022 ： 457 - 472 . doi: 10.1007/978-3-031-20077-9_27 http://dx.doi.org/10.1007/978-3-031-20077-9_27 PseCo： Pseudo Labeling and Consistency Training for Semi-supervised Object Detection NING X ， WANG X R ， XU S H ， et al . A review of research on co-training ［J］. Concurrency and Computation： Practice and Experience ， 2021 ： doi： 10.1002/cpe.6276 http://dx.doi.org/10.1002/cpe.6276 . A review of research on co-training DAN K . A singularly valuable decomposition： the SVD of a matrix ［J］. The College Mathematics Journal ， 1996 ， 27 （ 1 ）： 2 - 23 . doi: 10.1080/07468342.1996.11973744 http://dx.doi.org/10.1080/07468342.1996.11973744 A singularly valuable decomposition： the SVD of a matrix REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031 Faster R-CNN： towards real-time object detection with region proposal networks RUI W ， YING L . Real-time 3D object detection in unstructured environments ［C］. 2017 First International Conference on Electronics Instrumentation & Information Systems （EIIS）. 35，2017 ， Harbin， China. IEEE ， 2018 ： 1 - 6 . doi: 10.1109/eiis.2017.8298584 http://dx.doi.org/10.1109/eiis.2017.8298584 Real-time 3D object detection in unstructured environments VERDU S . Fifty years of Shannon theory ［J］. IEEE Transactions on Information Theory ， 1998 ， 44 （ 6 ）： 2057 - 2078 . doi: 10.1109/18.720531 http://dx.doi.org/10.1109/18.720531 Fifty years of Shannon theory GATYS L A ， ECKER A S ， BETHGE M . Image style transfer using convolutional neural networks ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 2414 - 2423 . doi: 10.1109/cvpr.2016.265 http://dx.doi.org/10.1109/cvpr.2016.265 Image style transfer using convolutional neural networks EVERINGHAM M ， GOOL L ， WILLIAMS C K ， et al . The pascal visual object classes （VOC） challenge ［J］. International Journal of Computer Vision ， 2010 ， 88 （ 2 ）： 303 - 338 . doi: 10.1007/s11263-009-0275-4 http://dx.doi.org/10.1007/s11263-009-0275-4 The pascal visual object classes （VOC） challenge GEORGAKIS G ， ALIMOOR REZA M ， MOUSAVIAN A ， et al . Multiview RGB-D dataset for object instance detection ［C］. 2016 Fourth International Conference on 3D Vision （3DV）. 2528，2016 ， Stanford， CA， USA. IEEE ， 2016 ： 426 - 434 . doi: 10.1109/3dv.2016.52 http://dx.doi.org/10.1109/3dv.2016.52 Multiview RGB-D dataset for object instance detection AMMIRATO P ， POIRSON P ， PARK E ， et al . A dataset for developing and benchmarking active vision ［C］. 2017 IEEE International Conference on Robotics and Automation （ICRA）. May 29 - June 3 ， 2017 ， Singapore. IEEE ， 2017： 1378 - 1385 . doi: 10.1109/icra.2017.7989164 http://dx.doi.org/10.1109/icra.2017.7989164 A dataset for developing and benchmarking active vision XU M D ， ZHANG Z ， HU H ， et al . End-to-end semi-supervised object detection with soft teacher ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 1017，2021 ， Montreal， QC， Canada. IEEE ， 2022 ： 3040 - 3049 . doi: 10.1109/iccv48922.2021.00305 http://dx.doi.org/10.1109/iccv48922.2021.00305 End-to-end semi-supervised object detection with soft teacher 10.37188/OPE.20233113.2000 TP394.1 TH691.9 A 1004-924X（2023）13-2000-08 王睿,樊思杨,许婧文等.采用SVD协同训练的半监督实例级目标检测[J].光学精密工程,2023,31(13):2000-2007. 王睿,樊思杨,许婧文等.采用SVD协同训练的半监督实例级目标检测[J].光学精密工程,2023,31(13):2000-2007. WANG Rui,FAN Siyang,XU Jingwen,et al.Semi-supervised instance object detection method based on SVD co-training[J].Optics and Precision Engineering,2023,31(13):2000-2007. WANG Rui,FAN Siyang,XU Jingwen,et al.Semi-supervised instance object detection method based on SVD co-training[J].Optics and Precision Engineering,2023,31(13):2000-2007. 国家自然科学基金资助项目（No. 61673039）；佛山市产业领域科技攻关专项（No. 2020001006807） 2022-07-27 2022-09-11 2023-07-10 2023-07-17 39565533 光学精密工程 13 31