PyTorch教程14.7之單發(fā)多框檢測(cè)

14.7.1.1。類別預(yù)測(cè)層

讓對(duì)象類的數(shù)量為q. 然后anchor boxes有 q+1類，其中類 0 是背景。在某種程度上，假設(shè)特征圖的高度和寬度是h和w， 分別。什么時(shí)候a以這些特征圖的每個(gè)空間位置為中心生成anchor boxes，一共 hwaanchor boxes需要分類。由于參數(shù)化成本可能很高，這通常會(huì)使完全連接層的分類變得不可行。回想一下我們?cè)?.3 節(jié)中如何使用卷積層的通道來預(yù)測(cè)類別。單次多框檢測(cè)使用相同的技術(shù)來降低模型的復(fù)雜性。

具體來說，類預(yù)測(cè)層使用卷積層而不改變特征圖的寬度或高度。這樣，在特征圖的相同空間維度（寬度和高度）下，輸出和輸入之間可以存在一一對(duì)應(yīng)關(guān)系。更具體地說，輸出特征映射的通道在任何空間位置（x, y) 表示以 (x,y) 輸入特征圖。為了產(chǎn)生有效的預(yù)測(cè)，必須有a(q+1)輸出通道，其中對(duì)于相同的空間位置，具有索引的輸出通道i(q+1)+j 代表類別的預(yù)測(cè)j (0≤j≤q) 對(duì)于錨框i (0≤i).

下面我們定義這樣一個(gè)類預(yù)測(cè)層，指定a和 q分別通過參數(shù)num_anchors和num_classes。該層使用了3×3填充為1的卷積層。該卷積層的輸入和輸出的寬度和高度保持不變。

%matplotlib inline
import torch
import torchvision
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l


def cls_predictor(num_inputs, num_anchors, num_classes):
  return nn.Conv2d(num_inputs, num_anchors * (num_classes + 1),
           kernel_size=3, padding=1)

%matplotlib inline
from mxnet import autograd, gluon, image, init, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

def cls_predictor(num_anchors, num_classes):
  return nn.Conv2D(num_anchors * (num_classes + 1), kernel_size=3,
           padding=1)

14.7.1.2。邊界框預(yù)測(cè)層

邊界框預(yù)測(cè)層的設(shè)計(jì)與類預(yù)測(cè)層的設(shè)計(jì)類似。唯一的區(qū)別在于每個(gè)錨框的輸出數(shù)量：這里我們需要預(yù)測(cè)四個(gè)偏移量而不是q+1類。

def bbox_predictor(num_inputs, num_anchors):
  return nn.Conv2d(num_inputs, num_anchors * 4, kernel_size=3, padding=1)

def bbox_predictor(num_anchors):
  return nn.Conv2D(num_anchors * 4, kernel_size=3, padding=1)

14.7.1.3。連接多個(gè)尺度的預(yù)測(cè)

正如我們提到的，單次多框檢測(cè)使用多尺度特征圖來生成錨框并預(yù)測(cè)它們的類別和偏移量。在不同的尺度下，特征圖的形狀或以同一單元為中心的錨框數(shù)量可能會(huì)有所不同。因此，不同尺度的預(yù)測(cè)輸出的形狀可能會(huì)有所不同。

在下面的例子中，我們構(gòu)建了兩種不同比例的特征圖，Y1并且Y2，對(duì)于同一個(gè)小批量，其中 的高度和寬度Y2是 的一半Y1。讓我們以類別預(yù)測(cè)為例。Y1假設(shè)分別為和中的每個(gè)單元生成 5 個(gè)和 3 個(gè)錨框Y2。進(jìn)一步假設(shè)對(duì)象類的數(shù)量為 10。對(duì)于特征圖Y1和Y2類預(yù)測(cè)輸出中的通道數(shù)為5×(10+1)=55 和3×(10+1)=33，其中任一輸出形狀為（批量大小、通道數(shù)、高度、寬度）。

def forward(x, block):
  return block(x)

Y1 = forward(torch.zeros((2, 8, 20, 20)), cls_predictor(8, 5, 10))
Y2 = forward(torch.zeros((2, 16, 10, 10)), cls_predictor(16, 3, 10))
Y1.shape, Y2.shape

(torch.Size([2, 55, 20, 20]), torch.Size([2, 33, 10, 10]))

def forward(x, block):
  block.initialize()
  return block(x)

Y1 = forward(np.zeros((2, 8, 20, 20)), cls_predictor(5, 10))
Y2 = forward(np.zeros((2, 16, 10, 10)), cls_predictor(3, 10))
Y1.shape, Y2