本篇是利用 Python 和 PyTorch 處理面向?qū)ο蟮臄?shù)據(jù)集系列博客的第 2 篇。
如需閱讀第 1 篇:原始數(shù)據(jù)和數(shù)據(jù)集,請參閱此處。
我們在第 1 部分中已定義 MyDataset 類,現(xiàn)在,讓我們來例化 MyDataset 對象
此可迭代對象是與原始數(shù)據(jù)交互的接口,在整個訓(xùn)練過程中都有巨大作用。
第 2 部分:創(chuàng)建數(shù)據(jù)集對象
輸入 [9]:
mydataset = MyDataset(isValSet_bool = None, raw_data_path = raw_data_path, norm = False, resize = True, newsize = (64, 64))
以下是該對象的一些使用示例:
輸入 [10]:
# 對象操作示例。 # 此操作用于調(diào)用 method __getitem__ 并從第 6 個樣本獲取標(biāo)簽 mydataset[6][1]
輸出 [10]:
0
輸入 [11]:
# 此操作用于在類聲明后打印注釋 MyDataset.__doc__
輸出 [11]:
'Interface class to raw data, providing the total number of samples in the dataset and a preprocessed item'
輸入 [12]:
# 此操作用于調(diào)用 method __len__ len(mydataset)
輸出 [12]:
49100
輸入 [13]:
# 此操作用于觸發(fā) method __str__ print(mydataset)
原始數(shù)據(jù)路徑為 ./raw_data/data_images/
可迭代對象的重要性
訓(xùn)練期間,將向模型提供多批次樣本??傻?mydataset 是獲得高級輕量代碼的關(guān)鍵。
以下提供了可迭代對象的 2 個使用示例。
示例 1:
我們可以直接獲取第 3 個樣本張量:
輸入 [14]:
mydataset.__getitem__(3)[0].shape
輸出 [14]:
torch.Size([3, 64, 64])
與以下操作作用相同
輸入 [15]:
mydataset[3][0].shape
輸出 [15]:
torch.Size([3, 64, 64])
示例 2:
我們可以對文件夾中的圖像進(jìn)行解析,并移除黑白圖像:
輸入 [ ]:
# 數(shù)據(jù)集訪問示例:創(chuàng)建 1 個包含標(biāo)簽的新文件,移除黑白圖像 if os.path.exists(raw_data_path + '/'+ "labels_new.txt"): os.remove(raw_data_path + '/'+ "labels_new.txt") with open(raw_data_path + '/'+ "labels_new.txt", "a") as myfile: for item, info in mydataset: if item != None: if item.shape[0]==1: # os.remove(raw_data_path + '/' + info.SampleName) print('C = {}; H = {}; W = {}; info = {}'.format(item.shape[0], item.shape[1], item.shape[2], info)) else: #print(info.SampleName + ' ' + str(info.SampleLabel)) myfile.write(info.SampleName + ' ' + str(info.SampleLabel) + '\n')
輸入 [ ]:
# 查找具有非期望格式的樣本 with open(raw_data_path + '/'+ "labels.txt", "a") as myfile: for item, info in mydataset: if item != None: if item.shape[0]!=3: # os.remove(raw_data_path + '/' + info.SampleName) print('C = {}; H = {}; W = {}; info = {}'.format(item.shape[0], item.shape[1], item.shape[2], info))
修改標(biāo)簽文件后,請務(wù)必更新緩存:
輸入 [ ]:
if os.path.exists(raw_data_path + '/'+ "labels_new.txt"): os.rename(raw_data_path + '/'+ "labels.txt", raw_data_path + '/'+ "labels_orig.txt") os.rename(raw_data_path + '/'+ "labels_new.txt", raw_data_path + '/'+ "labels.txt") @functools.lru_cache(1) def getSampleInfoList(raw_data_path): sample_list = [] with open(str(raw_data_path) + '/labels.txt', "r") as f: reader = csv.reader(f, delimiter = ' ') for i, row in enumerate(reader): imgname = row[0] label = int(row[1]) sample_list.append(DataInfoTuple(imgname, label)) sample_list.sort(reverse=False, key=myFunc) return sample_list del mydataset mydataset = MyDataset(isValSet_bool = None, raw_data_path = '../../raw_data/data_images', norm = False) len(mydataset)
您可通過以下鏈接閱讀了解有關(guān) PyTorch 中的可迭代數(shù)據(jù)庫的更多信息: https://pytorch.org/docs/stable/data.html
歸一化
應(yīng)對所有樣本張量計算平均值和標(biāo)準(zhǔn)差。
如果數(shù)據(jù)集較小,可以嘗試在內(nèi)存中對其進(jìn)行直接操作:使用 torch.stack 即可創(chuàng)建 1 個包含所有樣本張量的棧。
可迭代對象 mydataset 支持簡潔精美的代碼。
使用“view”即可保留 R、G 和 B 這 3 個通道,并將其余所有維度合并為 1 個維度。
使用“mean”即可計算維度 1 的每個通道的平均值。
請參閱附件中有關(guān) dim 使用的說明。
輸入 [16]:
imgs = torch.stack([img_t for img_t, _ in mydataset], dim = 3)
輸入 [17]:
#im_mean = imgs.view(3, -1).mean(dim=1).tolist() im_mean = imgs.view(3, -1).mean(dim=1) im_mean
輸出 [17]:
tensor([0.4735, 0.4502, 0.4002])
輸入 [18]:
im_std = imgs.view(3, -1).std(dim=1).tolist() im_std
輸出 [18]:
[0.28131285309791565, 0.27447444200515747, 0.2874436378479004]
輸入 [19]:
normalize = transforms.Normalize(mean=[0.4735, 0.4502, 0.4002], std=[0.28131, 0.27447, 0.28744]) # free memory del imgs
下面,我們將再次構(gòu)建數(shù)據(jù)集對象,但這次將對此對象進(jìn)行歸一化:
輸入 [21]:
mydataset = MyDataset(isValSet_bool = None, raw_data_path = raw_data_path, norm = True, resize = True, newsize = (64, 64))
由于采用了歸一化,因此張量值被轉(zhuǎn)換至范圍 0..1 之內(nèi),并進(jìn)行剪切操作。
輸入 [22]:
original = Image.open('../../raw_data/data_images/img_00009111.JPEG') fig, axs = plt.subplots(1, 2, figsize=(10, 3)) axs[0].set_title('clipped tensor') axs[0].imshow(mydataset[5][0].permute(1,2,0)) axs[1].set_title('original PIL image') axs[1].imshow(original) plt.show()
將輸入數(shù)據(jù)剪切到含 RGB 數(shù)據(jù)的 imshow 的有效范圍內(nèi),以 [0..1] 表示浮點值,或者以 [0..255] 表示整數(shù)值。
使用 torchvision.transforms 進(jìn)行預(yù)處理
現(xiàn)在,我們已經(jīng)創(chuàng)建了自己的變換函數(shù)或?qū)ο螅ㄔ居米鳛榧铀賹W(xué)習(xí)曲線的練習(xí)),我建議使用 Torch 模塊 torchvision.transforms:
“此模塊定義了一組可組合式類函數(shù)對象,這些對象可作為實參傳遞到數(shù)據(jù)集(如 torchvision.CIFAR10),并在加載數(shù)據(jù)后 __getitem__ 返回數(shù)據(jù)之前,對數(shù)據(jù)執(zhí)行變換”。
以下列出了可能的變換:
輸入 [23]:
from torchvision import transforms dir(transforms)
輸出 [23]:
['CenterCrop', 'ColorJitter', 'Compose', 'FiveCrop', 'Grayscale', 'Lambda', 'LinearTransformation', 'Normalize', 'Pad', 'RandomAffine', 'RandomApply', 'RandomChoice', 'RandomCrop', 'RandomErasing', 'RandomGrayscale', 'RandomHorizontalFlip', 'RandomOrder', 'RandomPerspective', 'RandomResizedCrop', 'RandomRotation', 'RandomSizedCrop', 'RandomVerticalFlip', 'Resize', 'Scale', 'TenCrop', 'ToPILImage', 'ToTensor', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__path__', '__spec__', 'functional', 'transforms']
在此示例中,我們使用變換來執(zhí)行了以下操作:
1) ToTensor - 從 PIL 圖像轉(zhuǎn)換為張量,并將輸出格式定義為 CxHxW
2) Normalize - 將張量歸一化
如需了解后續(xù)步驟,敬請期待本系列的第 3 部分。
審核編輯 黃昊宇
-
python
+關(guān)注
關(guān)注
54文章
4758瀏覽量
84292 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1197瀏覽量
24592 -
pytorch
+關(guān)注
關(guān)注
2文章
795瀏覽量
13080
發(fā)布評論請先 登錄
相關(guān)推薦
評論