什么是非均勻數(shù)據(jù)重采樣？哪種非均勻數(shù)據(jù)重采樣方法更適合你？

在數(shù)據(jù)分析和機(jī)器學(xué)習(xí)領(lǐng)域，我們常常需要處理非均勻數(shù)據(jù)。非均勻數(shù)據(jù)是指具有不平衡分布或樣本數(shù)量不均等的數(shù)據(jù)集。為了準(zhǔn)確建模和預(yù)測，我們需要對這些非均勻數(shù)據(jù)進(jìn)行重采樣。本文將詳細(xì)介紹什么是非均勻數(shù)據(jù)重采樣以及如何應(yīng)用不同的方法來解決這一問題。

一、什么是非均勻數(shù)據(jù)重采樣？

非均勻數(shù)據(jù)重采樣是一種數(shù)據(jù)處理技術(shù)，用于解決數(shù)據(jù)集中存在的類別不平衡或樣本數(shù)量不均等的問題。在非均勻數(shù)據(jù)中，某些類別的樣本數(shù)量很少，而其他類別的樣本數(shù)量很多。這種不平衡會導(dǎo)致建模和預(yù)測過程中的偏差，影響結(jié)果的準(zhǔn)確性。

非均勻數(shù)據(jù)重采樣的目標(biāo)是通過增加少數(shù)類別的樣本數(shù)量或減少多數(shù)類別的樣本數(shù)量，使得數(shù)據(jù)集更加平衡。通過重采樣，我們可以在保持?jǐn)?shù)據(jù)分布特征的前提下，增加較少樣本的可用性，從而提高模型的性能。

二、常見的非均勻數(shù)據(jù)重采樣方法和Python示例

（1）過采樣（Oversampling）：過采樣方法通過增加少數(shù)類別的樣本數(shù)量來平衡數(shù)據(jù)集。其中一種常見的方法是復(fù)制少數(shù)類別的樣本，使其在數(shù)據(jù)集中出現(xiàn)多次。然而，簡單復(fù)制樣本可能會導(dǎo)致過擬合問題。因此，一些改進(jìn)的過采樣方法被提出，如SMOTE（合成少數(shù)類過采樣技術(shù)）和ADASYN（自適應(yīng)合成）等，它們根據(jù)少數(shù)類別樣本之間的距離關(guān)系合成新的樣本。

使用imbalanced-learn庫中的RandomOverSampler方法進(jìn)行過采樣：

from imblearn.over_sampling import RandomOverSampler 
X_resampled, y_resampled = RandomOverSampler().fit_resample(X, y)

使用imbalanced-learn庫中的SMOTE方法進(jìn)行合成少數(shù)類過采樣：

from imblearn.over_sampling import SMOTE 
X_resampled, y_resampled = SMOTE().fit_resample(X, y)

完整示例：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from imblearn.over_sampling import RandomOverSampler
from sklearn.metrics import classification_report


# 加載數(shù)據(jù)集
data = pd.read_csv('your_dataset.csv')


# 分割特征和目標(biāo)變量
X = data.drop('target', axis=1)
y = data['target']


# 將數(shù)據(jù)集拆分為訓(xùn)練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)


# 方法1.創(chuàng)建RandomOverSampler對象
ros = RandomOverSampler(random_state=42)
# 對訓(xùn)練集進(jìn)行過采樣
X_train_resampled, y_train_resampled = ros.fit_resample(X_train, y_train)


# 方法2創(chuàng)建SMOTE對象
# smote = SMOTE(random_state=42)
# 對訓(xùn)練集進(jìn)行過采樣
# X_train_resampled, y_train_resampled = smote.fit_resample(X_train, y_train)


# 使用過采樣后的數(shù)據(jù)訓(xùn)練模型
model = LogisticRegression()
model.fit(X_train_resampled, y_train_resampled)


# 在測試集上進(jìn)行預(yù)測
y_pred = model.predict(X_test)


# 輸出分類報(bào)告
print(classification_report(y_test, y_pred))

（2）欠采樣（Undersampling）：欠采樣方法通過減少多數(shù)類別的樣本數(shù)量來平衡數(shù)據(jù)集。最簡單的欠采樣方法是隨機(jī)地刪除多數(shù)類別的樣本。然而，這種方法可能會丟失一些重要的信息。因此，一些更高級的欠采樣方法被提出，如NearMiss和ClusterCentroids等，它們通過保留具有代表性的多數(shù)類別樣本來減少樣本數(shù)量。

使用imbalanced-learn庫中的RandomUnderSampler方法進(jìn)行欠采樣：

from imblearn.under_sampling import RandomUnderSampler 
X_resampled, y_resampled = RandomUnderSampler().fit_resample(X, y)

使用imbalanced-learn庫中的NearMiss方法進(jìn)行近鄰欠采樣：

from imblearn.under_sampling import NearMiss 
X_resampled, y_resampled = NearMiss().fit_resample(X, y)

（3）混合采樣（Combination Sampling）：混合采樣方法是過采樣和欠采樣的結(jié)合。它同時(shí)對多數(shù)和少數(shù)類別進(jìn)行處理，以達(dá)到數(shù)據(jù)集平衡的效果。其中一種常見的混合

混采樣方法是SMOTEENN（SMOTE + Edited Nearest Neighbors）方法。它首先使用SMOTE方法對少數(shù)類別進(jìn)行過采樣，生成一些合成樣本。然后，使用Edited Nearest Neighbors（ENN）方法對多數(shù)類別進(jìn)行欠采樣，刪除一些樣本。通過這種方式，混合采樣方法能夠克服簡單過采樣和欠采樣方法的一些問題，同時(shí)平衡數(shù)據(jù)集。

使用imbalanced-learn庫中的SMOTEENN方法進(jìn)行SMOTE + Edited Nearest Neighbors采樣：

from imblearn.combine import SMOTEENN 
X_resampled, y_resampled = SMOTEENN().fit_resample(X, y)

（4）加權(quán)重采樣（Weighted Resampling）：加權(quán)重采樣方法通過為不同類別的樣本賦予不同的權(quán)重來平衡數(shù)據(jù)集。它可以用于訓(xùn)練模型時(shí)調(diào)整樣本的重要性。常見的加權(quán)重采樣方法包括基于頻率的加權(quán)和基于錯(cuò)誤率的加權(quán)。基于頻率的加權(quán)根據(jù)每個(gè)類別的樣本數(shù)量設(shè)置權(quán)重，使得樣本數(shù)量少的類別具有更高的權(quán)重?；阱e(cuò)誤率的加權(quán)根據(jù)每個(gè)類別的錯(cuò)誤率來調(diào)整權(quán)重，使得錯(cuò)誤率高的類別具有更高的權(quán)重。

import torch
from torch.utils.data import DataLoader, WeightedRandomSampler


# 假設(shè)有一個(gè)不均衡的數(shù)據(jù)集，包含10個(gè)樣本和對應(yīng)的類別標(biāo)簽
data = [
    ([1, 2, 3], 0),
    ([4, 5, 6], 1),
    ([7, 8, 9], 1),
    ([10, 11, 12], 0),
    ([13, 14, 15], 1),
    ([16, 17, 18], 0),
    ([19, 20, 21], 1),
    ([22, 23, 24], 0),
    ([25, 26, 27], 1),
    ([28, 29, 30], 1)
]


# 分割特征和目標(biāo)變量
X = [sample[0] for sample in data]
y = [sample[1] for sample in data]


# 創(chuàng)建權(quán)重列表，根據(jù)類別進(jìn)行加權(quán)
class_counts = torch.tensor([y.count(0), y.count(1)])
weights = 1.0 / class_counts.float()


# 創(chuàng)建WeightedRandomSampler對象
sampler = WeightedRandomSampler(weights, len(weights))


# 創(chuàng)建數(shù)據(jù)加載器，使用加權(quán)重采樣
dataset = list(zip(X, y))
dataloader = DataLoader(dataset, batch_size=2, sampler=sampler)


# 遍歷數(shù)據(jù)加載器獲取批次數(shù)據(jù)
for batch_X, batch_y in dataloader:
    print("Batch X:", batch_X)
    print("Batch y:", batch_y)

三、選擇適當(dāng)?shù)闹夭蓸臃椒?/strong>