KNN

Kanca

Şimdiye kadarki tüm modeller (lojistik regresyon, SVM, Naive Bayes) veriden katsayılar veya istatistikler ÖĞRENİYORDU. Ya hiç öğrenmeden, yeni bir noktayı sadece “ona en çok benzeyen noktalara” bakarak sınıflandırsak?

Sezgi

K-En Yakın Komşu (KNN), en basit fikirlerden birine dayanır: yeni bir noktayı sınıflandırmak için, ona en YAKIN k tane noktaya bak, çoğunluğun sınıfını ver. Başka hiçbir “eğitim” yok — model sadece tüm veriyi hafızasında tutar (buna tembel öğrenme/lazy learning denir) ve her tahmin anında mesafe hesabı yapar.

k’yı değiştir: k=1’de karar sınırı çok pürüzlü (her nokta kendi küçük bölgesini oluşturuyor) — tek bir gürültülü noktaya bile aşırı duyarlı. k büyüdükçe sınır yumuşuyor, daha genel bir örüntüyü yansıtıyor. Bir noktaya tıklayarak yeni bir test noktası ekle ve modelin onu hangi komşulara bakarak sınıflandırdığını (kesikli çizgiler) gör.

Mekanizma

KNN’in mekaniğini elle yapalım:

merkezler = [(-1.5, 1), (1.5, 1), (0, -1.5)]
X_parcalar, y_parcalar = [], []
for sinif, (mx, my) in enumerate(merkezler):
    X_parcalar.append(rng.normal([mx, my], 0.6, size=(15, 2)))
    y_parcalar.append(np.full(15, sinif))
X = np.vstack(X_parcalar)
y = np.concatenate(y_parcalar)
print(f"{len(X)} nokta, 3 sınıf")

45 nokta, 3 sınıf

# KNN'in mekaniğini elle yapalım: yeni bir noktaya en yakın k komşuyu bul, çoğunluk oyu kullan.
yeni_nokta = np.array([0.5, 0.5])
mesafeler = np.linalg.norm(X - yeni_nokta, axis=1)
k = 5
en_yakin_indeksler = np.argsort(mesafeler)[:k]
en_yakin_siniflar = y[en_yakin_indeksler]
print(f"En yakın {k} komşunun sınıfları: {en_yakin_siniflar}")
print(f"Çoğunluk oyu (elle): sınıf {np.bincount(en_yakin_siniflar).argmax()}")

model = KNeighborsClassifier(n_neighbors=k)
model.fit(X, y)
print(f"scikit-learn'ün tahmini: sınıf {model.predict([yeni_nokta])[0]}")

En yakın 5 komşunun sınıfları: [1 1 1 1 0]
Çoğunluk oyu (elle): sınıf 1
scikit-learn'ün tahmini: sınıf 1

Elle bulduğumuz sonuç (sınıf 1) ile scikit-learn’ün bulduğu BİREBİR aynı — KNN’in “gizemli” bir tarafı yok, sadece mesafe ölçüp oy sayıyor. Şimdi k’nın etkisine bakalım:

# k arttıkça karar sınırı nasıl değişiyor? (Kendi kendine test etmemek için "leave-one-out" mantığı)
from sklearn.model_selection import cross_val_score

for k_deneme in [1, 3, 5, 9, 15, 25]:
    m = KNeighborsClassifier(n_neighbors=k_deneme)
    skor = cross_val_score(m, X, y, cv=5).mean()
    print(f"k={k_deneme:<3} çapraz doğrulama doğruluğu: {skor:.3f}")
print("k=1, tek bir gürültülü komşuya bile duyarlı (en düşük skor); k>=3 ile skor hemen toparlanıp düzleşiyor.")
print("Çok daha büyük k değerlerinde (veri boyutuna yakın), sınır aşırı düzleşip yetersiz öğrenmeye kayar -- 7. dersteki bias-variance dengesi.")

k=1   çapraz doğrulama doğruluğu: 0.956
k=3   çapraz doğrulama doğruluğu: 0.978
k=5   çapraz doğrulama doğruluğu: 0.978
k=9   çapraz doğrulama doğruluğu: 0.978
k=15  çapraz doğrulama doğruluğu: 0.978
k=25  çapraz doğrulama doğruluğu: 0.978
k=1, tek bir gürültülü komşuya bile duyarlı (en düşük skor); k>=3 ile skor hemen toparlanıp düzleşiyor.
Çok daha büyük k değerlerinde (veri boyutuna yakın), sınır aşırı düzleşip yetersiz öğrenmeye kayar -- 7. dersteki bias-variance dengesi.

k=1’de skor en düşük (0.956) — tek bir gürültülü komşuya karşı savunmasız. k≥3 ile skor toparlanıp düzleşiyor. Çok daha büyük bir k (örneğin veri boyutuna yakın) sınırı aşırı düzleştirip yetersiz öğrenmeye kayabilir — 7. dersteki bias-variance dengesinin KNN’deki karşılığı.

Matematik

Kod

KNN’in en kritik pratik detayı — ölçekleme:

# KNN mesafeye dayanır -- öznitelikler farklı ölçekteyse, büyük ölçekli olan HAKİM olur.
X_olceksiz = np.column_stack([X[:, 0], X[:, 1] * 100])  # ikinci öznitelik 100 kat büyütüldü
model_olceksiz = KNeighborsClassifier(n_neighbors=5)
skor_olceksiz = cross_val_score(model_olceksiz, X_olceksiz, y, cv=5).mean()
print(f"\nÖlçeklenmemiş veri (2. öznitelik 100x büyütülmüş) doğruluk: {skor_olceksiz:.3f}")

X_olcekli = StandardScaler().fit_transform(X_olceksiz)
model_olcekli = KNeighborsClassifier(n_neighbors=5)
skor_olcekli = cross_val_score(model_olcekli, X_olcekli, y, cv=5).mean()
print(f"StandardScaler ile düzeltilmiş doğruluk: {skor_olcekli:.3f}")
print("Ölçekleme yapılmadan, mesafe hesabı neredeyse tamamen 2. özniteliğe göre belirleniyor -- yanıltıcı sonuçlar.")

Ölçeklenmemiş veri (2. öznitelik 100x büyütülmüş) doğruluk: 0.733
StandardScaler ile düzeltilmiş doğruluk: 0.978
Ölçekleme yapılmadan, mesafe hesabı neredeyse tamamen 2. özniteliğe göre belirleniyor -- yanıltıcı sonuçlar.

Sadece bir özniteliği 100 kat büyütmek, doğruluğu %97.8’den %73.3’e düşürdü! Çoğu kişi “bir özniteliğin ölçeği, o özniteliğin önemini artırmaz, sadece birimini değiştirir” sanır. KNN için tamamen yanlış, çünkü mesafe hesabı doğrudan sayısal büyüklüğe dayanır — 100 kat büyütülmüş bir öznitelik, mesafeyi neredeyse TEK BAŞINA belirler, diğer öznitelik anlamsızlaşır. StandardScaler bu sorunu hemen çözüyor.

Nerede işe yarar

KNN, basitliği ve yorumlanabilirliğiyle hâlâ kullanışlı bir araçtır:

• Küçük/orta veri setlerinde hızlı bir başlangıç noktası. Kurulumu kolay, hiperparametre sayısı az (esas olarak sadece k).
• Öneri sistemlerinin temeli. “Bu kullanıcıya benzer kullanıcılar neyi sevdi?” mantığı, doğrudan KNN’in bir uzantısıdır.
• Anomali tespiti. Bir noktanın en yakın komşularına olan mesafesi, ne kadar “sıra dışı” olduğunun bir göstergesi olabilir.

Bu 3 hatayı yaparsın:

1. Öznitelikleri ölçeklemeden KNN kullanmak — bu derste gördüğümüz gibi, sonuçları tamamen çarpıtabilir. KNN’de ölçekleme NEREDEYSE HER ZAMAN zorunludur.
2. Büyük veri setlerinde KNN kullanmak — her tahmin, TÜM eğitim verisiyle mesafe hesaplamayı gerektirir; bu büyük veride yavaşlar (diğer modeller bir kez eğitilip hızla tahmin yapar).
3. k’yı tek bir sabit değer olarak “akılda tutmak” — doğru k, veri setine göre değişir ve çapraz doğrulamayla (9. ders) bulunmalıdır.

Kendini test et

Özet