k-NN

L'algorithme des k plus proches voisins (ou k-NN, k-Nearest Neighbors en anglais) est un algorithme de classification. Cet algorithme permet de résoudre des problème de classification supervisée, en attribuant à un point dont on ne connaît pas la classe, la classe majoritaire parmi ses k plus proches voisins. k est un hyperparamètre, dont on peut fixer la valeur à l'aide de la validation croisée.

Mesure de distance

L'algorithme nécessite une mesure de distance entre les observations. Une mesure de distance couramment utilisée est la distance euclidienne :

Le calcul de la distance euclidienne se fait facilement avec la fonction norm() du module numpy.linalg de Python :

Exemple d'exécution

Vous trouverez ci-dessous une exécution pas-à-pas de l'algorithme k-NN.

Voir aussi : all(), any(), append(), count(), enumerate(), extend(), filter(), float() format() input(), int(), isdigit(), isinstance(), items(), join(), endswith(), list(), map(), max(), mean(), min(), pop(), range(), len(), startswith(), zip(), type(), get(), symmetric_difference(), keys(), difference()

Numpy : arange(), array(), delete(), hsplit(), hstack(), linspace(), logical_and(), logical_or(), polyfit()

Pandas : concat(), concatenate(), describe(), dict(), drop_duplicates(), dropna(), fillna(), from_dict(), groupby(), head(), iloc, info(), insert(), isin(), melt(), merge(), pivot_table(), read_csv(), read_excel(), rename(), where()

Machine Learning : F1-Score, Précision, Rappel, Normalisation, Courbe d’apprentissage, Les résidus, Régression VS classification, Mean Absolute Error (MAE), Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Accuracy, L’astuce du noyau, Bases d’apprentissage et de test, Classes linéairement séparables, Apprentissage supervisé VS non-supervisé, Coefficient de détermination R2, Validation croisée

N'hésitez pas à consulter nos formations sur cette page.https://www.expertpython.fr/lexique-python