Hyperparamètre

En machine learning, un hyperparamètre est un paramètre qui a une influence sur les performances du modèle, et qui est réglé par l'utilisateur, avant l'entraînement du modèle.

Exemple

Dans le cadre d'un modèle k-NN (k plus proches voisins), le paramètre k est un hyperparamètre. Ce paramètre représente le nombre de voisins de chaque point, qui seront pris en compte pour déterminer la classe du point. Pour le fixer, on peut choisir une valeur arbitrairement, puis tâtonner avec d'autres valeurs en essayant de maximiser les performances.

Par exemple, imaginons un modèle de k-NN avec k=5, qui nous donne les résultats suivants :

k étant un hyperparamètre, on peut recommencer l'analyse avec une autre valeur de k. On choisit par exemple de recommencer l'analyse avec k=10. On obtient alors les résultats suivants :

On constate que le réglage de l'hyperparamètre k=10 permet d'obtenir de meilleures performances.

Si on souhaite fixer la valeur d'un hyperparamètre sans avoir à tâtonner, on peut utiliser la validation croisée.

Voir aussi : all(), any(), append(), count(), enumerate(), extend(), filter(), float() format() input(), int(), isdigit(), isinstance(), items(), join(), endswith(), list(), map(), max(), mean(), min(), pop(), range(), len(), startswith(), zip(), type(), get(), symmetric_difference(), keys(), difference()

Numpy : arange(), array(), delete(), hsplit(), hstack(), linspace(), logical_and(), logical_or(), polyfit()

Pandas : concat(), concatenate(), describe(), dict(), drop_duplicates(), dropna(), fillna(), from_dict(), groupby(), head(), iloc, info(), insert(), isin(), melt(), merge(), pivot_table(), read_csv(), read_excel(), rename(), where()

Machine Learning : F1-Score, Précision, Rappel, Normalisation, Courbe d’apprentissage, Les résidus, Régression VS classification, Mean Absolute Error (MAE), Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Accuracy, L’astuce du noyau, Bases d’apprentissage et de test, Classes linéairement séparables, Apprentissage supervisé VS non-supervisé, Coefficient de détermination R2, Validation croisée

N'hésitez pas à consulter nos formations sur cette page.