Le surajustement

Le surajustement, c'est le moment où un modèle cesse d'apprendre une règle et se met à mémoriser un échantillon. Il devient de plus en plus juste sur les données qu'il a vues, et de plus en plus faux sur les autres.

Ce n'est pas une erreur de débutant qu'on éviterait en faisant attention. C'est le comportement par défaut de toute recherche menée sur des données limitées, et il faut une procédure pour s'en protéger — la vigilance ne suffit pas.

Le mécanisme

Une série de prix contient un peu de structure et beaucoup de bruit. Une règle simple ne peut attraper que la structure : elle n'a pas assez de liberté pour épouser le bruit. Ajoute des paramètres, et elle acquiert cette liberté — elle commence alors à décrire aussi les accidents, qui ne se reproduiront jamais.

Le piège, c'est que sur les données d'apprentissage, les deux gains sont indiscernables : le résultat s'améliore, que l'amélioration vienne de la structure ou du bruit. Rien dans l'échantillon d'apprentissage ne permet de les séparer. Il faut des données que le modèle n'a jamais vues.

Notre mesure : 40 536 backtests

Ce site a mené une recherche exhaustive et l'a conçue pour pouvoir échouer. Les données ont été coupées en trois : 60 % d'apprentissage, 20 % de validation, 20 % de réserve jamais consultée pour choisir quoi que ce soit.

Les configurations ont été classées sur l'apprentissage, puis regardées sur la réserve. Résultat pour le meilleur décile :

Mesuré sur la réserve	Meilleur décile en apprentissage
Ratio de Sharpe	−1,04
Part de configurations gagnantes	23 %

Non pas « moins bon qu'espéré » : négatif. Les configurations qui brillaient le plus sur le passé se sont révélées les pires ensuite — et pas au hasard : la relation est monotone du 3^e au 10^e décile. Plus une configuration était belle en apprentissage, plus elle a déçu.

C'est contre-intuitif jusqu'à ce qu'on voie pourquoi : le meilleur décile est celui qui a le mieux épousé le bruit de l'échantillon. Il n'a pas trouvé une règle, il a trouvé un souvenir.

La démonstration ci-dessous rejoue ça sur ces données. Choisis le décile qui te semble le plus prometteur, et regarde ce qu'il donne ensuite.

Les signes qui doivent alerter

Un pic isolé. La période 47 fonctionne, 45 et 50 échouent. Un effet réel est robuste : il produit des résultats voisins pour des réglages voisins. Regarder la forme du paysage autour de l'optimum en dit plus que l'optimum lui-même.

Beaucoup de paramètres. Chacun multiplie l'espace de recherche. Quatre paramètres à 20 valeurs, c'est 160 000 combinaisons — et sur 160 000 tirages, un magnifique résultat existe forcément, même sans aucun pouvoir prédictif.

Des règles ajoutées après coup. « Sauf le vendredi », « sauf en période de résultats ». Chaque exception retire les pertes déjà connues. On appelle ça corriger ; c'est mémoriser.

Un écart entre apprentissage et validation. Sharpe de 2,1 d'un côté, 0,3 de l'autre : ce n'est pas de la malchance, c'est la définition du surajustement.

Les protections qui fonctionnent

Réserver des données avant de commencer, et n'y toucher sous aucun prétexte. C'est la protection la plus efficace et la plus difficile à tenir — elle a sa propre leçon.

Compter les essais. Un Sharpe de 1,5 au premier essai et un Sharpe de 1,5 au 40 000^e ne valent pas la même chose. Il existe des corrections pour ça — le Sharpe dégonflé — mais elles exigent que le nombre de tentatives ait été tenu. C'est pourquoi ce projet en tient un registre : sans ce compte, le meilleur résultat reste indistinguable du plus chanceux.

Préférer le simple. À résultats comparables, la règle avec le moins de paramètres est presque toujours la meilleure — parce qu'elle a eu moins d'occasions de mémoriser.