Comprendre le surapprentissage de backtest (le PBO expliqué)

Un backtest est l'un des outils les plus utiles qu'un trader puisse étudier, et aussi l'un des plus faciles pour se leurrer soi-même. Quand une stratégie affiche une belle courbe d'équité quasi verticale sur données historiques, il est tentant de supposer que l'avenir se ressemblera. Souvent, ce ne sera pas le cas. Cet article explique le surapprentissage de backtest en langage clair et introduit une mesure appelée la probabilité de surapprentissage de backtest (PBO). C'est du matériel éducatif seulement, et non un conseil financier ou une recommandation de trader.

Ce que le surapprentissage signifie vraiment

Le surapprentissage se produit quand une stratégie est ajustée si étroitement aux données de prix passées qu'elle finit par décrire le bruit aléatoire de ces données plutôt qu'un motif durable. Imaginez tester des centaines de combinaisons d'indicateurs, de seuils et de fenêtres temporelles, puis ne garder que la seule combinaison au rendement historique le plus élevé. Cette combinaison gagnante peut avoir paru géniale par pur hasard. Le marché n'a jamais promis de répéter les oscillations exactes contre lesquelles vous avez optimisé.

Une analogie simple : si vous lancez mille pièces et ne continuez à lancer que celles qui sont tombées sur face plusieurs fois d'affilée, vous vous retrouverez avec un petit groupe de pièces « chanceuses ». Rien dans leur série passée ne les rend plus susceptibles de tomber sur face la prochaine fois. La sélection de stratégie fonctionne de la même façon quand vous cherchez à travers de nombreuses variations.

Pourquoi les backtests sont si faciles à casser

Plusieurs habitudes courantes gonflent discrètement les résultats historiques :

• Parameter mining : essayer de nombreux jeux de paramètres et ne rapporter que le meilleur.
• Biais de look-ahead : utiliser accidentellement de l'information qui n'aurait pas été disponible au moment du trade.
• Biais de survivance : tester uniquement sur des actifs qui existent encore aujourd'hui, ignorant ceux qui ont été délistés.
• Ignorer les coûts : laisser de côté frais, slippage et spread, qui peuvent effacer un edge mince.
• Petits échantillons : tirer des conclusions fortes d'une poignée de trades ou d'un seul régime de marché.

Chacune de ces habitudes rend le passé plus clément que la réalité. Combinées, elles peuvent transformer un tirage à pile ou face en ce qui ressemble à un système sophistiqué.

L'idée derrière le PBO

La probabilité de surapprentissage de backtest est une estimation statistique de la probabilité qu'une stratégie qui paraissait la meilleure en échantillon sous-performe hors-échantillon. La méthode, introduite dans la littérature académique sur le backtesting financier, fonctionne en divisant à répétition vos données historiques en deux moitiés de nombreuses façons différentes. Dans chaque division, une moitié sert à choisir la stratégie apparemment la meilleure, et l'autre à vérifier comment ce choix se classe réellement.

Si la stratégie qui gagne dans la première moitié tend à tomber dans la moitié inférieure des classements dans la seconde, c'est un signal d'alarme. Le PBO résume cela sur toutes les divisions en un seul nombre entre zéro et un. Un PBO bas suggère que le gagnant en échantillon tend à rester compétitif hors-échantillon. Un PBO élevé suggère que le processus de sélection capture surtout du bruit.

Lire un résultat de PBO

Il n'y a pas de seuil universel, mais les praticiens traitent souvent un PBO en dessous d'environ dix à vingt pour cent comme encourageant, et un PBO au-dessus de cinquante pour cent comme une forte raison de prudence. Le point clé est comparatif : le PBO ne vous dit pas qu'une stratégie sera rentable. Il vous dit si votre processus de choix de cette stratégie est fiable ou s'il ne fait probablement qu'ajuster l'histoire. Un processus robuste peut quand même essuyer des pertes, car tout trading implique de l'incertitude et un risque de perte.

Habitudes pratiques qui réduisent le surapprentissage

• Réservez des données : mettez de côté une portion de l'histoire que vous ne touchez jamais durant la conception, et testez dessus une seule fois.
• Préférez la simplicité : moins de paramètres signifie généralement moins d'occasions d'ajuster le bruit.
• Testez sur plusieurs régimes : vérifiez le comportement en périodes de tendance, de range et de volatilité, pas seulement sur le passage le plus favorable.
• Incluez des coûts réalistes : modélisez frais et slippage dès le départ.
• Suivez combien de variations vous avez essayées : plus vous avez cherché, plus la chance que le meilleur résultat soit de la chance est élevée.

En résumé

Un backtest est une hypothèse sur le passé, pas une promesse sur l'avenir. Le surapprentissage est l'écart entre les deux, et le PBO est une façon structurée de mesurer la taille de cet écart. Traiter chaque courbe d'équité impressionnante avec un scepticisme sain, réserver des données intactes et garder les stratégies simples sont des habitudes qui aident à séparer un motif authentique d'une coïncidence flatteuse. Rien de tout cela ne supprime le risque : les marchés peuvent bouger contre n'importe quelle stratégie, et vous ne devriez jamais trader avec de l'argent que vous ne pouvez pas vous permettre de perdre.