Le backtest et ses pièges

Un backtest consiste à rejouer une règle sur des données passées pour voir ce qu'elle aurait donné. C'est indispensable, c'est facile à faire, et c'est extraordinairement facile à faire mal.

La difficulté n'est pas technique. Un backtest, c'est une boucle sur des bougies. La difficulté, c'est que toutes les erreurs possibles vont dans la même direction : elles rendent le résultat meilleur. Un backtest bogué n'échoue pas — il t'annonce une bonne nouvelle.

La fuite d'information

Utiliser, à l'instant t, une information qui n'était pas disponible à l'instant t. C'est l'erreur la plus fréquente et la plus destructrice, parce qu'elle est invisible dans le code : la boucle tourne, les chiffres sortent, tout semble normal.

Les formes classiques : utiliser la clôture d'une bougie pour décider pendant cette bougie ; corriger une donnée révisée plus tard ; construire son univers d'instruments à partir de ceux qui existent aujourd'hui ; entraîner un modèle sur toute la période puis le tester sur une partie de celle-ci.

🔴 Notre propre cas : +1 002,9 % qui valait −90,6 %

Un test mené ici a produit +1 002,9 % avec 5 réussites sur 5. La stratégie semblait extraordinaire.

La cause tenait en une phrase : l'horodatage d'une bougie OANDA désigne son ouverture, pas sa clôture. En appariant deux séries sans le savoir, le test utilisait une information d'un jour en avance. Après correction, la même règle donnait −90,6 %.

Un écart de 1 093 points de pourcentage, produit par un décalage d'une seule journée. Aucune ligne de code n'était fausse.

⭐ Le détecteur : où tombe le pic ?

Ce n'est pas l'inspection du code qui a révélé l'erreur, c'est une mesure — et elle est simple à refaire.

Corrèle tes deux séries à plusieurs décalages : −5, …, 0, …, +5. Le maximum doit tomber sur zéro. Deux marchés qui réagissent au même facteur y réagissent le même jour.

Dans notre cas, la corrélation prédictive valait −0,109 alors que la corrélation contemporaine ne valait que −0,050. C'est impossible dans un marché réel : une information ne peut pas mieux expliquer demain qu'aujourd'hui. Un pic ailleurs qu'en zéro signale une fuite, jamais une découverte.

L'outil ci-dessous fait ce diagnostic sur deux séries réelles. Correctement appariées, le pic est net à k = 0. Déplace le curseur d'un seul jour et regarde-le partir : rien n'a changé dans les marchés, seulement dans l'appariement des dates.

Les autres pièges, plus ordinaires

Les frais absents ou sous-estimés. Spread, commission, glissement, financement des positions gardées. C'est là que meurent la plupart des stratégies : plusieurs de celles testées ici étaient positives avant frais et négatives après.

Les remplissages optimistes. Supposer qu'on entre au prix exact, que les stops se remplissent pile au niveau, qu'il y a toujours une contrepartie. C'est faux précisément les jours qui comptent.

Le survivant. Tester sur les instruments qui existent aujourd'hui, c'est tester sur ceux qui n'ont pas disparu.

Le nombre d'essais non compté. Le plus insidieux, parce qu'il ne se voit dans aucun test pris isolément. Quarante mille tentatives produisent un excellent résultat même quand la règle testée n'a aucun pouvoir. Si le compte des essais n'est pas tenu, aucune correction n'est possible.

La règle qui résume tout

Un backtest ne peut pas prouver qu'une stratégie fonctionne. Il ne peut que prouver qu'elle ne fonctionne pas.

Un mauvais résultat est une information solide : la règle est éliminée. Un bon résultat n'est qu'une hypothèse qui a survécu à une épreuve — et qui doit encore passer l'échantillon de réserve, les frais réels, puis le marché lui-même.

Devant un backtest magnifique, la première réaction correcte n'est pas l'enthousiasme. C'est : qu'est-ce que j'ai cassé ?