Frais réels, backtests qui mentent : comment 8 stratégies sur 9 sont mortes en validation

Un backtest venait de nous montrer un rendement à deux chiffres en deux mois, avec un joli ratio de Sharpe. La suite logique aurait été d'augmenter la mise. Nous avons plutôt posé la question qui fâche : que reste-t-il de cet avantage avec quatre ans de données et des frais de trading réalistes ? Réponse : presque rien. Huit familles de configurations sur neuf sont mortes en validation. Cet article documente le protocole complet, chiffres à l'appui, parce que c'est exactement le genre de résultat que personne ne publie.

Les trois mensonges favoris d'un backtest

Un backtest ne ment pas par malveillance : il ment par construction, de trois façons bien documentées.

• L'échantillon court. Deux mois de données, c'est un seul régime de marché. Une stratégie de retour à la moyenne brille dans un marché en dents de scie, puis se fait broyer par la première vraie tendance. Tester sur un régime, c'est dater une météo — pas mesurer un climat.
• Les frais sous-estimés. L'hypothèse de frais est le paramètre le plus décisif et le moins questionné. Entre 2 points de base (l'hypothèse optimiste) et 10 points de base (ordre de grandeur réaliste une fois le spread et le slippage comptés), tout change — nous allons le voir.
• La sélection du gagnant. Testez 32 variantes d'une même idée : l'arithmétique garantit qu'une variante affichera de beaux résultats, même si l'idée n'a aucune valeur. Montrer le gagnant et effacer les 31 perdants, c'est le mécanisme de base du biais du survivant.

Le protocole : rendre le mensonge difficile

Notre harness de validation applique quatre règles, inspirées des travaux de Marcos López de Prado sur le sur-ajustement et de l'approche de Robert Carver, ancien gérant systématique institutionnel.

1. Quatre ans de données, cinq années civiles. Le verdict est rendu année par année : une stratégie qui ne gagne que dans un régime n'a rien prouvé.
2. Deux scénarios de frais. Chaque configuration est évaluée à 2 points de base ET à 10 points de base par transaction. Un avantage qui ne survit qu'aux frais optimistes n'est pas un avantage : c'est une erreur d'hypothèse.
3. Un test anti-sur-ajustement (CSCV/PBO). La méthode découpe l'historique en blocs, sélectionne la meilleure configuration sur une moitié des blocs et vérifie son rang sur l'autre moitié — répété sur toutes les combinaisons. Le résultat est une probabilité que le gagnant du backtest soit un artefact de sélection.
4. Le repère « ne rien faire ». Toute stratégie est comparée au simple achat-conservation de l'actif, rendement et drawdown compris. Battre le marché en prenant plus de risque n'est pas un exploit.

Le verdict : huit points de base séparent l'avantage de la ruine

À 2 points de base de frais, plusieurs familles passaient tous les tests : suiveurs de tendance sur momentum, canaux de Donchian, croisements de moyennes. Rendements positifs, probabilité de sur-ajustement faible — le genre de tableau qui donne envie de brancher un compte réel.

À 10 points de base, les mêmes configurations perdent entre 82 % et la totalité du capital simulé sur quatre ans, avec zéro à une année gagnante sur cinq. La différence entre « avantage validé » et « ruine complète » tenait à huit points de base par transaction. Autrement dit : l'avantage n'a jamais existé — nous mesurions notre propre hypothèse de frais.

Une seule configuration a traversé les cinq années, les deux scénarios de frais et le test de sur-ajustement, en battant l'achat-conservation à la fois sur le rendement et sur le drawdown. Nous ne publierons pas son chiffre en gros titre : son année en cours est perdante, elle reste en paper trading, et un candidat unique issu de neuf tests porte mécaniquement un risque de sélection résiduel. C'est précisément parce qu'un chiffre isolé séduit que cet article existe.

Le contrat de mise en réel : décider avant, pas pendant

Pour ce survivant, la décision ne se prendra pas dans le feu de l'action. Son contrat est pré-enregistré, avant tout capital réel :

• La distribution des drawdowns, pas le drawdown maximal. Le max drawdown d'un backtest est une statistique fragile — sensible aux valeurs extrêmes et croissante avec la durée. Un rééchantillonnage par blocs (voir notre article sur la simulation Monte Carlo) produit la distribution complète : médiane, 95e percentile, pire cas. La question devient concrète : peut-on vivre le 95e percentile sans paniquer ? Si non, la taille de position est trop grande.
• Des seuils d'arrêt sur le rendement glissant. Si le rendement sur 7 ou 30 jours passe sous le 5e percentile de ce que le backtest laissait espérer, la stratégie est mise en pause et on cherche l'erreur — frais réels plus élevés que prévu, bug, ou fin de l'avantage. Décidé à froid, exécuté sans état d'âme.

Ce qu'il faut retenir pour vos propres tests

• Testez sur plusieurs régimes de marché, et exigez le détail par année.
• Doublez, puis quintuplez votre hypothèse de frais : si l'avantage s'évapore, il n'existait pas.
• Comptez toutes les variantes essayées — le gagnant d'une grille de 32 configurations doit être jugé comme tel, pas comme une idée unique. C'est le cousin du biais d'anticipation : une information que le test possède et que le marché réel ne donnera pas.
• Comparez toujours à « ne rien faire ».
• Écrivez vos critères d'arrêt avant la mise en réel, pas après la première perte.
• Méfiez-vous du langage de certitude — le nôtre comme celui des autres. Un protocole qui tue huit stratégies sur neuf fonctionne ; un protocole qui valide tout est décoratif.

C'est cette discipline que MedTrading outille : un journal de trading et des analytiques qui mesurent ce qui s'est réellement passé — frais compris — plutôt que ce qu'un backtest flatteur laissait espérer.