40 536 backtests : pourquoi les meilleures configurations sont les pires

Nous avons lancé 40 536 backtests pour trouver un edge de trading. Le résultat est plus utile que celui que nous espérions : les configurations qui paraissaient les meilleures sont celles qui ont le plus mal performé sur des données qu'elles n'avaient jamais vues. Pas « moins bien qu'annoncé » — les pires du lot. Voici la méthode, les chiffres bruts, et le piège statistique qui a failli nous faire lire le résultat à l'envers.

Le dispositif

L'objectif était simple : pousser l'optimisation de paramètres aussi loin que la machine le permettait, puis juger honnêtement. Cinq familles de règles classiques — croisement de moyennes, momentum, RSI, canaux de Donchian, lead-lag — déclinées en 479 jeux de paramètres, testées dans les deux sens (normal et inversé), soit 958 configurations par instrument. Contre 91 dans notre grille précédente.

• 49 couples instrument × unité de temps (15 min, 1 h, 4 h, 1 jour)
• Frais réels de 10 points de base par changement de position — taker plus spread, ce que paie vraiment un compte de détail
• 40 536 backtests au total, exécutés en 22 secondes sur 16 cœurs

Le défaut de méthode que nous avons trouvé dans notre propre code

La première version du script sélectionnait les configurations survivantes d'après leur performance hors échantillon. Cela paraît rigoureux. Ça ne l'est pas.

Quand on choisit les meilleures parmi 958 candidates d'après le segment hors échantillon, on s'en sert comme d'un échantillon d'apprentissage. Il n'est plus hors échantillon. Cette version produisait un ratio de Sharpe de +3,52 sur une paire — un chiffre qui n'aurait rien voulu dire.

La correction tient en un découpage en trois segments plutôt que deux :

• Apprentissage (60 %) — on classe les configurations
• Validation (20 %) — on filtre celles qui passent les seuils
• Réserve (20 %) — jamais consultée pour choisir quoi que ce soit. C'est le seul segment dont le résultat a une valeur d'information.

Toute la suite de cet article ne rapporte que des chiffres de réserve.

Le verdict

Après sélection du top 20 par instrument sur l'apprentissage, puis filtrage sur la validation (Sharpe supérieur à 0,5, probabilité de surajustement inférieure à 35 %, minimum 30 transactions), 152 configurations restaient. Sur le segment de réserve :

• Ratio de Sharpe moyen : −0,232
• Médian : −0,539
• Configurations positives : 52 sur 152, soit 34 %
• Rendement moyen : −12,4 %

Autrement dit : la sélection la plus soignée que nous savions faire produit un ensemble qui perd de l'argent, et dont moins d'une configuration sur trois est rentable, sur des données qu'elle n'avait jamais rencontrées.

Le piège : une corrélation de +0,60 qui dit l'inverse de ce qu'elle semble dire

La question qui compte n'est pas « avons-nous trouvé un edge », mais « optimiser sert-il à quelque chose ». Si oui, un meilleur score en apprentissage devrait prédire un meilleur score en réserve.

Sur les 40 536 backtests, la corrélation entre les deux est de +0,60. Lue naïvement, elle valide l'optimisation. C'est faux — et c'est exactement le genre de chiffre qu'on retrouve dans les argumentaires commerciaux.

Cette corrélation est entièrement portée par le premier décile : les configurations catastrophiques en apprentissage restent catastrophiques en réserve. Un ratio de Sharpe de −39 reste mauvais partout. C'est une évidence, et elle gonfle la corrélation d'ensemble.

Il faut décomposer par décile pour voir ce qui se passe réellement. Ratio de Sharpe moyen en réserve, par décile de performance en apprentissage :

• Décile 1 (le pire en apprentissage) : réserve −5,36 — 11 % de positives
• Décile 3 : réserve −0,11 — 52 % de positives
• Décile 5 : réserve −0,25 — 48 % de positives
• Décile 7 : réserve −0,40 — 40 % de positives
• Décile 9 : réserve −0,65 — 27 % de positives
• Décile 10 (le meilleur en apprentissage) : réserve −1,04 — 23 % de positives

La relation est monotonement négative sur huit déciles consécutifs. Plus une configuration paraît belle en apprentissage, plus elle se comporte mal ensuite. Et le dixième décile — précisément ce que n'importe quel processus d'optimisation déploierait — est le pire groupe de tout l'échantillon, à l'exception des configurations manifestement cassées.

Optimiser ne fait pas rien. Optimiser nuit.

La signature de l'illusion

Le phénomène est particulièrement visible sur les unités de temps courtes, là où le nombre d'observations gonfle les ratios :

• Bitcoin 15 min, RSI inversé : Sharpe +6,63 en apprentissage → −2,92 en validation
• Ethereum 15 min, RSI inversé : +6,53 → −4,59
• Solana 15 min, RSI inversé : +6,55 → −4,90 → −6,41 en réserve

Un ratio de Sharpe supérieur à 6 sur un backtest est un signal d'alarme, pas un résultat. Aucun fonds systématique au monde ne soutient un tel niveau. Quand il apparaît, il mesure la capacité de la grille à épouser le bruit du passé.

La diversification est un multiplicateur, pas une source

Un argument classique veut que la faiblesse d'un signal isolé soit compensée par la construction de portefeuille. La recherche institutionnelle chiffre effectivement ce gain : la diversification sur des instruments décorrélés peut multiplier le ratio de Sharpe par un facteur important, très supérieur à ce qu'apporte le raffinement du signal lui-même.

Nous l'avons testé sur nos survivantes, en assemblant des paniers équipondérés de configurations mutuellement décorrélées :

• 1 heure : panier à +3,28 contre +1,75 en moyenne pour ses membres → multiplicateur ×1,87
• 4 heures : panier à −1,94 contre −0,85 pour ses membres → multiplicateur ×2,29
• 1 jour : ×0,77

Le multiplicateur fonctionne. Dans les deux sens. Sur l'unité de 4 heures, la construction de portefeuille a multiplié la perte par 2,29. C'est la démonstration la plus nette qu'on puisse en donner : la diversification amplifie ce qui existe déjà. Appliquée à un ensemble sans espérance positive, elle creuse le trou plus efficacement.

Ce que ces chiffres établissent — et ce qu'ils n'établissent pas

Ils n'établissent pas que l'edge n'existe pas. Il existe, et il est documenté chez les acteurs qui disposent de la vitesse d'exécution, de données propriétaires, et surtout d'une structure de coûts sans commune mesure avec celle d'un compte de détail.

Ils établissent une chose plus précise, et plus utile : l'optimisation de paramètres, appliquée à des règles de prix sur des marchés liquides, avec des frais de détail, ne produit pas d'avantage exploitable. Chaque « edge » que nous avions cru identifier au fil de nos travaux est mort exactement à la ligne des frais — vivant à 2 points de base, mort à 10. Ce n'est pas une malchance qui se répète, c'est le mécanisme lui-même.

C'est aussi pourquoi les backtests spectaculaires sont si faciles à produire, et pourquoi il faut les traiter comme une hypothèse à réfuter plutôt que comme un résultat. Un segment de données mis de côté et jamais consulté pendant la sélection coûte 20 % de l'échantillon. Il vaut infiniment plus que les 20 % de performance apparente qu'il retire.

La méthode compte plus que le résultat

Ce que nous retenons de ces 40 536 mesures tient en trois règles, applicables à n'importe quelle démarche systématique :

1. Réservez un segment de données et n'y touchez pas. Pas pour valider, pas pour départager deux candidats — pour rien, jusqu'au verdict final.
2. Écrivez le critère de réussite, chiffré, avant de lancer le test. Un seuil décidé après coup s'ajuste toujours à ce qu'on a trouvé.
3. Modélisez les frais réels dès la première ligne. Un backtest à frais optimistes ne teste pas une stratégie, il teste une hypothèse de courtage.

MedTrading publie ses résultats de recherche, y compris les négatifs, et tient un registre public de ses signaux incluant les perdants. Un résultat négatif rigoureusement établi ferme une question et évite d'y consacrer des mois — c'est une économie, pas un échec.

Le trading comporte des risques significatifs de perte en capital. Les méthodes, mesures et résultats présentés dans cet article le sont à titre strictement éducatif et documentaire. Ils ne constituent en aucun cas un conseil financier, une recommandation d'investissement ou une promesse de rendement. Les performances passées et les résultats de backtest ne préjugent pas des résultats futurs.