L'échantillon de réserve

Mets 20 % de tes données de côté. N'y touche pas. Pas pour vérifier une intuition, pas pour départager deux variantes, pas « juste pour voir ».

C'est la règle la plus simple à énoncer, la plus difficile à tenir, et de loin la plus rentable de ce module.

Pourquoi deux segments ne suffisent pas

Le découpage habituel — apprentissage et test — semble raisonnable. Il ne l'est pas, dès qu'on essaie plus d'une idée.

Tu testes une variante sur le segment de test : décevant. Tu ajustes, tu retestes : mieux. Encore une fois, encore mieux. Au bout de dix passages, le segment de test a servi à choisir — il fait donc partie de l'apprentissage, même s'il en porte encore le nom. Le chiffre qu'il produit ne mesure plus rien.

La fuite ne passe pas par le code, elle passe par toi. Chaque décision prise en regardant ce segment y transfère de l'information.

Le découpage en trois

Apprentissage (60 %). Là où l'on cherche, on essaie, on se trompe. Autant de tentatives qu'on veut.

Validation (20 %). Là où l'on départage les candidats retenus. Consultée, mais avec parcimonie : chaque consultation l'use.

Réserve (20 %). Jamais consultée pour choisir quoi que ce soit. Elle ne sert qu'une fois, à la toute fin, pour répondre à une seule question : ce qu'on a retenu vaut-il quelque chose ?

La réserve n'est pas un troisième test. C'est le seul chiffre du processus qui n'ait pas été contaminé par les décisions prises en cours de route.

Ce qu'elle nous a appris

Sur 40 536 backtests, la sélection a été faite sur l'apprentissage, filtrée sur la validation, et le résultat annoncé sur la réserve. Verdict pour le meilleur décile en apprentissage : −1,04 de Sharpe et 23 % de configurations gagnantes sur la réserve.

Sans ce troisième segment, la conclusion aurait été l'inverse — « nos meilleures configurations sont excellentes » — et elle aurait été fausse. Ce sont ces 20 % mis de côté qui ont transformé un mois de recherche en résultat utilisable plutôt qu'en illusion coûteuse.

C'est ça, le rendement de la règle : elle ne fait pas gagner d'argent, elle empêche d'en perdre en croyant avoir trouvé.

Comment la tenir

Découper avant de regarder. Le tout premier geste, avant la moindre exploration.

Séparer physiquement. Un autre fichier, un autre dossier, chargé par un autre script. La friction n'est pas de la mise en scène : c'est le mécanisme actif.

Découper dans le temps, pas au hasard. Sur des séries financières, un tirage aléatoire place des points voisins de part et d'autre — et des jours voisins se ressemblent, donc l'information fuit. La réserve doit être une période, de préférence la plus récente : c'est celle qui ressemble le plus à demain.

Écrire d'avance ce qu'on en attend. « La stratégie est retenue si son R moyen sur la réserve dépasse X. » Écrit avant, ça tranche. Écrit après, ça se négocie.

🔴 Une fois consultée, elle est morte

Le point le plus dur. Si tu regardes la réserve et que le résultat est mauvais, tu ne peux pas retourner ajuster puis revenir. La réserve a servi ; elle est désormais un segment d'apprentissage comme les autres.

Le mauvais résultat est un résultat : la stratégie est éliminée. C'est frustrant, c'est exactement ce à quoi sert le dispositif, et c'est la seule manière de ne pas mettre de l'argent derrière un souvenir.

Si tu veux vraiment continuer à chercher, il faut de nouvelles données — pas une nouvelle lecture des mêmes.