Czy system działa tak, jak obiecywał backtest? Jak mierzymy kondycję strategii na żywo

2026-10-30 · Strategy

Każdy, kto handluje systemem przetestowanym w backteście, prędzej czy później zadaje sobie to samo pytanie. Trzecia stratna transakcja z rzędu: to zwykły pech, który backtest przewidział, czy znak, że rynek się zmienił i strategia przestała działać? Patrzenie na pojedyncze transakcje niczego nie rozstrzyga. Backtest nie obiecuje, że każde wejście zarobi, tylko pewien rozkład wyników — z pechowymi seriami włącznie.

Zbudowaliśmy więc moduł, który zadaje to pytanie co dzień i odpowiada liczbami. Ten artykuł opisuje, jak działa, i co pokazał już pierwszego dnia.

1. Każda transakcja na tle swojego backtestu

Punktem wyjścia są wszystkie transakcje każdego scenariusza z backtestu strategii, na trzech przebiegach z przesuniętymi momentami wejść. Wynik transakcji liczymy jako ruch ceny w stronę pozycji, bez dźwigni. Dzięki temu da się porównać konta z różną dźwignią i wielkością pozycji z backtestem i ze sobą nawzajem.

Każda transakcja na żywo dostaje percentyl: jaka część transakcji tego samego scenariusza w backteście wypadła gorzej. Jeśli system działa tak jak w backteście, percentyle rozkładają się równo, a ich średnia wynosi około 50%. Pojedyncza transakcja na 5. percentylu nic nie znaczy — w backteście też co dwudziesta była tak słaba. Dopiero średnia z wielu transakcji wyraźnie poniżej 50% mówi, że coś się zmieniło. Ile to „wyraźnie”, zależy od liczby transakcji: przy 4 przypadek łatwo zepchnie średnią do 35%, przy 40 już nie.

2. Otwarta pozycja: gdzie powinna być po tylu godzinach

Zamknięte transakcje to wiedza po fakcie. Dla otwartych pozycji porównujemy ich obecny wynik z tym, gdzie były transakcje backtestu w tym samym wieku — po godzinie, 3, 6, 12, 24 godzinach i dłużej — osobno dla wszystkich i dla tych, które skończyły się zyskiem.

Przykład z pierwszego dnia: short z Breakout Down SHORT na BTC, otwarty na dwóch kontach, po 4,6 godziny był 2,5% pod kreską. W backteście mediana tego scenariusza w tym wieku to +0,8%, a żadna transakcja nie była wtedy tak słaba — percentyl 0%. To nie jest sygnał do zamknięcia: wcześniej sprawdziliśmy, że przedwczesne wychodzenie z pozycji, np. na sygnał przeciwnego scenariusza, wyraźnie obniża wynik. Ale to informacja, że ta pozycja idzie inaczej niż wszystko, co strategia widziała w historii.

3. Rynek czy wykonanie?

Pierwszy raport pokazał wyraźny sygnał. 19 sygnałów na żywo od 11 września wypadło średnio na 33. percentylu backtestu:

Taka różnica może mieć dwie przyczyny. Albo rynek tych tygodni był dla tych scenariuszy zły, albo trader na żywo robi coś inaczej niż symulacja: później wchodzi, wcześniej wychodzi, płaci poślizgi. Żeby je rozdzielić, sprawdzamy backtest z tego samego okresu. Wypadł podobnie słabo — na BTC 39. percentyl, na SOL 34. Większość różnicy to więc rynek: wrzesień i październik były trudne zwłaszcza dla scenariusza Puell Hot Trend LONG. Jednocześnie backtest z całych ostatnich 180 dni, zbiorczo dla wszystkich scenariuszy, jest w normie (47. percentyl) — to nie jest powolny zanik przewagi, tylko słaby okres.

Mniejsza część różnicy to wykonanie. Przy tych samych wejściach Puell Hot Trend LONG na żywo zarobił 30 września +0,3% wobec +2,4% w backteście, a 15 października wyszedł na zero, gdy backtest dał +2,4%. Takie pary wskazują konkretne transakcje do porównania krok po kroku z symulacją.

4. Jedna liczba — i dlaczego potrzebuje drugiej

Do szybkiej oceny całości służy jakość systemu w skali 0–100: dwukrotność średniego percentyla, więc 100 znaczy „jak backtest albo lepiej”, a 50 — że typowa transakcja ląduje na 25. percentylu. Przy niewielu transakcjach na żywo wynik jest dociągany do backtestu z ostatnich miesięcy, tak jakby ten był dziesięcioma dodatkowymi transakcjami. Dzięki temu dwie pierwsze transakcje nie wywracają oceny, a przy kilkudziesięciu decydują już one same.

Pierwsza wersja miała jedną wadę: wynik 76 świecił na czerwono. Liczba mówiła „nieźle”, kolor — „alarm”. Oba były prawdziwe, bo odpowiadały na różne pytania: o ile gorzej i na ile jesteśmy tego pewni. Rozdzieliliśmy je: opis zależy od samej liczby (90–100 jak backtest, 75–90 słabiej, poniżej 75 dużo słabiej), a pewność podajemy osobno, w procentach. Kolor pojawia się dopiero od 95% pewności. Pierwszy odczyt: 76 — słabiej niż backtest, pewność 99%.

5. Które scenariusze naprawdę niosą wynik

Ten sam materiał daje ranking. Wkład scenariusza to średni ruch na transakcję razy liczba transakcji w roku — przeliczone na rok, bo historia BTC w erze ETF jest dłuższa niż SOL. Na górze dwa bardzo różne typy: Exchange Inflow Fund Outflow SHORT na SOL (13 transakcji w roku po +2,9%) i Weekly Trend Dip LONG na BTC (27 transakcji po +1,4%). Zaraz za nimi rzadkie, ale duże wejścia: Leverage Flush SHORT na SOL wchodzi niecałe trzy razy w roku, za to średnio o 11%. Na dole są scenariusze, które w erze ETF prawie nie wchodzą albo raz zaszkodziły — kandydaci do przeglądu.

Kwartalne wyniki pokazują też wolne trendy, których nie widać w pojedynczym teście. Weekly Trend Dip, najczęściej handlujący scenariusz, zarabiał średnio 1,7–4,6% na transakcję w 2024 roku, 0,3–1,1% w 2025 i od −0,7% do +1,5% w 2026. Wciąż zarabia, ale coraz mniej na transakcję — warto to obserwować, zanim stanie się problemem.

6. Backtest a prawdziwy handel w czasie

Ostatni element to wykres: miesięczna suma ruchów ceny w backteście i na żywo, od pierwszej transakcji na żywo. Kluczowe zastrzeżenie: backtest symuluje dzisiejszą konfigurację, a ta zmieniała się przez cały rok.

Do lipca handel na żywo był dużo słabszy niż backtest — wtedy jednak działała inna, wcześniejsza konfiguracja, a backtest liczy wszystko na dzisiejszej. Od sierpnia, na ustawieniach zbliżonych do obecnych, realny handel szedł z backtestem łeb w łeb, a w sierpniu go wyprzedził. Październik jest pierwszym miesiącem, w którym oba są na minusie, z wyraźnie gorszym wynikiem na żywo — i to dokładnie ten okres, który wskaźnik jakości oznaczył jako słabszy.

Ograniczenia

• Większość scenariuszy wchodzi kilka razy w roku. Dla nich wnioski będą przez miesiące niepewne, a moduł mówi to wprost zamiast świecić na czerwono po dwóch słabych transakcjach.
• Wzorcem jest backtest z konkretnej konfiguracji. Po każdej większej zmianie strategii trzeba policzyć nowy wzorzec.
• Ruch bez dźwigni porównuje jakość wejść i wyjść, ale nie wielkość pozycji — tę ocenia osobno wynik konta.

Podsumowanie

• Pojedyncza transakcja nic nie mówi o systemie. Percentyl w rozkładzie backtestu i średnia z wielu transakcji — tak.
• Pierwszy odczyt: jakość systemu 76/100, słabiej niż backtest, z pewnością 99%.
• Backtest z tych samych tygodni był podobnie słaby, więc to głównie rynek, a mniejszą część różnicy da się przypisać konkretnym wyjściom na żywo.
• Ranking i wyniki kwartalne pokazują, które scenariusze niosą wynik, a które powoli tracą przewagę.
• Od sierpnia, na konfiguracji zbliżonej do obecnej, handel na żywo szedł z backtestem w parze.

Najważniejsza lekcja jest prosta: o tym, czy system przestał działać, nie decyduje ostatnia transakcja ani ostatni tydzień, tylko to, czy wyniki wyraźnie i trwale odjeżdżają od tego, co backtest uznawał za normalne.