Nejčastější chyby při interpretaci a extrapolaci závěrů klinických studií do klinické praxe

Od klinických studií obecně je očekáváno mnohem více, než jsou schopné poskytnout.  Klinické studie jsou řízeným experimentem, zaměřeným na danou hypotézu. Jejich dogmatické používání pro hodnocení klinické praxe není rozumné. Přednáška ukazuje nejčastejší chyby při hodnocení a publikaci klinických studií. Žijeme ve věku evidence-based medicine, ale budoucnost je v medicine-based evidence.

TIP: Pro lepší zážitek zvolte režim "Celá obrazovka" (ikonka vpravo dole na liště)

Video

Textový přepis

Tip: Kliknutím na místo v textu, přetočíte přehrávané video.

Protože statistika a vlastní processing těch klinických studií není nic jiného než technologie. A kdybyste teď zrovna si chtěli usnadnit odchod na přestávku a chtěli odejít, tak já Vám rovnou řeknu "take home message". Od klinických studií obecně je očekáváno mnohem více, než jsou schopny poskytnout. A především regulátor, v současné době u nás tedy hlavně SÚKL, s nimi pracuje způsobem, který hodně převyšuje tu skutečnou váhu a jejich reálný dopad, který můžou tyto experimenty mít. Svět i Evropa postupně přechází od toho propagovaného "evidence-based medicine", což se stalo takovým zaklínadlem, jako je biodiverzita a trvale udržitelný rozvoj. Takže když někde řeknete: "I am evidence-based," tak to je dobrý. Ale ten posun k "medicine-based evidence", který jsme krásně slyšeli v přednášce pana profesora Vyzuly, se stal mainstreamem stávajícího klinického výzkumu, protože randomizované studie obecně nikdo nechce upozadit. A já tady teď nevystupuji jako nějaký laciný kritik randomizovaných studií, hlavně studií fáze III, ty vždycky půjdou, protože oni v podstatě řízeným experimentem mohou usnadnit - jedině - vstup nějakého nového léku, nové technologie na trh. Nicméně jsou to řízené experimenty, které samozřejmě nemohou vypovědět o klinické praxi v celém jejím rozsahu. A samozřejmě mohou způsobit také celou řadu nedorozumění tím, pokud nejsou udělány úplně dobře a nejsou například dobře vybalancovány. Což je ve světě personalisované medicíny čím dál tím větší problém. Pan doktor Tomášek ukázal tabulku, kde byla studie vybalancovaná v nějakých pěti parametrech, ale víte všichni, jak vypadá svět - zezadu v té studii zuří dalších možná sto parametrů, které mohou řadu výsledků té studie posunout. Jinými slovy, existuje velké množství faktorů, které mohou způsobit to trauma, které mně říkal pan profesor Kala, a to je: "Já, člověče, čtu normálně časopis a tam dvě studie proti sobě, vypadají skoro stejně, nemám čas to číst do detailu, ale oni mají úplně opačné nebo velmi rozdílné výsledky." Těch faktorů, které mohou způsobit to, že tento vzorek je opravdu jenom jakousi fotografií skutečné reálné praxe, je samozřejmě hodně. Já Vás tady nechci poučovat, mám jenom osm minut a každá z těch věcí by se dala rozpitvat velmi detailně. A samozřejmě svou velkou roli hraje i velikost vzorku. Slyšeli jste někdy pojem "publication bias"? To znamená, že se do publikace dostávají jenom studie, které dopadly aspoň trošku tak, aby vyhověly tomu, kdo je zadal, aby někdo měl slávu, mohl přednášet a tak dál. A ono se dokonce proslýchá, jsou na to i práce, že například v onkologii se až sedmdesát procent zahájených studií do té skutečné reálné publikace nedostane, protože nenaplňují tu modlu, která se jmenuje "P-value", tedy statistická významnost. Statistická významnost je jediné božstvo, které si přeje být co nejmenší. Ideálně menší než pět procent, ideálně menší než jedno procento... Já jsem Vám tady udělal ukázkový příklad, který promítám dětičkám v prvním semestru, když k nám přijdou. Mějme výšku postavy, tu si každý umí představit, rozdíl deset centimetrů, schválně jsem Vám to nezkomplikoval, máte tady stejnou variabilitu v obou dvou skupinách. A teď si představme, že ten rozdíl deseti centimetrů prokazujeme jako statisticky významný a použijeme různě velké vzorky. A čím je ten vzorek větší, tím mám samozřejmě větší to P-value a čím je ten vzorek menší, tak se třeba dostanu i na hranici statistické nevýznamnosti. A to je samozřejmě katastrofa v dnešním světě, protože kdo nemá P pod nula celá nula pět, to je nešťastník... Je odvařený, žádný Ph.D., natož pak docentura, konečná, odchod na smetiště dějin. A takhle to ale není. Je to prostě jenom nástroj, který musí být velmi dobře nastaven, a já Vám samozřejmě při dostatečně velkém vzorku, když mě dostatečně také zasolíte, dneska každý vzorek něco stojí, tak Vám prokážu jako statisticky významný i naprosto nepodstatný rozdíl, který nemá reálnou relevanci do klinické praxe. A naopak, když budu mít tu studii špatně designovanou, tak samozřejmě neprokážu i velmi podstatný rozdíl. To je moje první poznámka, která vyústila v takovou trošku kritiku toho randomizovaného světa "evidence-based medicine". A ono to pokračuje dál, protože v tom světě personalisované medicíny, kde přibývá více a více markerů, tak se ten randomizační koncept velmi často rozbíjí o samotnou realizovatelnost. Když máte randomizovat na tři faktory, tak to ještě dáte. Když byste měli randomizovat na pět markerů, nějakých sociodemografických parametrů, základních klinických parametrů, které ještě nikdo nezakázal, tak se Vám to rozpadne do takového randomizačního stromu. A když byste pak měli všude mít dostatečné N, tak musíte všechny lidi na světě donutit mít kolorektální karcinom, abyste tu studii vůbec naplnili. To je pravda. To znamená velice se v tuto chvíli preferuje odklon ke klinickým registrům a ke sledování klinické praxe, která by měla dosaturovávat ten randomizační byznys. Zaznělo tady, nevím, jestli jsem to dobře pochopil, že když lék dobře funguje, tak je neetické tu druhou skupinu chudáků trápit bez něj a nečeká se na "overall survival". To zní člověku z vesnice dobře. A naplňuje mě to optimismem, protože stárnu a vím, že také brzo v nějaké studii budu. Ne tak optimisticky to zní regulátorovi alias SÚKL, protože on trvá na tom, že musíte dodat overall survival, neboť je velice angažován v konceptu QALY, jestli znáte. A nemáte-li overall survival, nespočítáte QALY, nedostanete úhradu. A nedostanete-li úhradu, ... - dál už to znáte sami. Jinými slovy ten koncept se začíná rozbíjet i o to, že velmi často ty klinické studie buďto trvají dlouho, protože jste úspěšní lékaři, a neposkytnou ten overall survival dostatečně fresh, dostatečně rychle, a nebo ho dokonce neposkytnou vůbec, protože Vy jako lékaři jste pořád ještě hodní lidé. A kvůli nějakému regulátorovi nenecháte placebovou větev a neříkáte: "Pane Dušek, víte, máte smůlu, my máme také nějaké úhradové vyhlášky a vy prostě dostanete jenom fýzák." To neříkáte. A to je další koncept, který hodně odsouvá ten randomizovaný byznys na tu periferii toho experimentu a glorifikuje klinické studie a observační pozorování. A kdyby někdo chtěl pochybovat, já jsem si to tady schválně jenom tak scholasticky... - já se omlouvám, určitě vůbec nezapadám do programu tohoto semináře, já to vím a snažím se jít rychle ke konci - ale přesto, kdybyste si něco chtěli ode mě odnést, zkuste si otevřít tuto stránku: www.strobe-statement.org. A tam krásně srozumitelně, pro lékaře krásně napsáno, najdete kritéria, jak máte kvalitně dělat observační studie tak, abyste dosáhli "level of evidence" randomizovaných studií. Registr CORECT se těmito kritérii samozřejmě řídí a není důvod, aby regulátor typu SÚKL bazíroval dogmaticky na nějakých randomizovaných experimentech. Jednoduše proto, že ty cílové parametry klinických studií nemohou obsáhnout tu komplexnost klinické praxe. Já jsem to slyšel mockrát, nevím kolikrát Vy. Slyšeli jste mockrát to, že onkologové prodlužují život o dva tři měsíce za dva miliony korun? Tuto větu? Ta věta je veskrze lživá, protože randomizovaná studie, která byla nějak designovaná a věřme tomu, že dobře samozřejmě, nechci tady lacině do nich střílet, tak prokázala rozdíl v mediánu přežití například dva tři měsíce, protože ona si musí vzít nějaký ukazatel, aby ten experiment vůbec nastavila. Ale to vůbec nevypovídá nic o tom, co ten lék opravdu v té praxi udělá. Protože on v mediánu přežití může skutečně odlišit ty dvě ramena, ty dvě skupiny jenom o dva tři měsíce, ale potom dále, když jedete, najednou zjistíte, že takzvané reziduum přežití, když mi dovolíte tento výraz, je v této experimentální skupině, řekněme s lékem, třicet čtyřicet procent, a tady v této není skoro žádné. Takže pak rozdíl v tříletém přežití je už dramatický a rozdíl v pětiletém přežití je třeba neuvěřitelný. Tuto křivku jsem si nevymyslel, jenom jsem tam schválně nechtěl napsat číslo léku nebo jméno léku, abych tady nedělal nějakou lacinou propagandu. Jak říkám, ta koncentrace a ta extrapolace do klinické praxe postavená například jenom právě na tom mediánu přežití je vlastně nespravedlivá vůči léčbě, kterou Vy aplikujete. A když si pak spočítáte, víte všichni, jak je v Bibli velká oslava Ježíše Krista, že zachránil tři lidi, z toho vlastně dva to ani pořádně nechtěli - víte, kolik je toto člověkoroků? Ten "life year gained", který touto léčbou vlastně zařizujete, je úžasný. A teď trochu si rýpnu, doufám, že to nevyvolá nějakou diskusi proti mně, hematoonkologové jsou o malinko dál. Oni si toto už uvědomili a například u chronické myeloidní leukémie normálně publikují takzvanou landmark analýzu. Landmark je jakože lezete nahoru a zaseknete cepín a řeknete: "Tady bude tábor. A odteď jsme slavní a teď ještě zkusíme výš." To je landmark. A oni zaseknou ten landmark tady například, ve fázi nějakého dosažení první molekulární odpovědi, řeknou: "Čo bolo, to bolo, teraz jsme v remisi." To je fajn. "A odteď se počítá ale nový survival, jedeme dál." Kdybych to já udělal a tuto křivku tady zasekl takhle a toto Vám jakoby "zatajil", tak to najednou vypadá úplně jinak, že? Protože začínáme od tohoto bodu a je to tady. A já nechápu, proč se regulační orgány nedokáží domluvit s firmami na tom, aby se například tady odehrával nějaký finanční risk sharing a odsud aby to skutečně platil naplno stát, protože to jsou ti lidé, kteří profitují. A toto nepochopení extrapolace těch klinických studií do klinické praxe mi normálně dělá špatně. Akorát jsem dnes tak unavený, že se neumím ani rozčílit, tak to říkám takovým monotónním hlasem. Ale normálně by to byla úplně hrozná přednáška, protože to pak vede i k tomu, že někdo chce ty léky zakázat a nebo říká, že jsou proti lidem a já nevím co... A přitom to je absolutní nesmysl. Doufám, že jsem to řekl alespoň trošku srozumitelně. A teď přijde odpověď na otázku pana profesora Kaly, jak je možné, že čtu dvě studie a oni můžou vyjít skoro na stejném základu nějakým způsobem jinak. Omlouvám se, že ty příklady jsou hodně stupidní a na hodně malých vzorcích. Představte si, že zkoumáte účinnost dvou léků, L1 a L2, ve dvou srovnatelných nemocnicích a nebo možná teď v kontextu toho semináře bych řekl ve dvou srovnatelných studiích. Klidně tam může být studie 1, studie 2, ne nemocnice 1, nemocnice 2. Lék 1 je tady účinný ze třiceti procent, lék 2 dvacet pět procent. V nemocnici 1 vítězí lék 1, že ano? V nemocnici 2, ve studii 2 má lék 1 dokonce stoprocentní účinek, lék 2 sedmdesátipětiprocentní účinek. Vítězí lék 1. Souhlasíte se mnou? Závěr, který uděláte jako rychločtenář, který nemá samozřejmě po náročném operačním dni čas a nečte metodiku a možná ho nezarazí v první chvíli ten divný rozdíl třicet - sto, dvacet pět - sedmdesát. Řekne: "Obě dvě studie, obě dvě nemocnice ukazují, že lék 1 je lepší než lék 2." Metoda 1 je lepší než metoda 2. Tečka. Když ta data ale spojíte, tak Vám vyjde, že lék 1 je účinný ze čtyřiceti osmi procent a lék 2 z padesáti osmi procent a že to je naopak. Ha, už věříte statistikům méně, že? (smích) To ale prosím Vás nemám ze své hlavy, to já kdybych to objevil, tak už jsem dávno akademik vesmíru. Toto objevil strašně chytrý pán, Simpson, v roce devatenáct set padesát jedna. Akorát to k regulátorům úplně nedoputovalo. Proto trvají tak dogmaticky na tom, že se vždycky musí každá studie zopakovat, i kdyby "čert na koze jel", protože je to prostě studie. Jak jsem tohoto dosáhl? Samozřejmě extrémně nevybalancovaným designem a nebo spojováním studií, které k sobě nemají úplně co do sebe. Pojďte se mnou, pomalu, já myslím, že si to můžu dovolit. Jak říkám, čísla jsou schválně malá, protože velká byste si možná nedokázali překalkulovat. Lék 1, nemocnice 1, u šesti z dvaceti - třicet procent. Tady lék 2, dva z osmi - dvacet pět. Zůstávám v těch číslech, vypadá to jednoznačně ve prospěch té jedničky. Nemocnice 2, sedm ze sedmi - sto procent. Dvanáct ze šestnácti - sedmdesát pět procent. Zase to vypadá ve prospěch jedničky, léku 1. A když to spojíte, tak máte lék 1 účinný u třinácti pacientů ze dvaceti sedmi, to je čtyřicet osm procent. Ten druhý čtrnáct ze dvaceti čtyř, padesát osm a je to přesně naopak. Proto se také dělají metaanalýzy, protože dílčí studie vůbec nemusí vypovídat pravdu. Toto může nastat samozřejmě i u velkého vzorku, teď mi to musíte věřit. A je to všeobecně popsaný fenomén, který jenom asi zřejmě, už se začínáte mračit, mírně snižuje mou image. Protože statistika je jenom nástroj. Jenom hloupoučký nástroj, který v rukou člověka, který nerozumí tomu, co má hodnotit, napáchá více zla než užitku. Tak jako i kladivo, tak jako sbíječka, tak jako každý jiný nástroj. Třeba samopal. Toto byl příklad, kdy se dvě studie spolu vůbec nemusí potkat a nebo dokonce dílčím způsobem dávají opačný výsledek než spojený vzorek. Říká se tomu Simpsonův paradox, protože to je po panu Simpsonovi. On obohatil lidstvo, tak je to po něm hezky nazvané. Simpsonův paradox. Dílčí studie dají opačný výsledek než jejich metaanalytický součet. A teď je ještě jeden příklad, který samozřejmě Vy znáte z mnoha jiných pohledů. Představte si, že máte studie sledující výskyt závažných komplikací... ve dvou nemocnicích. Opět jsem vzal dvě nemocnice, můžou to být i dvě studie. V každé nemocnici tisíc pacientů, posledních all consecutive léčených, takže very good, dobře nabráno, na první pohled pro čtenáře. Nemocnice N1 má třicet procent závažných komplikací, nemocnice 2 má dvacet procent. To znamená, že závěr, který by zcela jistě udělali ti generátoři žebříčků v České republice, je jednoznačný - nemocnice N2 je bezpečnější. Tečka. Jenomže, co když je - to je takový scholastický příklad samozřejmě, já si to zkomplikuju - co když je to tak, že ta sledovaná komplikace závisí v praxi velmi silně na nějakém faktoru? Například nastává velmi významně u starších pacientů. To nevypadá jako úplně ujeté - já čím jsem starší, tím mám více komplikací, takže to tak nějak bude. Tak to není nic divného, podívat se na ten vzorek detailněji. A když se na něj podíváme takto, tak ten vzorek samozřejmě musíme rozdělit na mladší a starší pacienty. A zjistíme, že v kategorii mladších pacientů, kde těch komplikací není mnoho, vychází mírně hůře opačná nemocnice, tedy N2, nicméně přes to asi nejede vlak, to není takový hrozný rozdíl. A tady ale v té kategorii starších pacientů to může vyjít úplně přesně naopak, naprosto rozdílný "case mix", protože nemocnice N2 má mnohem méně těch zátěžových pacientů, těch komplikovanějších pacientů, a tak ta nemocnice N2 má potom také více těch komplikací a N1 je bezpečnější. A pravda je samozřejmě toto, akorát při tom jednoduchém hodnocení jsem zabil, zapomněl na tento stratifikační faktor. Tomu se říká zavádějící faktor a je to další důvod, proč můžou dvě studie i v dobré víře vyjít opačně, protože v jejich designu vzadu může být něco schováno. Toto je samozřejmě s prominutím (já vím, že to někdo filmuje, ale ostřejší slovo osvěží před přestávkou) naprosto stupidní opomenutí běžného faktoru. Přesto se běžně děje v českém zdravotnictví. Takové stupidní opomínání například věku a nebo zátěže nemocnic. Ale už méně stupidní a omluvitelné je, že někdo si nevšimne takového vlivu u molekulárně biologického faktoru, nějakého genetického faktoru, který je zrovna předmětem výzkumu. Opravdu i v dnešní době, hlavně kdy ta léčba je cílená a jde po molekulárních mechanismech, se může stát, že dvě dílčí studie můžou vyjít velmi rozdílně, protože tam zezadu působí nějaký takovýto zavádějící faktor. Já nevím, jestli jsem splnil svou historickou úlohu, žádné další vyvrcholení nečekejte. A prostě jsem to tady řekl, jak to je. Čtěte ty studie opatrně, protože faktorů, které mohou tu publikaci ovlivnit, zkreslit, je obrovské množství. A když se tady bavíme o kolorektu, tak když si vezmu velká zdravotnická zařízení, tak mají v České republice v kategorii přežití kolorektálních pacientů velmi velké rozdíly mezi sebou. A nedej bože, aby nějakou hlavu chytrou napadlo to někde publikovat, například v Rudém právu, a vyděsit těch padesát devět tisíc nemocných lidí. Protože ty rozdíly jsou dány rozdílným case mixem těch nemocnic a existuje tady nemocnice a ne jedna, kde onkochirurgická pracoviště jdou do operací jater, do kterých se na jiných pracovištích buď nepouštějí, a nebo k nim tito komplikovaní pacienti nedoputují, a to je pak samozřejmě důvodem rozdílného přežití u těch různých nemocnic. A to všechno si člověk musí uvědomit, když čte klinické studie. A dávejte si bacha na Dušky. Děkuji Vám.

Podcast

Přehrajte si zvukovou stopu videa:

Podívejte se i na další přednášky webcastu Pracovní setkání onkologů a chirurgů 2013 - webcast.

Související články

Přednáška diskutuje medicínu založenou na důkazech versus personalizovanou medicínu. Na základě jakých dat jsou formovány guideliny? Jakou roli by měla hrát personalizovaná medicína a akcentace přístupu k jednotlivým pacientům?

Radioterapie snižuje riziko lokální recidivy a má pozitivní vliv i na celkové přežití. Předoperační konkomitantní chemoradioterapie působí i na vzdálená metastatická ložiska a má lepší léčebné výsledky než samostatná radio- či chemoterapie. Přednáška hovoří o indikacích, efektu, výhodách a nevýhodách neoadjuvantní a adjuvantní radioterapie u karcinomu rekta a o přidání chemoterapie k předoperační radioterapii. V závěru  se přednášející věnuje i speciálním technikám radioterapie jako je stereotaktická radioterapie/radiochirurgie.

Úvodní přednáška bloku s kazuistikami byla zaměřena na důležitost předoperačního stagingu u pacientů s tumorem rekta.