Ridefinire la “E” nella EBM

Tom Jefferson1, Lars Jørgensen2

1Centre for Evidence-Based Medicine, University of Oxford, Oxford, UK; 2Nordic Cochrane Centre, København, Denmark.

Pubblicato online il 9 marzo 2018 su BMJ EBM.

Riassunto. Negli ultimi dieci anni, sono state accumulate le prove che le pubblicazioni di trial clinici commericiali sulle riviste scientifiche non sono affidabili. Non è possibile pubblicare un lavoro di 10 pagine basato su un report prodotto per fini regolatori senza operare una selezione radicale delle informazioni e dei dati. Viene così introdotto un bias insondabile che può essere talmente rilevante da distorcere il singolo report dello studio, influenzando anche i risultati delle revisioni sistematiche. Per risolvere il problema si dovrebbe compilare un indice di tutti gli studi di confronto che si è in grado di trovare su un determinato argomento per avere una panoramica quasi esaustiva: operazione indubbiamente complessa che ci ripagherebbe però in termini di completezza e affidabilità.

Redefining the ‘E’ in EBM.

Summary. In the last decade, evidence has accumulated that journal publications of commercial clinical trials cannot be trusted. We are not able to publish a 10-pager based on a regulatory report without a radical selection of information and data. This introduces unfathomable bias, sometimes so bad that it distorts single trial reports, and the findings of systematic reviews. To solve the problem we should make an index of all prospective comparative studies we could find to obtain a near-complete overview: it is complex, but rewarded with completeness and reliability.

La nostra dipendenza dalle prove generate dalle sperimentazioni pubblicate sulle riviste sarebbe stata probabilmente definita un “paradigma” dal filosofo della scienza Thomas Kuhn1. Questa dipendenza ci ha reso un buon servizio, permettendo la costruzione dell’impalcatura filosofica2 e pratica3 su cui poggia l’assistenza sanitaria basata sulle prove. Ad ogni modo, come tutti i paradigmi, presto o tardi ha iniziato a incrinarsi. La nostra fiducia nella letteratura scientifica ha bisogno di essere ridefinita, se non di essere riconsiderata radicalmente. Negli ultimi dieci anni4, sono state accumulate le prove5 – lungo uno spettro di interventi diversi6 – che le pubblicazioni sulle riviste scientifiche7 non sono affidabili. Gli articoli che riportano le sperimentazioni cliniche soffrono una malattia grave che può essere curata, ma necessita di un approccio ragionato per prevenire la minaccia crescente del reporting bias8. Quando alcuni di noi iniziarono a volgere lo sguardo verso le fonti alternative di prove per la nostra revisione Cochrane sugli inibitori della neuraminidasi per l’influenza9, circa dieci anni fa, scoprimmo che alla base di ogni articolo di 10 pagine di resoconto di uno studio c’era una ragnatela assai più complessa e profonda di dati e informazioni che esigevano attenzione. Così era, se lo studio era pubblicato in prima battuta.

Il primo problema è nella pura e semplice mole di dati. Per ogni pagina di articolo di rivista, possono esserci fino a 8000 pagine di dati regolatori sulla stessa sperimentazione clinica10. Lo chiamiamo fattore di compressione.

Un altro problema è il bias. Persino il più fedele servitore delle prove non sarebbe in grado di pubblicare un lavoro di 10 pagine basato su un report prodotto per fini regolatori senza operare una selezione radicale delle informazioni e dei dati. E visto che non abbiamo idea di quali siano i criteri per scegliere cosa pubblicare, qui viene introdotto un bias insondabile. Talvolta il bias è così rilevante che può condizionare – distorcendolo – il singolo report dello studio, ma può influenzare anche i risultati delle revisioni sistematiche, come dimostra la storia degli inibitori della neuraminidasi9.

Le prove delle distorsioni nei risultati della ricerca sono ormai sotto gli occhi di tutti e giungono principalmente dagli studi che confrontano gli articoli pubblicati sulle riviste con altre fonti di informazione11. Fonti che comprendono i dati inseriti nei registri e tipi diversi di dati regolatori, dai dossier delle agenzie regolatorie ai clinical study report (CSR) (equivalente regolatorio delle pubblicazioni scientifiche), fino alle overview dei programmi degli interi studi. Segreti e confidenziali fino a pochi anni fa, i CSR stanno venendo oggi alla luce da fonti regolatorie o industriali con un impulso apparentemente irrefrenabile. L’ultima a rilasciare i CSR è la potente Food and Drug Administration12. Il catalizzatore di questo cambiamento è stata l’ostinata resistenza per l’accesso del Cochrane Nordic Centre sostenuto dall’Ombudsman dell’Unione Europea13, che ha fatto sì che anche la European Medicines Agency modificasse le proprie politiche14,15.

In merito ai CSR, la questione non è solo che essi forniscono informazioni mancanti riguardo dettagli “marginali”, come per esempio cosa contenga un placebo o perfino che aspetto abbia9. Forniscono, infatti, anche dati sufficienti per condurre analisi stratificate, e più spesso riportano esiti rilevanti per i pazienti così da mettere a nudo il modo superficiale col quale solitamente guardiamo e analizziamo i danni degli interventi oggetto di studio6,16,17.




Dovremmo dunque ignorare le prove presentate in letteratura? Se non si interviene subito, la risposta dovrebbe essere: “probabilmente sì”. In ossequio alla legge di garbage in, garbage out (se introduci mondezza, esce mondezza), qualunque cosa noi producessimo sistematicamente nelle nostre revisioni, ne uscirebbe un sacco di rifiuti con sopra un grazioso logo della Cochrane. Uno dei problemi principali è che ignoriamo la presenza di rifiuti, dal momento che la loro invisibilità rende le distorsioni credibili e impossibili da scoprire. Questo è il motivo per cui alcuni di noi hanno sconfessato serenamente una revisione Cochrane18 i cui risultati erano stati completamente distorti, e in maniera non visibile, dal reporting bias.

I rifiuti, talvolta, hanno una valenza neutra, ma alcuni articoli non sono neutrali. Possono contenere elementi di marketing19, parte di una strategia articolata e globale. Dobbiamo solo indovinare quale sia lo scopo e quali i veri risultati. Dobbiamo smettere di produrre revisioni basate su articoli (o quantomeno solo su articoli) e guardare con urgenza a fonti che consentono spiegazioni e conclusioni alternative a partire da dati dettagliati e pressoché completi.

Come dobbiamo ridefinire il paradigma della “E”? Abbiamo da poco pubblicato un indice di tutti gli studi di confronto sui vaccini per il papillomavirus umano che siamo stati in grado di trovare20. L’indice si compone dei codici identificativi degli studi (ove possibile) e di una descrizione del loro contenuto. Prevedibilmente, solo il 62% degli studi completati è stato pubblicato e nulla della documentazione degli studi non sponsorizzati dall’industria è risultato disponibile. Il 95% degli studi è elencato nei registri di studi regolatori o delle industrie o delle banche dati bibliografiche, ma solo il 48% degli studi completati elencati su clinicaltrials.gov vede postati i risultati dello studio stesso. Abbiamo impiegato tre mesi per completare questo indice, a partire dallo scambio di corrispondenza con le agenzie regolatorie e successivamente aggiungendo studi identificati grazie al cross-referencing da numerose altre fonti: industria, registri e altre. Non così spedita e diretta come una ricerca in una banca dati elettronica. Ma è questo il punto. È più difficile e complesso perché stai arrivando più vicino a quello che realmente accade nelle sperimentazioni e a come sono di fatto condotte. Il tuo impegno è ricompensato dal disporre di una panoramica quasi esaustiva di come sia stato sviluppato un intervento importante somministrato a milioni di persone sane in giro per il mondo. I CSR sono pur sempre documenti commerciali, ma sono scritti per gli addetti ai lavori e non possono (e non dovrebbero) omettere nulla (sebbene possano avere delle incoerenze al loro interno)21. Se ci sono distorsioni, possono essere approvate o trascurate dai regolatori.

L’indicizzazione, almeno fino a oggi, passa al setaccio le risorse in modo più serrato delle ricerche nei database elettronici. I due metodi possono coesistere e forse anche essere integrati. Ma cercare dati regolatori e compilare un indice ci ha dato un’ottima idea su cosa manca e su quali siano i limiti delle nostre revisioni.

Etica ed evidenze iniziano entrambe per “E”.

Conflitto di interessi: TJ ha ricevuto un grant dal National Institute for Health Research (HTA - 10/80/01 Update e fusione di due revisioni Cochrane: neuraminidasi inibitori per la prevenzione e il trattamento dell’influenza in adulti e bambini; https: // www. journalslibrary. NIHR.AC.UK/programmi/hta/108001#/). TJ ha anche ricevuto un grant dal Cochrane Methods Innovations Fund per sviluppare linee guida su uso di dati regolatori nelle revisioni di Cochrane. TJ è saltuariamente intervistato da società di ricerche di mercato sulla fase I o II dei prodotti farmaceutici. Nel 2011-2014, TJ ha agito da perito in un contenzioso relativo all’antivirale oseltamivir, in due casi di contenzioso su potenziali danni correlati al vaccino e in un caso di lavoro sui vaccini antinfluenzali negli operatori sanitari in Canada. Ha lavorato come consulente per Roche (1997-1999), GSK (2001-2002), Sanofi-Synthelabo (2003) e IMS Health (2013). Nel 2014-2016, TJ è stato membro di tre advisory board per Boehringer Ingelheim. TJ è stato membro di un comitato indipendente di monitoraggio dei dati per una sperimentazione clinica Sanofi Pasteur su un vaccino antinfluenzale. TJ ha un potenziale conflitto finanziario di interesse sul farmaco oseltamivir. TJ è co-firmatario di una denuncia al Mediatore europeo in merito a cattiva amministrazione in relazione all’analisi EMA di possibili danni causati dai vaccini HPV.

LJ non ha conflitti di interesse da dichiarare.

Bibliografia

1. http://www.treccani.it/enciclopedia/thomas-samuel-kuhn/

2. Heneghan C, Mahtani KR, Goldacre B, et al. Evidence based medicine manifesto for better healthcare. BMJ 2017; 357: j2973.

3. Cochrane Handbook for Systematic Reviews of Interventions | Cochrane Training. http://training.cochrane.org/handbook (accessed 31 Jan 2018).

4. Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med 2008; 358: 252-60.

5. Vedula SS, Li T, Dickersin K. Differences in reporting of analyses in internal company documents versus published trial reports: comparisons in industry-sponsored trials in off-label uses of gabapentin. PLoS Med 2013; 10: e1001378.

6. Golder S, Loke YK, Wright K, Norman G. Reporting of adverse events in published and unpublished studies of health care interventions: a systematic review. PLoS Med 2016; 13: e1002127.

7. Rohner E, Grabik M, Tonia T, et al. Does access to clinical study reports from the European Medicines Agency reduce reporting biases? A systematic review and meta-analysis of randomized controlled trials on the effect of erythropoiesis-stimulating agents in cancer patients. PLoS One 2017; 12: e0189309.

8. McGauran N, Wieseler B, Kreis J, Schüler YB, Kölsch H, Kaiser T. Reporting bias in medical research - a narrative review. Trials 2010; 11: 37.

9. Neuraminidase inhibitors for preventing and treating influenza in adults and children - Jefferson - 2014 - The Cochrane Library - Wiley Online Library. 6 March 2012 https://doi.org/10.1002/psb.878 (accessed 31 Jan 2018).

10. Doshi P, Jefferson T. Clinical study reports of randomised controlled trials: an exploratory review of previously confidential industry reports. BMJ Open 2013; 3: e002496.

11. Wieseler B, Kerekes MF, Vervoelgyi V, McGauran N, Kaiser T. Impact of document type on reporting quality of clinical drug trials: a comparison of registry reports, clinical study reports, and journal publications. BMJ 2012; 344: d8141.

12. FDA Statement. FDA Commissioner Scott Gottlieb, M.D., on new steps FDA is taking to enhance transparency of clinical trial information to support innovation and scientific inquiry related to new drugs. https://goo.gl/Ay2Mvc (accessed 31 Jan 2018).

13. Gøtzsche PC, Jørgensen AW. Opening up data at the European Medicines Agency. BMJ 2011; 342: d2686.

14. https://clinicaldata.ema.europa.eu/web/cdp (accessed 31 Jan 2018).

15. European Medicines Agency. https://goo.gl/XKQ5f5 (accessed 31 Jan 2018).

16. Schroll JB, Penninga EI, Gøtzsche PC. Assessment of adverse events in protocols, clinical study reports, and published papers of trials of orlistat: a document analysis. PLoS Med 2016; 13: e1002101.

17. Hodkinson A, Kirkham JJ, Tudur-Smith C, Gamble C. Reporting of harms data in RCTs: a systematic review of empirical assessments against the CONSORT harms extension. BMJ Open 2013; 3: e003436.

18. Jefferson T, Jones M, Doshi P, Del Mar C. Neuraminidase inhibitors for preventing and treating influenza in healthy adults: systematic review and meta-analysis. BMJ 2009; 339: b5106.

19. Le Noury J, Nardo JM, Healy D, et al. Restoring Study 329: efficacy and harms of paroxetine and imipramine in treatment of major depression in adolescence. BMJ 2015; 351: h4320.

20. Jørgensen L, Gøtzsche PC, Jefferson T. Index of the human papillomavirus (HPV) vaccine industry clinical study programmes and non-industry funded studies: a necessary basis to address reporting bias in a systematic review. Syst Rev 2018; 7: 8.

21. Sharma T, Guski LS, Freund N, Gøtzsche PC. Suicidality and aggression during antidepressant treatment: systematic review and meta-analyses based on clinical study reports. BMJ 2016; 352: i65.