Area Abbonati
LoginPassword
DOI 10.1701/1349.14997 Scarica il PDF (766,4 kb)
Recenti Prog Med 2013;104(10):522-531



DECIDE: uno strumento per rendere trasparenti
i criteri utilizzati per le decisioni in sanità
Elena Parmelli, Laura Amato, Carlo Saitto, Marina Davoli, per il Gruppo di Lavoro “DECIDE Italia”

Riassunto. Oggi i sistemi sanitari si confrontano con un’ampia offerta di tecnologie e di prestazioni, con la riduzione delle risorse disponibili e con l’incertezza su ciò che davvero serve alla salute delle persone. In questo contesto prendere decisioni in tempi brevi, informate dalla migliore evidenza disponibile e tenendo conto di tutte le dimensioni che concorrono alla loro formulazione, diventa sempre più difficile. DECIDE è un progetto finanziato dalla Unione Europea che, partendo dalla metodologia GRADE, ha l’obiettivo di sviluppare strategie di disseminazione e comunicazione delle evidenze scientifiche per supportare decisioni di pratica clinica e di politica sanitaria. Le strategie di comunicazione sono sviluppate in modo da rispondere alle esigenze di specifiche categorie di potenziali fruitori. In particolare, tra gli altri, si sta sviluppando uno strumento specifico che si rivolge a policy maker che debbano prendere decisioni di copertura finanziaria di interventi sanitari.

Parole chiave. Comunicazione, decisioni di coverage, disseminazione delle evidenze, linee-guida, raccomandazioni.

DECIDE: Developing and Evaluating Communication strategies to support Informed Decisions and practice based on Evidence.

Summary. Healthcare systems are offered with a wide range of technologies and services, but they have to cope with decreasing resources and the uncertainty about what is effective and more appropriate. Making decisions about health care interventions is complex. Decisions should be informed by the best available evidence, being comprehensive to take into account all the relevant aspects (e.g. efficacy, safety, equity, costs), and taken within a limited time period. DECIDE is a project funded by the European Community that, using the GRADE methodology, aims at implementing strategies to enhance dissemination and communication of scientific evidence to support on-time evidence-based decision making in clinical practice and healthcare policies. Communication strategies are developed in order to address different target audiences, trying to meet their information needs. One key target are policy makers and managers who are responsible for coverage decision making.

Key words. Communication, coverage decision making, evid­­ence dissemination, guidelines, recommendations.

Introduzione
I sistemi sanitari si confrontano con un’offerta sempre più ampia di tecnologie e di prestazioni, con la riduzione delle risorse disponibili e con l’incertezza su ciò che davvero serve alla salute delle persone. Un recente rapporto dell’Organizzazione per la Cooperazione e lo Sviluppo Economico1 sottolinea che se da un lato la maggior parte dei pazienti dà per assunto che i medici e le strutture sanitarie offrano le migliori cure possibili sulla base delle più valide e aggiornate conoscenze scientifiche, dall’altro chi finanzia il servizio sanitario vorrebbe poter essere sicuro che si stia ottenendo il miglior rapporto qualità-prezzo (value for money) possibile rispetto all’investimento finanziario fatto. Purtroppo entrambe queste assunzioni spesso non vengono soddisfatte 2-4. Il rapporto conclude con un appello affinché vengano individuati processi o strumenti espliciti che possano supportare le decisioni di finanziamento dei farmaci, delle nuove tecnologie spesso molto costose, ma anche altre tipologie di servizi necessari.
Sebbene le conoscenze scientifiche rappresentino uno solo degli elementi che influenzano la decisione, l’esperienza dimostra che troppo spesso queste non vengono prese in considerazione5,6. Le ragioni sono diverse: tra le altre, su uno stesso argomento spesso vengono condotti e pubblicati molti studi a volte con risultati contraddittori7; l’accesso alle pubblicazioni scientifiche e la comprensione delle stesse sono spesso difficili per chi non è un addetto ai lavori8; i criteri di selezione della popolazione in studio spesso non corrispondono alle caratteristiche della popolazione trattata nella comune pratica clinica9;  mancano studi che rispondano a domande rilevanti per i decisori10. In aggiunta a tutto ciò bisogna considerare anche altre dimensioni che sono importanti quando si prendono delle decisioni, tra queste il rapporto costo-beneficio, l’impatto sulla società e sulla popolazione e problemi di equità di accesso; le informazioni relative a questi aspetti sono spesso carenti. Per far fronte a tali difficoltà e colmare il divario tra i risultati della ricerca e la pratica clinico-decisionale sono stati sviluppati negli ultimi anni diversi strumenti per la sintesi e l’applicazione della ricerca, per esempio, le linee-guida e i rapporti di Health Technology Assessment (HTA). Tuttavia, a oggi, non sono disponibili strumenti che riportino le informazioni disponibili relative alle diverse dimensioni utili per prendere una decisione.
Caratteristiche generali del progetto DECIDE
DECIDE (Developing and Evaluating Communication strategies to support Informed Decisions and practice based on Evidence) è un progetto di ricerca quinquennale finanziato dalla Comunità Europea all’interno del 7° Programma Quadro (http://www.decide-collaboration.eu).
Obiettivo principale del progetto è quello di sviluppare e valutare strategie di disseminazione e comunicazione per supportare decisioni di pratica clinica e di politica sanitaria basate sulle evidenze scientifiche11.
Il programma di ricerca è articolato in otto Work-Packages (WP): cinque con il compito di sviluppare e valutare le varie strategie di sintesi e comunicazione, uno con il compito di sviluppare le piattaforme tecnologiche/multimediali di supporto alle strategie comunicative, uno che si occupa della diffusione dei risultati ottenuti e uno con funzioni di coordinamento.
Essendo stato finanziato all’interno del 7° Programma Quadro della Comunità Europea, il DECIDE si fonda su un consorzio di diverse entità e istituzioni europee:
1. Università di Dundee (Regno Unito);
2. Università di Aberdeen (Regno Unito);
3. Norwegian Knowledge Centre for the Health Services (Norvegia);
4. Research Institute of the Hospital of Santa Creu and Sant Pau (Spagna);
5. Dipartimento di Epidemiologia del Servizio Sanitario Regionale del Lazio, Roma; Network Italiano Cochrane (Italia);
6. Università di Amsterdam (Olanda);
7. Ospedale Universitario di Friburgo (Germania);
8. National Institute for Health and Clinical Excellence (NICE) (Regno Unito);
9. Scottish Intercollegiate Guidelines Network (SIGN) (Regno Unito);
10. Finnish Medical Society Duodecim (Finlandia).

A queste entità si unisce l’Organizzazione Mondiale della Sanità (OMS), che partecipa al progetto principalmente per facilitare la diffusione dei prodotti e dei risultati su ampia scala.
Le strategie di comunicazione dei risultati sono prodotte utilizzando la metodologia sviluppata dal GRADE Working Group (www.gradeworkinggroup.org). Il progetto si prefigge non solo di applicare il metodo GRADE (Grading of Recommendations Assessment, Development and Evaluation) per la sintesi delle evidenze, ma, ove possibile, svilupparne ulteriormente la metodologia (box 1).



Nel DECIDE le strategie/strumenti di comunicazione sono sviluppati specificamente per i diversi utilizzatori tenendo conto della variabilità delle esigenze informative, conoscitive e comunicative che li caratterizzano. I singoli WP del progetto, infatti, si focalizzano sullo sviluppo di strategie/strumenti mirati a specifiche categorie di persone (target audience): professionisti sanitari e membri di comitati per la produzione di linee-guida per la pratica clinica, pazienti, giornalisti e opinione pubblica, policy maker, manager e i loro staff responsabili di decisioni di politica sanitaria e di copertura finanziaria dei diversi interventi sanitari. Lo sviluppo complessivo del progetto si articola in 3 fasi:
• Fase 1: sviluppo e test delle strategie comunicative;
• Fase 2: valutazione empirica delle strategie sviluppate;
• Fase 3: applicazione delle strategie a linee guida già esistenti.

La Fase 1 è quella alla quale è dedicato maggior tempo (circa 3 anni) ed è anche la più articolata; infatti, le prime strategie/strumenti comunicativi sono stati sviluppati attraverso un processo di revisione della letteratura scientifica, consultazione con i diversi portatori di interesse (stakeholder) e discussione strutturata con comitati ad hoc di professionisti. Sono stati in questo modo individuati quei fattori (domini/criteri) che dovrebbero essere presi in considerazione per fare raccomandazioni o prendere decisioni in ambito sanitario e sono stati inseriti all’interno di un framework concettuale (strumento). Esempi di applicazione pratica del framework concettuale (su tematiche specifiche) sono poi stati sviluppati e testati all’interno di workshop durante i quali sono stati raccolti i feedback dei partecipanti. Il framework concettuale è stato (ed è tutt’ora) sottoposto a un formale processo di user testing, seguendo un adattamento del Honeycomb model of user experience di Peter Morville 16 per lo studio dell’architettura dell’informazione, durante il quale, attraverso interviste singole semi-strutturate, vengono analizzate dimensioni relative all’utilizzo dello strumento quali: accessibilità, desiderabilità, usabilità, utilità, credibilità e valori.
Lo sviluppo del framework concettuale avviene attraverso un processo iterativo nel quale i feedback raccolti nelle varie fasi in cui viene testato vengono utilizzati per rivedere la sua struttura e sottoporlo di nuovo al giudizio di campioni selezionati delle diverse target audience (figura 1).
La Fase 2 prevede una formale valutazione empirica delle diverse stategie/strumenti sviluppati nel corso della Fase 1 attraverso l’utilizzo di disegni di studio osservazionale e, se possibile, in studi randomizzati.
La Fase 3 concluderà il progetto testando formalmente le strategie/strumenti identificati come più efficaci per la comunicazione e disseminazione di linee-guida già esistenti e in contesti di reale applicazione per prendere decisioni di pratica clinica o politica sanitaria.




Lo strumento DECIDE
per le decisioni di copertura economica
di interventi sanitari
Nell’ambito del progetto DECIDE, il gruppo italiano è responsabile di un workpackage dedicato allo sviluppo di strategie/strumenti rivolti a policy maker, manager e ai loro collaboratori, che debbano prendere decisioni di copertura finanziaria di interventi sanitari (coverage). Con il termine coverage si indicano decisioni che riguardino se e come introdurre o interrompere (o chiedere di introdurre/interrompere) la copertura finanziaria di farmaci, test, dispositivi, servizi o programmi di intervento. Queste decisioni possono avere luogo sia a livello nazionale sia regionale o addirittura locale. Per sviluppare questo specifico framework ci si è avvalsi, oltre che delle metodologie sopra descritte, di un comitato di 10 policy maker e manager italiani selezionati che hanno partecipato a diverse riunioni di brainstorming dove venivano presentate versioni preliminari dello strumento e di un Advisory Board internazionale composto da 45 membri a diverso titolo coinvolti in attività di ricerca o applicazione dei risultati della ricerca in sanità.
La prima fase del progetto è stata dedicata alla definizione del concetto di coverage. I diversi sistemi di finanziamento dei paesi partecipanti al progetto rendono non facile individuare una definizione comune. Raramente le decisioni di copertura finanziaria di interventi sanitari sono decisioni dicotomiche. Molto spesso è necessario definire a priori sottogruppi di popolazioni per le quali prevedere la copertura finanziaria. Ciò è vero sia a livello di sistema sanitario (per es., programmi di screening mammografico per specifici sottogruppi di età), sia a livello locale (per es., anticoagulanti orali solo per una determinata categoria di pazienti). Il framework è stato quindi sviluppato anche tenendo conto delle possibili applicazioni in contesti differenti (italiano vs europeo; sistema sanitario nazionale vs privato; livello nazionale vs livello locale).
Struttura del framework
per decisioni di coverage (EtCD)
L’Evidence to Coverage Decision (EtCD) si presenta come un documento sintetico e strutturato che presenta le informazioni nel modo più intuitivo e comprensibile possibile ed è sviluppato per rispondere a una domanda (per es., “I nuovi anticoagulanti orali dovrebbero essere rimborsati dal SSN per i pazienti con fibrillazione atriale?”). La domanda deve essere formulata secondo il criterio noto come PICO (definizione di: Popolazione in studio, Intervento considerato, intervento di Confronto e Outcome/esito valutato).
Lo strumento è suddiviso in tre parti: la prima parte presenta il quesito di coverage e le informazioni di background che servono per inquadrare la tematica trattata; la seconda parte si presenta come una tabella a 5 colonne (domini, criteri, giudizi, prove di efficacia e ulteriori informazioni) ognuna delle quali fornisce informazioni per le singole dimensioni individuate come essenziali per prendere questo tipo di decisione; la terza parte riassume gli elementi che servono per prendere la decisione (bilancio delle conseguenze positive e negative, decisione finale, eventuali restrizioni, giustificazioni e aspetti relativi all’implementazione della decisione).
I domini e i criteri presenti nella seconda parte dell’EtCD sono riassunti in tabella 1.
Le informazioni presenti per ciascun dominio/criterio sono riportate nella colonna “Prove di Efficacia”, se derivanti da ricerca empirica, o nella colonna “Ulteriori Informazioni”, se invece derivano da editoriali, opinioni di esperti, commenti di contestualizzazione, ecc.
La colonna “Giudizi” contiene opzioni predefinite che rappresentano risposte multiple alle domande che definiscono i “Criteri”. I “Giudizi” si articolano solitamente in tre livelli (per es., “Sì”, “Incerto”, “No”).
Le informazioni relative ai “Benefici e Rischi” riportate nella colonna “Prove di Efficacia” vengono sintetizzate e valutate qualitativamente utilizzando il metodo GRADE.
Nella terza parte dell’EtCD il decisore, oltre che valutare il rapporto tra le conseguenze desiderate e indesiderate dell’introduzione di un dato intervento, può esprimere la sua decisione di coverage secondo tre modalità: “Rimborso”, “Nessun rimborso”, oppure “Rimborso nel contesto di una sperimentazione clinica (condizionato)”.
Sempre in questa parte vanno specificati i dettagli di possibili “Restrizioni” all’erogazione dell’intervento, “Giustificazioni” per la decisione presa ed eventuali indicazioni di “Implementazione”.
Il framework concettuale deve essere preparato e pre-compilato in alcune parti da esperti in metodologia della ricerca, lasciando al decisore la compilazione della colonna “Giudizi” e la terza parte dell’EtCD. Un esempio di EtCD applicato a una decisione di coverage riguardante una ipotetica introduzione di nuovi farmaci (nuovi anticoagulanti orali) in un prontuario terapeutico regionale è mostrato nell’Appendice.



Stato dell’arte del progetto
A oggi sono stati organizzati 5 workshop nazionali e internazionali, durante i quali è stato presentato il framework concettuale. Ai partecipanti dei workshop (220 in totale) è stato chiesto di simulare un’applicazione pratica dell’EtCD per prendere decisioni di coverage, raccogliendo i feed­back dei partecipanti per poter raffinare lo strumento attraverso i suggerimenti dei potenziali utilizzatori. Applicazioni pratiche del framework sono state preparate su 6 tematiche specifiche: 3 su copertura finanziaria di nuovi farmaci, 2 su tecnologie diagnostico-terapeutiche e 1 su un dispositivo medico.
Attraverso un questionario strutturato reso disponibile online sono stati raccolti commenti, criticità e suggerimenti rispetto a dimensioni fondamentali per lo sviluppo dello strumento quali: esaustività, rilevanza, applicabilità, logica, chiarezza, utilizzabilità, sostenibilità, adeguatezza e utilità.
Delle 77 persone a oggi contattate (il reclutamento è ancora in atto), 49 (63%) hanno risposto. L’82% dei rispondenti ha giudicato il framework adeguato per lo scopo che si prefigge; sono stati inoltre espressi giudizi positivi sulla semplicità (83%) e l’utilità (71%) dello strumento che per il 61% dei rispondenti sembra essere applicabile a diversi tipi di decisioni di coverage (per es., locale vs nazionale). La principale criticità emersa dai risultati preliminari della consultazione riguarda l’esaustività del framework: solo il 43% dei rispondenti ha giudicato il framework esaustivo. In particolare, maggiori dettagli/informazioni sono stati richiesti rispetto a dimensioni quali i costi, la fattibilità e la capacità di attuare l’intervento oggetto della decisione e fattori di contesto come eventuali piani di implementazione. Una considerazione più generale riguardava la necessità di sviluppare un manuale operativo che definisse ulteriormente i requisiti informativi dei diversi criteri individuati e le relative fonti informative.
Discussione e conclusioni
A vent’anni di distanza dall’avvento della cosiddetta medicina basata sulle prove (evidence-based medicine - EBM), sono sempre di più gli ambiti nei quali si auspica, almeno come dichiarazione di principio, che le decisioni vengano prese sulla base delle evidenze. Troppo spesso si ricorre a una definizione piuttosto generica di evidenza e si assume che le decisioni sanitarie siano evidence-based anche quando si basano su poche e selezionate conoscenze scientifiche. Gli ultimi vent’anni ci hanno insegnato che la sola produzione di conoscenze scientifiche e financo la produzione di linee-guida basate sulle evidenze non sono sufficienti a modificare la pratica clinica o a orientare le decisioni di politica sanitaria 2,17. Questo avviene sia per un limite delle conoscenze scientifiche stesse, sia per l’incapacità di comunicare in modo efficace le conoscenze, ma anche perché si tende a trascurare quelle ulteriori dimensioni che dovrebbero concorrere alla decisione finale18,19. In una fase di grave ristrettezza economica come quella attuale è vieppiù necessario che le scelte di politica sanitaria, in particolar modo in un sistema sanitario nazionale universalistico, siano tali da garantire a tutti i cittadini gli interventi sanitari che hanno un buon rapporto beneficio/rischio. La disponibilità di uno strumento sintetico che proponga in maniera trasparente le informazioni necessarie a prendere una decisione potrebbe rappresentare un primo passo verso una decisione informata. Il framework concettuale, infatti, non vuole essere una checklist che semplifica il processo decisionale attraverso risposte giuste o sbagliate che portano a una decisione guidata, bensì si propone come uno strumento che rende esplicite le dimensioni necessarie per prendere una decisione di coverage, fornisce una valutazione della qualità delle evidenze scientifiche disponibili e contestualizza la problematica in esame per accompagnare il decisore in un processo trasparente di analisi dei diversi fattori che contribuiscono a quella che sarà la sua decisione finale.
Il processo di sviluppo di questo strumento è ancora in atto, ma i feedback ricevuti durante gli incontri di presentazione e i test sono complessivamente positivi. Sono state identificate alcune criticità relativamente allo strumento in sé che riguardano le modalità di presentazione dei dati di efficacia (quantitativo vs qualitativo; tipo di misure d’effetto; ecc.), sia per gli esiti clinici sia per quelli economici. Maggior dettaglio e sistematicità sono inoltre stati richiesti per le informazioni presenti nei domini “Valori e Preferenze”, “Equità” e “Applicabilità”, resi particolarmente problematici dalla carenza di evidenze disponibili.
Al di là delle criticità tecniche sullo strumento in sé, che sono certamente superabili, è necessario immaginare uno scenario nel quale sia definito il ruolo di chi è responsabile per la produzione di questo strumento e del processo attraverso il quale lo strumento stesso viene messo a disposizione dei decisori. Questo per favorire il processo di decisione che spesso ha tempi molto stretti e viene compiuto sulla base di informazioni molto limitate. Nel nostro contesto, per esempio, il framework potrebbe essere utilizzato non tanto a livello di singolo decisore, ma piuttosto all’interno di commissioni, quali quelle dei prontuari farmaceutici o quelle preposte a definire criteri specifici per la copertura finanziaria di interventi, che sono chiamate a modulare ulteriormente criteri di copertura per interventi rispetto ai quali è già stata assunta una decisione a livello nazionale.
L’importanza e il valore aggiunto dello sviluppo di un framework all’interno di un progetto europeo consiste, oltre che nella condivisione e collaborazione internazionale, nella possibilità di testarlo in contesti diversi in modo da avere una diffusione il più ampia possibile. Nel futuro gli sforzi si concentreranno sullo sviluppo ulteriore dei contenuti ovvero di come debbano essere presentate le informazioni relative ai diversi domini per risultare utili e comprensibili.
Ringraziamenti
Il coinvolgimento italiano nel progetto DECIDE è frutto dell’impegno, dell’intelligenza e dell’entusiasmo di Alessandro Liberati che ha coordinato e ispirato il lavoro fin dall’inizio.
Advisory Board: Phil Alderson, Giovanni Apolone, Luciana Ballini, Juan Antonio Blasco, Marina Capasso, Augusto Cavina, Marina Cerbo, Americo Cicchetti, Phil Dahm, Luca De Fiore, Flori De Grassi, Nerina Dirindin, Benjamin Djulbegovic, Philippe Duclos, Pierre Durieux, Giovanni Fattore, Carlo Favaretti, Marica Ferri, Giovanni Frezza, Pietro Grasso, Roberto Grilli, Jeremy Grimshaw, Gino Gumirato, Mark Helfand, Chris Henshall, Suzanne Hill, Tracey Koehlmoos, Thomas Kosloff, Mariella Martini, Giorgio Mazzi, Ubaldo Montaguti, Sabina Nuti, Carlo Perucci, Kyriakoula Petropulacos, Giovanni Pieroni, Laura Sampietro Colom, Trevor Sheldon, Vijay Kumar Shukla, Sharon Straus, Piero Superbi, Giuseppe Traversa, Hans Vasquez.
Un ringraziamento particolare a Gino Tosolini che ha avuto appena il tempo di partecipare all’avvio di questo progetto ma ne ha anticipato, con il suo lavoro, il senso e la ragione.
I membri del DECIDE Consortium (http://www.decide-collaboration.eu).
Il Progetto DECIDE è stato finanziato dalla Comunità Europea all’interno del Settimo Programma Quadro (FP7/2007-2013), grant agreement n. 258583.
Bibliografia
1. OECD Health Policy Studies “Value for Money in Health Spending” 2010. http://www.oecd.org/health/valueformoney
2. De Vito C, Nobile CG, Furnari G, et al. Physicians’ knowledge, attitudes and professional use of RCTs and meta-analyses: a cross-sectional survey. Eur J Public Health 2009; 19: 297-302.
3. World Health Assembly. Resolution on health research. 2005. http://www.who.int/rpc/meetings/58th_WHA_resolution.pdf
4. Grol R, Grimshaw J. From best evidence to best practice: about effective implementation of change in patient care. Lancet 2003; 362: 1225-30.
5. McGlynn EA, Asch SM, Adams J, et al. The quality of health care delivered to adults in the United States. N Engl J Med 2003; 348: 2635-45.
6. Grimshaw JM, Shirran L, Thomas R, et al. Changing provider behavior: an overview of systematic reviews of interventions. Medical Care 2001; 39 (8 suppl 2): II-2-45.
7. Oxman AD, Glasziou P, Williams JW. What should clinicians do when faced with conflicting recommendations? BMJ 2008; 337: a2530.
8. Domenighetti G, Grilli R, Maggi JR. Does provision of an evidence-based information change public willingness to accept screening tests? Expectations 2000; 3: 145-50.
9. Van Spall HG, Toren A, Kiss A, Fowler RA. Eligibility criteria of randomized controlled trials published in high-impact general medical journals: a system­atic sampling review. JAMA 2007; 297: 1233-40.
10. Chalmers I, Glasziou P. Avoidable waste in the production and reporting of research evidence. Lancet 2009; 374: 86-9.
11. Treweek S, Oxman AD, Alderson P, et al.; DECIDE Consortium. Developing and Evaluating Communication Strategies to Support Informed Decisions and Practice Based on Evidence (DECIDE): protocol and preliminary results. Implement Sci 2013; 8: 6.
12. Atkins D, Best D, Briss PA, et al.; GRADE Working Group. Grading quality of evidence and strength of recommendations. BMJ 2004; 328: 1490.
13. Guyatt GH, Oxman AD, Kunz R, et al. GRADE guidelines: 2. Framing the question and deciding on important outcomes. J Clin Epidemiol 2011; 64: 395-400.
14. Balshem H, Helfand M, Schünemann HJ, et al. GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol 2011; 64: 401-6.
15. Andrews JC, Schünemann HJ, Oxman AD, et al. GRADE guidelines: 15. Going from evidence to recommendation-determinants of a recommendation’s direction and strength. J Clin Epidemiol 2013; 66: 726-35.
16. Rosenbaum SE, Glenton C, Cracknell J. User experiences of evidence-based online resources for health professionals: user testing of The Cochrane Library. BMC Med Inform Decis Mak 2008; 8: 34.
17. Coleman P, Nicholl J. Influence of evidence-based guidance on health policy and clinical practice in England. Qual Saf Health Care 2001; 10: 229-237.
18. Michie S, Lester K. Words matter: increasing the implementation of clinical guidelines. Qual Saf Health Care 2005; 14: 367-70.
19. Michie S, Johnston M. Changing clinical behaviour by making guidelines specific. BMJ 2004; 328: 343-5.














Il Pensiero Scientifico Editore
Riproduzione e diritti riservati  |  ISSN online: 2038-1840