Audit & Feedback: come funziona*

Norina Di Blasio1, Anna Acampora2, Laura Angelici2, Eva Pagano3, Giovannino Ciccone3, Nera Agabiti2 per il gruppo di ricerca EASY-NET

1Think2it, Il Pensiero Scientifico Editore, Roma; 2Dipartimento Epidemiologia del Servizio Sanitario Regionale del Lazio, ASL Roma 1; 3SSD Epidemiologia Clinica e Valutativa - CPO, AOU Città della Salute e della Scienza di Torino.

Riassunto. Questo articolo è il primo di una serie che ha come obiettivo la descrizione della metodologia dell’Audit & Feedback (A&F). Vengono messi a fuoco alcuni elementi chiave su cos’è e come funziona l’A&F. Pur essendo uno strumento efficace per promuovere il cambiamento dei comportamenti professionali e migliorare la qualità dell’assistenza, esiste ancora una sostanziale incertezza su come realizzare interventi di A&F per massimizzarne gli effetti. L’articolo spiega in che modo progettare A&F più efficaci su problematiche rilevanti, tenendo conto sia della letteratura disponibile sia delle esperienze dirette condotte nel Servizio Sanitario Nazionale (SSN). Gli interventi di A&F dovrebbero essere finalizzati a raggiungere obiettivi chiari, perseguibili e valutabili, che riguardino aspetti dell’assistenza sui quali esista una solida evidenza di letteratura e un potenziale margine di miglioramento. Il feedback, basato su dati che misurano eventuali distanze tra quanto atteso e osservato nella pratica locale, deve essere destinato a coloro che possono perseguire il cambiamento proposto e che devono fidarsi anche del processo di raccolta e analisi dei dati. Il feedback deve essere fornito più di una volta, in forma verbale e scritta, e deve includere obiettivi espliciti e un piano d’azione. Nel progettare interventi di A&F è importante ricordare che è essenziale fornire dati specifici (per es., aggregati a livello di ­team, reparto, singolo medico) anziché generali, inviandoli direttamente al professionista o al reparto interessato piuttosto che genericamente all’Azienda Sanitaria coinvolta. Inoltre, è sostanziale semplificare il messaggio, affinché il personale destinatario del feedback possa comprendere molto rapidamente la qualità delle proprie prestazioni e come eventualmente modificarle. Infine, è necessario favorire le opportunità di collaborazione tra le diverse figure che in ambito sanitario hanno responsabilità sulla qualità dell’assistenza e competenza di interventi di miglioramento (professioni sanitarie, direzioni sanitarie, personale esperto di qualità, metodologi). Fare rete tra il personale migliora la conoscenza e l’efficacia dell’A&F. Dall’esperienza italiana, nell’ambito del programma di rete EASY-NET, questo articolo propone infine degli esempi pratici su due aspetti importanti nella pianificazione dell’A&F: come aumentare la partecipazione e il coinvolgimento dei destinatari dell’intervento e i pro e i contro legati alla scelta tra l’utilizzo di dati disponibili di routine da sistemi informativi sanitari (SIS) e dati raccolti ad hoc.

Parole chiave. Audit & Feedback, EASY-NET, MetaLab, qualità dell’assistenza.

Audit & Feedback: how it works.

Summary. This article is the first of a series that aims to describe the Audit & Feedback (A&F) methodology. Some key elements focus on what A&F is and how it works. While it is an effective tool for promoting change in professional behaviour and improving the quality of care, there is still substantial uncertainty concerning how to implement A&F interventions to maximize its effects. The article explains how to design effective A&F on relevant issues, considering the available literature and direct experiences conducted in the National Health System (NHS). A&F interventions should aim to achieve clear, attainable, and evaluable objectives, which concern aspects of care for which there is solid evidence of literature and potential space for improvement. Based on data that measure any distance between what is expected and observed in local practice, the feedback must turn to those who can pursue the proposed change and who must trust the data collection and analysis process. Feedback should be provided more than once, in verbal and written form, and might include explicit objectives and an action plan. When planning A&F interventions, it is essential to provide specific data (e.g., aggregated at the level of a team, department, or individual doctor) rather than general, sending them directly to the professional or department involved rather than generically to the healthcare organization involved. In addition, it is essential to simplify the message so that the staff who receives the feedback can quickly understand the quality of the performance addressed and how to change it. Finally, it is necessary to encourage collaboration between the various healthcare professionals responsible for the quality of care and competence for improvement interventions (health professions, health management, quality expert personnel, and methodologists). Networking between staff improves the knowledge and effectiveness of A&F. This article finally proposes practical examples of two main aspects of A&F planning from the context of the EASY-NET program: how to increase the participation and involvement of the recipients of the intervention and the related pros and cons regarding the choice between the use of routinely available data from health information systems (SIS) and data collected ad hoc.

Key words. Audit & Feedback, EASY-NET, MetaLab, quality of care.

Cos’è l’Audit & Feedback

Gli interventi di Audit & Feedback (A&F) costituiscono uno degli approcci per il miglioramento della qualità più comunemente utilizzati in ambito sanitario ed è probabile che il loro uso aumenterà nel tempo grazie a dati sempre migliori provenienti da diverse fonti informative (cartelle cliniche elettroniche, dati amministrativi). L’A&F è uno strumento per indirizzare le professioniste e i professionisti a cambiare i propri comportamenti qualora le loro performance non siano ottimali suggerendo quali modifiche apportare all’assistenza erogata per renderla migliore.

L’audit implica in pratica la misurazione della qualità dell’assistenza rispetto a standard prefissati. La solidità di questi standard, che dovrebbero fare riferimento a raccomandazioni aggiornate e condivise provenienti da linee guida evidence-based, è uno degli elementi cardine dell’A&F. I dati che misurano la distanza tra questi standard e la pratica locale possono essere raccolti tramite diverse fonti, anche integrate tra loro, che includono cartelle cliniche elettroniche, indagini sui pazienti, dati amministrativi di routine o raccolti ad hoc. Una volta raccolti i dati, lo scopo del feedback è fornirne un report riguardo specifiche prestazioni a personale sanitario, amministrativo e organizzativo con l’obiettivo di promuovere un miglioramento su obiettivi rilevanti, sia per il personale che eroga l’assistenza sia per le persone che ricevono le cure.

Quando si parla di A&F si fa riferimento a un aspetto fondamentale del comportamento umano: è auspicabile che tutte le persone si chiedano quali aspetti nella propria vita professionale (e non solo) funzionano meno e cosa cambiare per migliorare. Gli esseri umani si pongono degli obiettivi in base a come immaginano la loro esistenza e a come vorrebbero essere percepiti dagli altri e nel tentativo di perseguirli ricevono costantemente stimoli dall’ambiente circostante e si confrontano con gli ostacoli del mondo reale. Tendono, inoltre, a confrontare gli obiettivi prefissati con i comportamenti reali per individuare eventuali discrepanze. Tuttavia, la percezione soggettiva del singolo individuo della propria performance può essere inconsapevolmente distorta e fuorviante per diverse ragioni. A questo punto entra in gioco la necessità di confrontarsi con dati oggettivi e con la capacità di mettere a fuoco il bisogno di modificare un comportamento per ridurre la discrepanza tra gli obiettivi ideali e quelli che si stanno effettivamente raggiungendo. Se si manifesta questo bisogno, una volta che si prova a modificare un comportamento è possibile monitorare i cambiamenti nel tempo, tenendo sempre presente come ci si sta muovendo rispetto a uno standard.

In ambito sanitario, l’obiettivo principale di un percorso di A&F è garantire l’esistenza di attività specificamente rivolte al monitoraggio e al miglioramento della qualità dell’assistenza alle e ai pazienti. Una delle sfide maggiori che il personale incontra è avere un’idea oggettiva della qualità delle cure che sta erogando. In genere l’essere umano tende a non vedere i propri errori. Una revisione sistematica1 ha dimostrato la tendenza a sopravvalutare le prestazioni fornite, ritenendole migliori rispetto alla realtà nel 27% dei casi. In definitiva, gli interventi di A&F hanno l’obiettivo di ridurre il rischio di sopravvalutare le proprie prestazioni.

Come rendere efficaci gli interventi di Audit & Feedback

La revisione Cochrane di Ivers et al.2 del 2012, che ha identificato 140 studi sull’A&F pubblicati prima del 2010, ha registrato un miglioramento assoluto mediano del 4,3% dell’aderenza degli indicatori analizzati agli standard desiderati. Potrebbe non sembrare molto, ma se esteso alla popolazione generale può avere effetti molto importanti. Dalla revisione è emersa anche un’ampia variabilità negli effetti dell’A&F, con un range interquartile compreso tra lo 0,5% e il 16,0%. Ciò significa che nel 25% circa degli studi è stato riscontrato un miglioramento assoluto delle prestazioni maggiore o uguale del 16%. Dunque, da una parte abbiamo una buona probabilità di conseguire piccoli miglioramenti, ma dall’altra sappiamo che esiste una grande variabilità ed eterogeneità delle modalità in cui l’A&F viene implementato, con effetti anche sull’efficacia degli interventi.

Nonostante le indicazioni che arrivano dagli studi prima citati, un aspetto su cui porre l’attenzione è la sostanziale incertezza ancora esistente su come ottimizzare l’A&F per massimizzarne gli effetti. La letteratura più recente sul tema sottolinea come per realizzare interventi di A&F efficaci sia importante considerare alcuni punti essenziali. Su questo tema il lavoro di Jamie Brehaut3 propone 15 suggerimenti che, se sfruttati nella progettazione del feedback, aumenterebbero già di per sé le probabilità del suo successo. Tra questi, i più significativi sono i seguenti.

■ Gli interventi di A&F devono riguardare problematiche rilevanti ed essere facili da mettere in atto.
È importante chiedersi: stiamo fornendo feedback su aspetti rilevanti per le persone a cui è destinato il feedback? Se produciamo feedback su aspetti non prioritari, il personale sanitario ignorerà le indicazioni ricevute. Non fa parte dei miei obiettivi oppure Perché dovrei lavorare preoccupandomi di quell’aspetto? Sono alcune delle resistenze che verrebbero messe in atto.

■ L’azione proposta per ottenere un cambiamento deve essere perseguibile e valutabile, deve riguardare un aspetto su cui esiste margine di miglioramento; fornire un feedback su qualcosa che non è possibile cambiare causerà esclusivamente frustrazione.

■ Il personale sanitario deve essere motivato a intraprendere il comportamento richiesto.

■ Il feedback di contenuto clinico deve essere principalmente destinato a coloro che realmente si occupano di assistenza sanitaria. Un feedback di tipo organizzativo invece non dovrebbe riguardare direttamente coloro che forniscono assistenza, per esempio, il personale clinico, chirurgico, di farmacia ospedaliera o infermieristico, ma essere indirizzato alle figure maggiormente responsabili dell’organizzazione.

■ Il personale sanitario deve fidarsi del processo di raccolta e analisi dei dati, così da prevenire il rifiuto a priori del feedback, alludendo all’ipotetica scarsa qualità dei dati oppure a possibili differenze di caratteristiche dei propri pazienti che potrebbero spiegare le diverse performance osservate.

Tra i suggerimenti proposti è, inoltre, necessario fornire un feedback più di una volta e inviarlo il prima possibile, fornire dati disaggregati a livello locale anziché generali, indirizzare il feedback al medico o al reparto anziché all’ospedale e semplificare il messaggio veicolato dal feedback. A questo proposito, uno dei problemi più frequenti è l’aver reso gli strumenti di feedback troppo complessi. Di conseguenza, una delle attenzioni necessarie è ridurre i contenuti superflui o complicati affinché gli operatori che ricevono il feedback possano comprendere molto rapidamente la qualità delle loro prestazioni e come eventualmente modificarle. Presentazioni grafiche più semplici sono migliori di grafici o dashboard molto complesse che richiedono più tempo e competenze per interpretare la valutazione ottenuta per la propria pratica clinica.

Secondo Ivers et al.2, gli elementi chiave che aumentano le probabilità che il personale destinatario dell’A&F metta in atto i cambiamenti suggeriti comprendono:

■ valori di baseline bassi: rivolgersi a interventi sanitari con ampi margini di miglioramento, per esempio, indicatori che mostrano inizialmente valori intorno al 30% dello standard e non a interventi che già sono vicini a livelli di qualità dell’80%.

■ È preferibile che chi è responsabile dell’A&F sia una persona con funzioni di supervisione o un collega con elevata credibilità piuttosto che un’agenzia esterna o un gruppo di ricerca completamente estraneo.

■ Il feedback deve essere restituito più di una volta.

■ I report scritti devono includere sia obiettivi espliciti da raggiungere sia un piano di azioni per ottenere il miglioramento e prevedere occasioni dirette di confronto e discussione.

L’importanza di trasmettere messaggi educativi di feedback formativo

Un ulteriore suggerimento per migliorare il feedback è quello di trasmettere messaggi educativi.

Uno studio pubblicato su The Lancet4 mostra un esempio in cui l’A&F è stato utilizzato in Scozia diversi anni fa, per ridurre la prescrizione di esami di laboratorio inappropriati da parte di medici di medicina generale (MMG), dimostrando una riduzione del 15% nella prescrizione di un’ampia gamma di test, tramite l’invio di feedback corredati da messaggi educativi.

Il feedback restituito ai professionisti e alle professioniste metteva a confronto il dato del singolo con la media regionale (figura 1).













Il grafico mostra quanti test su un campione di 10 mila pazienti sono stati richiesti e la variazione nel tempo. Un lieve incremento nel tempo per il singolo (linea continua) rifletteva ciò che stava accadendo anche in tutta la Regione (linea tratteggiata). Insieme al feedback è stato inviato un messaggio educativo per spiegare come in genere il dosaggio dell’ormone follicolo-stimolante (FSH) sia poco efficace per porre diagnosi di menopausa nelle donne ultraquarantenni e non dovrebbe essere richiesto con questa finalità, sottolineando come anche la media regionale fosse più elevata del dovuto, così da stimolare il cambiamento e indurre le persone a ragionare sull’effettiva necessità di un test per l’FSH nell’assistenza delle pazienti in premenopausa.

Conclusioni

Gli interventi di A&F sono un modo efficace per promuovere il cambiamento dei comportamenti professionali e migliorare la qualità dell’assistenza. Esiste una base di conoscenza su come ottimizzare al meglio le procedure attraverso cui vengono erogati gli interventi per massimizzarne l’effetto, ma resta ancora molto da fare. Proprio per questo è importante favorire tutte le opportunità di nuove collaborazioni per provare a migliorare più rapidamente le basi scientifiche del feedback e rendere più incisivo il suo ruolo nel mondo operativo.

*Gruppo di ricerca EASY-NET: WP1 - Lazio: Anna Acampora, Nera Agabiti (PI); Michela Alagna, Laura Angelici, Carmen Angioletti, Maria Balducci, Giulia Cesaroni, Paola Colais, Marina Davoli, Antonio Giulio De Belvis, Egidio De Mattia, Mirko Di Martino, Danilo Fusco, Domenico Antonio Ientile, Adele Lallo, Francesca Mataloni, Amina Pasquarella, Luigi Pinnarelli, Chiara Sorge; WP2 - Friuli Venezia Giulia: Fabio Buttussi, Luca Chittaro, Francesca Da Ros, Vincenzo Della Mea, Laura Deroma (PI), Antonio Di Chiara, Luca Di Gaspero, Alessandro Forgiarini, David La Barbera, Sabrina Licata, Stefano Mizzaro, Annarita Tullio, Francesca Valent, Nicola Zangrando; WP 3 - Piemonte: Oscar Bertetto, Felice Borghi, Francesco Brunetti, Marco Camanni, Giovannino Ciccone (PI), Stefano De Luca, Annamaria Ferrero, Claudia Galassi, Lisa Giacometti, Ugo Vitor Martins, Anna Maria Orlando, Eva Pagano, Luca Pellegrino, Elisa Piovano, Andrea Puppo, Alessio Rizzo, Monica Rolfo, Antonio Scarmozzino, Gitana Scozzari, Teresa Spadea, Nicolas Zengarini, Paolo Zola; WP4 - Emilia Romagna: Claudio Borghi, Roberto Grilli, Giulio Marchesini Reggiani (PI), Elisabetta Fabbri, Francesca Marchignoli, Federica Violi; WP5 - Lombardia: Alice Bonomi, Nicolò Capra, Nicola Cosentino, Arianna Galotta, Monica Ludergnani, Giancarlo Marenzi (PI), Erica Rurali, Fabrizio Veglia; WP6 - Calabria: Deborah Considerato, Edoardo Corsi Decenti, Costantino Di Carlo, Serena Donati, Angela Giusti, Susanna Lana, Daniela Lico, Alice Maraschini, Gloria Nacca, Jessica Preziosi, Erika Rania, Paola Scardetta, Gabriella Tambascia, Roberta Venturella (PI), Francesca Zambri, Fulvio Zullo; WP7 - Sicilia: Sebastiano Pollina Addario, Alessandra Allotta, Placido Bramanti (PI), Rosella Ciurleo; Francesco Corallo, Maria Cristina De Cola, Giangaetano D’Aleo, Giovanna Fantaci.

Dichiarazioni: EASY-NET è un progetto finanziato dal Ministero della Salute (NET-2016-02364191) e cofinanziato dalle Regioni Calabria, Emilia Romagna, Friuli Venezia Giulia, Lazio, Lombardia, Piemonte. Per ulteriori informazioni https://easy-net.info/

* La serie di articoli “ABC dell’Audit & Feedback” è ispirata all’esperienza dei meeting online “A&F CONNECTIONS”, promossi nell’ambito del programma di rete EASY-NET per offrire un percorso incentrato sulla metodologia dell’A&F. Oltre alla finalità formativa, l’obiettivo è stato quello di favorire connessioni tra il gruppo di ricerca del programma di rete EASY-NET e la comunità scientifica internazionale dell’A&F MetaLab e consolidare una comunità di pratica intorno al tema dell’A&F.

La serie “ABC dell’Audit&Feedback” prova a restituire ai lettori di questa rivista il confronto tra l’esperienza del programma di ricerca EASY-NET e la comunità internazionale dell’A&F MetaLab, composta da esperti di A&F riconosciuti a livello internazionale. Questo articolo restituisce il confronto tra Jeremy Grimshaw dell’A&F MetaLab sulle basi dell’A&F e il gruppo di ricerca EASY-NET (L’A&F in Italia secondo l’esperienza di EASY-NET).

La serie di meeting “A&F CONNECTIONS” è stata sviluppata nell’ambito del programma di rete EASY-NET in collaborazione con A&F MetaLab (Ottawa Hospital Research Institute), con il supporto de Il Pensiero Scientifico Editore e la consulenza tecnica di Think2it (https://bit.ly/3VFDygK).

Bibliografia

1. Adams AS, Soumerai SB, Lomas J, Ross-Degnan D. Evidence of self-report bias in assessing adherence to guidelines. Int J Qual Health Care 1999; 11: 187-92.

2. Ivers N, Jamtvedt G, Flottorp S, et al. Audit and feedback: effects on professional practice and healthcare outcomes. Cochrane Database Syst Rev 2012; 6: CD000259.

3. Brehaut J, Colquhoum H, Eva K, et al. Practice feedback interventions: 15 suggestions for optimizing effectiveness. Ann Intern Med 2016; 164: 435-41.

4. Thomas RE, Croal BL, Ramsay C, Eccles M, Grimshaw J. Effect of enhanced feedback and brief educational reminder messages on laboratory test requesting in primary care: a cluster randomised trial. Lancet 2006; 367: 1990-6.

5. Grimshaw JM, Ivers N, Linklater S, et al. Reinvigorating stagnant science: implementation laboratories and a meta-laboratory to efficiently advance the science of audit and feedback. BMJ Qual Saf 2019; 28: 416-23.

6. The Audit & Feedback MetaLab. https://bit.ly/3UFTdLw

7. Grilli R, Di Blasio N, per il Gruppo di Ricerca EASY-NET. A&F in EASY-NET: un ponte tra clinici ed epidemiologi per un più virtuoso scambio informativo. Recenti Prog Med 2020; 111: 714-6.