Collider bias mina la nostra comprensione di COVID-19 di rischio di malattia e la gravità
Perché osservazionali COVID-19 di ricerca è particolarmente sensibile ai collider bias
anche Se indubbiamente prezioso, osservazione di dati può essere qualcosa di una scatola nera perché le associazioni stimato al loro interno può essere dovuta a diversi meccanismi. Si consideri lo scenario in cui vogliamo stimare l’effetto causale di un fattore di rischio generalizzabile per una popolazione più ampia come il Regno Unito (la “popolazione target”). Poiché raramente osserviamo la popolazione target completa, dobbiamo stimare questo effetto all’interno di un campione di individui tratti da questa popolazione. Se il campione è una vera selezione casuale dalla popolazione, allora diciamo che è rappresentativo. Spesso, tuttavia, i campioni vengono scelti per comodità o perché il fattore di rischio o il risultato sono misurati solo in determinati gruppi (ad es. Lo stato di malattia di COVID-19 è osservato soltanto per le persone che hanno ricevuto una prova). Inoltre, le persone invitate a partecipare a un campione possono rifiutare o successivamente abbandonare. Se le caratteristiche relative all’inclusione del campione riguardano anche il fattore di rischio e il risultato di interesse, allora questo introduce la possibilità di polarizzazione del collisore nella nostra analisi.
Polarizzazione collider non si verifica solo al punto di campionamento. Può anche essere introdotto da scelte di modellazione statistica. Ad esempio,se sia opportuno adattarsi alle covariate nelle associazioni osservazionali dipende da dove le covariate si trovano sul percorso causale e dal loro ruolo nel processo di generazione dei dati18,19,20, 21. Se assumiamo che una data covariata influenzi sia il fattore di rischio ipotizzato che il risultato (un confondente), è opportuno condizionare su quella covariata per rimuovere il bias indotto dalla struttura confondente. Tuttavia, se la covariata è una conseguenza di una o entrambe l’esposizione e il risultato (un collisore), piuttosto che una causa comune (un confonditore), quindi il condizionamento sulla covariata può indurre, piuttosto che ridurre, bias22,23,24. Cioè, il bias del collider può anche essere introdotto quando si effettuano aggiustamenti statistici per variabili che si trovano sul percorso causale tra fattore di rischio e risultato. La conoscenza a priori della struttura causale sottostante delle variabili e se funzionano come causa comune o conseguenza comune del fattore di rischio e del risultato nel processo di generazione dei dati può essere difficile da dedurre. Pertanto, è opportuno trattare il bias del collisore con un livello di cautela simile al bias di confondimento. Affrontiamo i modi per farlo più avanti in questo documento (“Metodi per rilevare e ridurre al minimo gli effetti del bias del collisore”).
Esistono diversi modi in cui i dati vengono raccolti su COVID-19 che possono introdurre un condizionamento non intenzionale nel campione selezionato. Le caratteristiche dei partecipanti reclutati sono legate a una serie di fattori tra cui decisioni politiche, limitazioni dei costi, accesso tecnologico e metodi di prova. È inoltre ampiamente riconosciuto che la vera prevalenza della malattia nella popolazione rimane ignota25. Qui descriviamo le forme di raccolta dei dati per COVID-19 prima di dettagliare le circostanze che circondano COVID-19 che rendono la sua analisi suscettibile di polarizzazione collider.
Strategie di campionamento COVID-19 e definizioni caso / controllo
Campionamento condizionato alla partecipazione volontaria (definizione caso: probabile COVID-19, definizione di controllo: partecipante volontario che non riporta sintomi di COVID-19, Fig. 2a) : Probabile stato COVID-19 può essere determinato attraverso studi che richiedono la partecipazione volontaria. Questi possono includere,ad esempio, indagini condotte da studi esistenti di coorte e longitudinali26, 27,collegamento dei dati ai record amministrativi disponibili in alcuni studi di coorte come la Biobanca del Regno Unito28, o programmi di app basati su telefoni cellulari29, 30. La partecipazione a studi scientifici ha dimostrato di essere fortemente non casuale (ad es. i partecipanti sono sproporzionatamente probabilità di essere altamente istruiti, attenti alla salute, e non fumatori), in modo che i volontari in questi campioni sono suscettibili di differire sostanzialmente dalla popolazione target 31,32, 33. Cfr. Riquadro 2 e Fig. 3 per una vignetta su come uno study30 esplorato polarizzazione collider in questo contesto.
Pressioni di selezione del campione per gli studi di COVID-19
Possiamo stratificare le strategie di campionamento sopra in tre frame di campionamento primari. Il primo di questi frame è il campionamento basato sulla partecipazione volontaria, che è intrinsecamente non casuale a causa dei fattori che influenzano la partecipazione. Il secondo di questi è il campionamento dei frame utilizzando i risultati dei test COVID-19. Con poche eccezioni degne di nota (ad es. 3,34), il test di popolazione per COVID-19 non viene generalmente eseguito in campioni casuali. Il terzo di questi frame è il campionamento basato su pazienti ospedalizzati, con o senza COVID-19. Questo è di nuovo, necessariamente non casuale in quanto condiziona il ricovero in ospedale.
Riquadro 3 e Fig. 3 illustrare l’ampiezza dei fattori che possono indurre la pressione di selezione del campione. Mentre alcuni dei fattori che influenzano i processi di campionamento possono essere comuni a tutte le modalità di campionamento sopra elencate, alcuni saranno specifici della modalità. Questi fattori probabilmente differiranno nel modo in cui operano tra i contesti nazionali e del sistema sanitario. Qui elenchiamo una serie di possibili pressioni di selezione e come influenzano diversi fotogrammi di campionamento COVID-19. Descriviamo anche l’identificazione/definizione del caso e il dettaglio di come possono influenzare l’inferenza se lasciati inesplorati.
Gravità dei sintomi: In teoria ciò pregiudicherà tutti e tre i principali frame di campionamento, sebbene sia più semplicemente compreso nel contesto dei test. Diversi paesi hanno adottato la strategia di offrire test prevalentemente a pazienti con sintomi abbastanza gravi da richiedere cure mediche, ad esempio ospedalizzazione, come nel caso del Regno Unito fino alla fine di aprile 2020. Molti casi veri positivi nella popolazione rimarranno quindi inosservati e saranno meno probabili far parte del campione se l’iscrizione dipende dallo stato del test. Alti tassi di portatori di virus asintomatici o casi con la presentazione atipica aggraveranno ulteriormente questo problema.
Riconoscimento dei sintomi: questo polarizzerà anche tutti e tre i fotogrammi di campionamento poiché l’ingresso in tutti i campioni è subordinato al riconoscimento dei sintomi. Correlato ma distinto dalla gravità dei sintomi, il test COVID-19 varierà in base al riconoscimento dei sintomi35. Se un individuo non riesce a riconoscere i sintomi corretti o ritiene che i suoi sintomi non siano gravi, può semplicemente essere istruito ad autoisolarsi e non ricevere un test COVID-19. Gli individui valuteranno la loro gravità dei sintomi in modo diverso; quelli con ansia correlata alla salute possono avere maggiori probabilità di segnalare eccessivamente i sintomi, mentre quelli con meno informazioni sulla pandemia o l’accesso ai consigli sulla salute possono essere sottorappresentati. Ciò funzionalmente fungerà da tasso differenziale di falsi negativi tra gli individui in base al riconoscimento dei sintomi, che potrebbe essere conseguente nel dare le stime elevate dei casi asintomatici e della trasmissione36. È probabile che la modifica delle linee guida sui sintomi aggravi questo problema, che potrebbe indurre relazioni sistematiche tra la presentazione dei sintomi e i test35,37. Qui, i gruppi con minore consapevolezza (ad esempio, a causa di messaggi pubblici inadeguati o barriere linguistiche) possono avere soglie più elevate per essere testati, e quindi coloro che risultano positivi al test sembreranno avere un rischio maggiore di gravi risultati di COVID-19.
Occupazione: l’esposizione al COVID-19 è modellata rispetto all’occupazione. In molti paesi, gli operatori sanitari in prima linea hanno molte più probabilità di essere testati per la COVID-19 rispetto alla popolazione generale5,38 a causa della loro vicinanza al virus e delle potenziali conseguenze della trasmissione correlata all’infezione39. In quanto tali, saranno fortemente sovrarappresentati nei campioni condizionati dallo stato del test. Altri lavoratori chiave possono essere ad alto rischio di infezione a causa di un gran numero di contatti relativi a lavoratori non chiave e possono quindi essere sovrarappresentati nei campioni a condizione che lo stato di test positivo o la morte correlata alla COVID. Qualsiasi fattore correlato a queste occupazioni (ad es. etnia, posizione socio-economica, età e salute di base) saranno quindi anche associati alla selezione del campione. La figura 2b illustra un esempio in cui il fattore di rischio ipotizzato (fumo) non ha bisogno di influenzare la selezione del campione (pazienti ospedalizzati) causalmente, potrebbe semplicemente essere associato a causa di confusione tra il fattore di rischio e la selezione del campione (essendo un operatore sanitario).
Etnia: anche le minoranze etniche hanno maggiori probabilità di essere infettate dal COVID-1940. I risultati avversi di COVID-19 sono notevolmente peggiori per gli individui di alcune minoranze etniche41. Ciò potrebbe in teoria influenzare le associazioni stimate all’interno di frame di campionamento basati su pazienti ospedalizzati, poiché in molti paesi i gruppi etnici minoritari sono sovrarappresentati poiché le disuguaglianze etniche in materia di salute sono pervasive e ben documentate. Inoltre, i gruppi etnici minoritari hanno maggiori probabilità di essere lavoratori chiave, che hanno maggiori probabilità di essere esposti al COVID-1942. L’ambiente culturale (compreso il razzismo sistemico) e le barriere linguistiche possono influire negativamente sull’accesso agli studi, sia sulla base dei test che della partecipazione volontaria43. I gruppi etnici minoritari possono essere più difficili da reclutare negli studi, anche all’interno di una determinata area44, e possono influire sulla rappresentatività del campione. Le minoranze etniche avevano meno probabilità di riferire di essere testate nella nostra analisi dei dati della biobanca del Regno Unito, dove uno dei fattori più forti associati al test è stato il primo componente principale genetico, che è un marker per l’ascendenza (Riquadro 3). Pertanto, questo potrebbe presentarsi come sopra, con la presentazione delle minoranze etniche alle cure mediche condizionata da sintomi più gravi.
Fragilità: Definita qui come maggiore suscettibilità agli esiti avversi di COVID-19, la fragilità è più probabile che sia presente in alcuni gruppi della popolazione, come gli anziani in cure a lungo termine o strutture di vita assistita, quelli con condizioni mediche preesistenti, gruppi obesi e fumatori. È probabile che questi fattori prevedano fortemente l’ospedalizzazione. Allo stesso tempo,l’infezione da COVID-19 e la gravità hanno probabilmente un’influenza sull’ospedalizzazione8,9,10, 45, il che significa che studiare questi fattori all’interno dei pazienti ospedalizzati può indurre polarizzazione del collisore. Inoltre, i gruppi possono essere trattati in modo diverso in termini di relazioni sulla COVID-19 in diversi paesi46. Ad esempio, nel Regno Unito le prime segnalazioni di decessi “dovuti a COVID-19” potrebbero essere state confuse con le morti “mentre infettate da COVID-19″47. Gli individui ad alto rischio hanno maggiori probabilità di essere testati in generale, ma i dati demografici specifici ad alto rischio, come quelli in strutture di assistenza a lungo termine o di vita assistita, hanno avuto meno probabilità di essere campionati da molti studi46. La fragilità prevede anche l’ospedalizzazione in modo differenziato tra diversi gruppi, ad esempio, un individuo più anziano con sintomi COVID-19 molto gravi in una struttura di vita assistita non può essere portato in ospedale dove un individuo più giovane48.
Luogo di residenza e connessione sociale: probabilmente esiste una serie di influenze più distali o indirette sulla selezione del campione. Le persone con un migliore accesso ai servizi sanitari possono avere maggiori probabilità di essere testate rispetto a quelle con un accesso più scarso. Coloro che si trovano in zone con un maggior numero di servizi medici o con trasporti pubblici migliori possono trovare più facile accedere ai servizi per i test, mentre quelli che si trovano in zone con meno accesso ai servizi medici possono avere maggiori probabilità di essere testati49. Le persone che vivono in aree con legami spaziali o sociali più forti con i focolai esistenti possono anche avere maggiori probabilità di essere testate a causa di una maggiore vigilanza medica in quelle aree. È anche probabile che le reti di sostegno familiare e comunitario influenzino l’accesso alle cure mediche, ad esempio coloro che hanno responsabilità di assistenza e reti di sostegno deboli potrebbero essere meno in grado di rivolgersi a un medico50. La connessione è forse più probabile che influenzi i frame di campionamento dei test, poiché i test sono condizionati dalla consapevolezza e dall’accesso. Tuttavia, può anche polarizzare tutti e tre i principali fotogrammi di campionamento attraverso un meccanismo simile al riconoscimento dei sintomi.
Accesso a Internet e impegno tecnologico: Questo sarà principalmente bias reclutamento volontario tramite applicazioni, anche se può anche essere associato con una maggiore consapevolezza e bias test tramite il percorso di riconoscimento dei sintomi. È noto che alcuni gruppi sottorappresentano l’assunzione di campioni tramite applicazioni internet32,51. Inoltre, ciò varia a seconda della progettazione del campionamento, in cui i metodi di raccolta dati volontari o “pull-in” hanno dimostrato di produrre campioni più impegnati ma meno rappresentativi rispetto ai metodi basati sulla pubblicità o “push out” 33. Questi gruppi più impegnati probabilmente hanno un maggiore accesso ai metodi elettronici di raccolta dei dati, e un maggiore impegno nelle campagne di social media che sono progettati per reclutare i partecipanti. Di conseguenza, i più giovani hanno maggiori probabilità di essere sovrarappresentati negli studi di partecipazione volontaria basati sulle app29.
Interesse medico e scientifico: gli studi che reclutano campioni volontari possono essere distorti in quanto potrebbero contenere una quantità sproporzionata di persone che hanno un forte interesse medico o scientifico. È probabile che queste persone abbiano una maggiore consapevolezza della salute, un comportamento più sano, siano più istruite e abbiano redditi più elevati31,52.
Molti dei fattori per essere testati o inclusi nei set di dati qui descritti sono confermati nell’analisi dei dati di test della biobanca britannica (Riquadro 3). Il messaggio chiave è che quando il reclutamento del campione non è casuale, esiste una gamma incredibilmente ampia di modi in cui tale non casualità può minare i risultati dello studio.
Metodi per rilevare e minimizzare gli effetti del collider bias
In questa sezione, descriviamo i metodi per affrontare il collider bias o valutare la sensibilità dei risultati al collider bias. Come nel caso del bias confondente, in genere non è possibile dimostrare che uno qualsiasi dei metodi abbia superato il bias del collisore. Pertanto, le analisi di sensibilità sono cruciali per esaminare la solidità delle conclusioni rispetto a meccanismi di selezione plausibili18,19.
Una tecnica semplice e descrittiva per valutare la probabilità e l’entità della polarizzazione del collisore indotta dalla selezione del campione consiste nel confrontare le medie, le varianze e le distribuzioni delle variabili nel campione con quelle della popolazione target (o un campione rappresentativo della popolazione target)16. Questo fornisce informazioni sul profilo degli individui selezionati nel campione dalla popolazione target di interesse, ad esempio se tendono ad essere più anziani o più probabilità di avere comorbidità. È particolarmente utile riportare questi confronti per le variabili chiave nell’analisi, come il fattore di rischio e l’esito ipotizzati, e altre variabili correlate a questi. Per quanto riguarda l’analisi del rischio di malattia COVID-19, uno dei principali ostacoli a questo sforzo è che nella maggior parte dei casi l’effettiva prevalenza dell’infezione nella popolazione generale è sconosciuta. Sebbene sia incoraggiante che le stime del campione corrispondano ai loro equivalenti a livello di popolazione, è importante riconoscere che ciò non dimostra definitivamente l’assenza del collider bias53. Questo perché i fattori che influenzano la selezione potrebbero non essere misurati nello studio, o i fattori interagiscono per influenzare la selezione e non vengono rilevati quando si confrontano le distribuzioni marginali.
L’applicabilità di ciascun metodo dipende in modo cruciale dai dati disponibili sui non partecipanti. Questi metodi possono essere suddivisi in due categorie in base ai dati disponibili: campioni nidificati e non nidificati. Un campione nidificato si riferisce alla situazione in cui le variabili chiave vengono misurate solo all’interno di un sottoinsieme di un “super campione” altrimenti rappresentativo, costringendo così l’analisi a limitarsi a questo sottocampione. Un esempio vicino a questa definizione è il sottocampione di individui che hanno ricevuto un test COVID-19 annidato all’interno della coorte della biobanca del Regno Unito (anche se, è chiaro che la coorte della biobanca del Regno Unito è essa stessa campionata in modo non casuale16). Per i campioni nidificati i ricercatori possono sfruttare i dati disponibili nel super-campione rappresentativo. Un campione non nidificato si riferisce alla situazione in cui i dati sono disponibili solo in un campione non rappresentativo. Un esempio di ciò sono i campioni di individui ospedalizzati, in cui non sono disponibili dati su individui non ospedalizzati. In genere è più difficile affrontare il bias del collisore in campioni non nidificati. Un’analisi guidata che illustra entrambi i tipi di analisi di sensibilità utilizzando i dati della biobanca britannica sui test COVID-19 è presentata nella Nota supplementare 1.
Campioni nidificati: la ponderazione della probabilità inversa è un approccio potente e flessibile per regolare la polarizzazione del collisore nei campioni nidificati54,55. L’effetto causale del fattore di rischio sul risultato è stimato utilizzando la regressione ponderata, in modo tale che i partecipanti che sono sovrarappresentati nel sottocampione sono down-weighted e i partecipanti che sono sottorappresentati sono up-weighted. In pratica, costruiamo questi pesi stimando la probabilità che individui diversi vengano selezionati nel campione dal super-campione rappresentativo in base alle loro covariate56 misurate. Ad esempio, potremmo utilizzare i dati del campione completo della biobanca del Regno Unito per stimare la probabilità che gli individui ricevano un test per COVID-19 e utilizzare questi pesi in analisi che devono essere limitate al sottocampione di individui testati (ad esempio identificare i fattori di rischio per il test positivo). Seaman e White forniscono una panoramica dettagliata delle considerazioni pratiche e delle ipotesi per la ponderazione delle probabilità inverse, come la corretta specificazione del “modello di selezione del campione” (un modello statistico della relazione tra covariate misurate e selezione nel campione, utilizzato per costruire questi pesi), selezione variabile e approcci per la gestione di pesi instabili (cioè pesi che sono zero o quasi zero).
Un’ipotesi aggiuntiva per la ponderazione delle probabilità inverse è che ogni individuo nella popolazione target deve avere una probabilità diversa da zero di essere selezionato nel campione. Né questa ipotesi, né l’ipotesi che il modello di selezione sia stato specificato correttamente, sono verificabili utilizzando i soli dati osservati. Un approccio concettualmente correlato, utilizzando la corrispondenza del punteggio di propensione, viene talvolta utilizzato per evitare l’evento indice bias57,58. Esistono anche analisi di sensibilità per l’errata specificazione dei pesi di probabilità. Ad esempio, Zhao et al. sviluppare un’analisi di sensibilità per il grado in cui i pesi di probabilità stimati differiscono dai veri pesi non osservati59. Questo approccio è particolarmente utile quando possiamo stimare i pesi di probabilità inclusi alcuni, ma non necessariamente tutti, dei predittori rilevanti dell’inclusione del campione. Ad esempio, potremmo stimare i pesi per la probabilità di ricevere un test COVID-19 tra i partecipanti alla biobanca del Regno Unito, tuttavia, ci mancano fattori predittivi chiave come la presentazione dei sintomi e le misure del comportamento in cerca di assistenza sanitaria.
Campioni non nidificati: Quando abbiamo solo dati sul campione di studio (ad esempio solo dati sui partecipanti che sono stati testati per COVID-19) non è possibile stimare direttamente il modello di selezione poiché gli individui non selezionati (non testati) non sono osservati. Invece, è importante applicare analisi di sensibilità per valutare la plausibilità che la selezione del campione induce polarizzazione collider.
Limiti e ricerche di parametri: È possibile dedurre l’entità della polarizzazione del collider data la conoscenza della probabile dimensione e direzione delle influenze del fattore di rischio e del risultato sulla selezione del campione (sia che si tratti di diretta o tramite altri fattori)19,60,61. Tuttavia, questo approccio dipende dalla dimensione e dalla direzione corrette e non vi sono altri fattori che influenzano la selezione. È quindi importante esplorare diversi possibili meccanismi di selezione del campione ed esaminare il loro impatto sulle conclusioni dello studio. Abbiamo creato una semplice applicazione web guidata da queste ipotesi per consentire ai ricercatori di esplorare semplici modelli di selezione che sarebbero necessari per indurre un’associazione osservazionale: http://apps.mrcieu.ac.uk/ascrtain/. In Fig. 4 usiamo un recente rapporto di un’associazione protettiva del fumo sull’infezione da COVID-1945 per esplorare l’entità del bias del collisore che può essere indotto a causa di un campionamento selezionato, sotto l’ipotesi nulla di nessun effetto causale.
Diversi altri approcci sono stati implementati anche in applicazioni web online convenienti (“Appendice”). Ad esempio, Smith e VanderWeele hanno proposto un’analisi di sensibilità che consente ai ricercatori di vincolare le loro stime specificando parametri di sensibilità che rappresentano la forza della selezione del campione (in termini di rapporti di rischio relativi). Forniscono anche un “valore E”, che è la più piccola grandezza di questi parametri che spiegherebbe un’associazione osservata62. Aronow e Lee hanno proposto un’analisi di sensibilità per medie campionarie basate sulla ponderazione inversa della probabilità in campioni non nidificati in cui i pesi non possono essere stimati ma si presume che siano limitati tra due valori specificati dai ricercatori63. Questo lavoro è stato generalizzato ai modelli di regressione, consentendo anche di incorporare informazioni esterne pertinenti sulla popolazione target (ad esempio statistiche riassuntive del censimento) 64. Questi approcci di analisi di sensibilità consentono ai ricercatori di esplorare se esistono strutture di collisore credibili che potrebbero spiegare le associazioni osservazionali. Tuttavia, non rappresentano un insieme esaustivo di modelli che potrebbero dare origine a pregiudizi, né dimostrano necessariamente se il pregiudizio del collisore influenza i risultati. Se il fattore di rischio per la selezione è esso stesso il risultato di ulteriori cause a monte, è importante considerare l’impatto di questi effetti di selezione a monte (cioè non solo come il fattore di rischio influenza la selezione, ma anche come le cause del fattore di rischio e/o le cause del risultato influenzano la selezione, ad esempio Fig. 2 ter). Mentre queste cause a monte possono avere individualmente un piccolo effetto sulla selezione, è possibile che molti fattori con effetti individualmente piccoli possano avere congiuntamente un grande effetto di selezione e introdurre collider bias65.
Analisi di controllo negativo: se ci sono fattori misurati nel campione selezionato che sono noti per non avere alcuna influenza sul risultato, quindi testare questi fattori per l’associazione con il risultato all’interno del campione selezionato può servire come un controllo negativo66,67. In virtù di ciò, le associazioni di controllo negativo dovrebbero essere nulle e sono quindi utili come strumento per fornire prove a sostegno della selezione. Se osserviamo associazioni con grandezze maggiori del previsto, questo indica che il campione è selezionato sia sul controllo negativo che sul risultato dell’interesse68,69.
Analisi di correlazione: Concettualmente simile all’approccio dei controlli negativi di cui sopra, quando viene selezionato un campione, tutte le caratteristiche che hanno influenzato la selezione diventano correlate all’interno del campione (ad eccezione del caso altamente improbabile che le cause siano perfettamente moltiplicative). I test per le correlazioni tra i fattori di rischio ipotizzati in cui si prevede che non vi debba essere alcuna relazione possono indicare la presenza e l’entità della selezione del campionamento e quindi la probabilità che la polarizzazione del collisore distorca l’analisi primaria70.
Implicazioni
La maggior parte delle prove scientifiche che informano la politica e il processo decisionale clinico durante la pandemia di COVID-19 proviene da studi osservativi71. Abbiamo illustrato come questi studi osservazionali sono particolarmente suscettibili al campionamento non casuale. Studi clinici randomizzati forniranno prove sperimentali per il trattamento, ma studi sperimentali sull’infezione non saranno possibili per ragioni etiche. L’impatto del collider bias sulle inferenze degli studi osservazionali potrebbe essere considerevole, non solo per il modello di trasmissione della malattia72,73, ma anche per l’inferenza causale7 e il modello di predizione2.
Mentre esistono molti approcci che tentano di migliorare il problema del bias del collisore, si basano su ipotesi non dimostrabili. È difficile conoscere l’entità della selezione del campione e, anche se ciò fosse noto, non si può dimostrare che sia stato pienamente contabilizzato con alcun metodo. Le indagini rappresentative sulla popolazione34 o le strategie di campionamento che evitano i problemi del collider bias74 sono urgentemente necessarie per fornire prove affidabili. I risultati di campioni che probabilmente non sono rappresentativi della popolazione target devono essere trattati con cautela da scienziati e responsabili politici.