dezvoltarea și evaluarea psihometrică a scalelor pentru măsurarea încrederii profesionale în medicina manuală: o abordare de măsurare Rasch

dezvoltarea scalelor

datele obținute din diverse interviuri informale de grup de studenți și recenzii critice ale literaturii au contribuit la modelarea conținutului și obiectivelor scalelor de încredere în sine și a eventualului chestionar de încredere. Articolele și formatul lor au fost dezvoltate după o revizuire atentă a scalelor conexe și a studiilor de educație pentru sănătate, care au demonstrat diferite modalități de evaluare a încrederii profesionale în sine în setările de stagiu educațional sau clinic . Deși aceste studii nu au reflectat obiectivele prezentei cercetări, ele au furnizat dovezi vitale cu privire la importanța încrederii profesionale în sine în programele de educație pentru sănătate. Câteva elemente au fost, de asemenea, dezvoltate pe baza uneia dintre experiența vastă a autorilor în formarea atletică, chiropractica și programele de terapie fizică. Ei au fost cei care s-au concentrat pe capacitatea de a discuta comportamente de risc pentru sănătate (dietă, consum de droguri și exerciții fizice), aplicarea de contravântuiri ortopedice, suporturi și înregistrări și demonstrarea procedurilor de reabilitare.

în consecință, a fost dezvoltat un instrument preliminar de 52 de itemi sau afirmații, cu accent principal pe comunicarea pacientului și abilitățile clinice și (datorită rolului lor în încrederea în sine, care a fost identificat prin interviurile informale și revizuirea critică a literaturii) un accent secundar pe supravegherea clinicienilor. A fost utilizat un format de răspuns în stil Likert în șase puncte pentru fiecare articol. Categoriile de răspuns au fost codificate de la 1 (“deloc încrezător”) la 6 (“foarte încrezător”). Întrebările au reflectat interacțiunile și experiențele cu pacienții pe care elevii le-ar putea întâlni și au variat de la discutarea problemelor generale de sănătate până la efectuarea procedurilor de examinare fizică de bază și concentrate. De exemplu: “Cât de încrezător sunteți în capacitatea dvs. de a discuta probleme personale și/sau sensibile cu noii pacienți?”; și ” cât de încrezător sunteți în capacitatea dvs. de a efectua proceduri de examinare fizică de bază, cum ar fi tensiunea arterială, pulsul și rata de respirație la un pacient?”Valabilitatea conținutului a fost evaluată de un grup de educatori și cercetători afiliați programelor de educație și programelor de stagii de educație clinică chiropractică din Australia și Statele Unite. Membrii grupului au fost rugați să revizuiască scara și să comenteze fiecare articol și formatul general. Ei au sugerat modificări minore pentru câteva articole și au recomandat includerea unei secțiuni demografice și a unei secțiuni de auto-reflecție care a invitat elevii să-și califice răspunsurile.

scara a fost împărțită în două părți. O parte a scalei s-a axat pe comunicarea pacientului, denumită scala de încredere în comunicarea pacientului (PCCS). Cealaltă parte s-a concentrat asupra competențelor clinice, etichetată scala de încredere a competențelor clinice (CSCS). Cele două scale reprezintă aspecte diferite ale încrederii în sine, ambele fiind importante, iar mai multe informații diagnostice despre aceste două aspecte diferite ar putea fi obținute prin măsurarea lor separată și, astfel, posibilitatea de a vedea dacă nivelurile diferă. Dacă nivelurile celor două aspecte ar fi diferite, diferite strategii de predare ar putea fi orientate spre dezvoltarea fiecărui aspect. Este o întrebare empirică dacă cele două scale ar putea fi concepute ca reprezentând același construct și, în anumite scopuri, un singur scor poate fi tot ceea ce este necesar pentru a lua decizii de predare și învățare. Cu toate acestea, în acest caz, cercetarea și-a propus să obțină informații despre fiecare dintre cele două aspecte, deoarece acestea sunt esențiale și pot necesita strategii diferite pentru a le aborda.

pentru a ajuta la procesul de validare, au fost încorporate două scale valide și fiabile existente, raportul Personal de reținere a comunicării (APCR-24) și scale generale de autoeficacitate (GSE). Scara PRCA-24 măsoară sentimentele legate de comunicarea cu ceilalți. Cu toate acestea, în acest studiu a fost utilizată o singură subcategorie (comunicare interpersonală), deoarece celelalte subcategorii nu sunt întâlnite de obicei în contexte clinice. Cercetările anterioare au demonstrat conținutul, criteriul și validitatea construcției APCR-24 . Scara GSE a fost adăugată pentru a aduna date privind autoeficacitatea generalizată a elevilor și pentru a compara autoeficacitatea generală a acestora și măsurile specifice de autoeficacitate legate de sarcini. Cercetările anterioare arată că GSE este o scară fiabilă cu validitate convergentă și discriminantă, cu coeficienți de fiabilitate alfa variind de la .75 la .90 . Era de așteptat ca PCCS și CSCS să se coreleze pozitiv cu GSE și negativ cu sub-scara de comunicare interpersonală PRCA-24; cu toate acestea, aceste corelații nu erau de așteptat să fie foarte mari, deoarece PRCA-24 și GSE sunt concepute pentru a evalua constructe similare, dar nu identice cu încrederea în sine. Chestionarul final de încredere (CQ) conținea următoarele:

1. Scala generală de autoeficacitate (GSE).

2. Raport Personal al scalei de reținere a comunicării (PRCA-24), sub-scară de comunicare interpersonală.

3. scala de încredere a comunicării pacientului( PCCS), 28 de articole, 6 categorii de răspuns, fără elemente inverse.

4. scala de încredere a abilităților clinice( CSCS), 27 de articole, 6 categorii de răspuns, fără elemente inverse.

5. secțiunea de auto-reflecție.

6. secțiunea demografică.

elementele PCCS au acoperit nouă aspecte ale Comunicării pacientului, cum ar fi încurajarea schimbării comportamentului, luarea istoricului, explicarea și susținerea. CSCS a abordat opt aspecte ale încrederii în abilitățile clinice, cum ar fi procedurile de manipulare, radiografie și examinare fizică.

participanți și administrarea chestionarului

participanții au inclus șapte cohorte de studenți chiropractici (n = 269) înscriși în stagii în instituții terțiare din Australia și Statele Unite. Toate cohortele au avut programe clinice comparabile care au oferit experiențe profesionale similare, cum ar fi înregistrarea istoricului pacienților și evaluarea și tratamentul supravegheat al pacienților. Au fost obținute aprobarea eticii umane și consimțământul studenților. CQ a fost administrat la începutul stagiilor clinice ale studenților și a fost repetat cinci luni mai târziu (o cohortă—nu a fost fezabilă retestarea tuturor cohortelor în acest moment) și din nou zece luni mai târziu (toate cohortele). Datele de la prima și a treia ocazie (începutul studiului și zece luni mai târziu) au fost utilizate pentru a examina validitatea și fiabilitatea PCCS și CSCS. Combinarea datelor în acest mod este o procedură acceptată posibilă prin proprietățile comparațiilor Invariante ale modelului Rasch. Legitimitatea procedurii poate fi testată empiric folosind funcționarea diferențială a elementelor (DIF).

analiza datelor

răspunsurile elevilor la 269 de chestionare returnate de două ori au fost supuse analizei psihometrice folosind modelul Rasch politom (PRM) , prin intermediul software-ului Rasch Unidimensional model de măsurare RUMM2030 . Acest model a fost utilizat pentru a stabili dacă cele două noi scale au fost operaționalizate cu succes și pentru a evalua aspecte ale valabilității și fiabilității scalelor . Modelul Rasch a fost selectat deoarece este singurul model de măsurare din științele sociale care are proprietățile de scalare dorite ale invarianței comparațiilor . Modelul prevede că o comparație între oricare două persoane dintr-o anumită clasă de persoane ar trebui să fie independentă de elementele dintr-o anumită clasă de articole care sunt alese pentru comparație, iar compararea oricăror două elemente dintr-o anumită clasă de articole ar trebui să fie independentă de persoanele dintr-o anumită clasă de persoane care sunt alese pentru a face comparația . Pentru explicații mai detaliate ale paradigmei și procedurilor Rasch, consultați, de exemplu , Andrich , Andrich și Styles, Bond și Fox și manualul online pentru software-ul RUMM2030 . Pentru mulți cercetători, paradigma Rasch reprezintă un avans asupra teoriei testelor clasice . În ambele teorii, de exemplu, scorul total al unei persoane pe un instrument este statistica relevantă pentru a reprezenta poziția unei persoane pe variabila sau proprietatea de interes. Cu toate acestea, scorurile brute utilizate în teoria testelor clasice nu sunt liniarizate (sunt liniarizate în măsurarea Rasch) și nu ar trebui tratate ca măsurători.

Modelul Rasch poate fi utilizat pentru a examina datele pentru defecte sau probleme indicate de o defecțiune a modelului . Demonstrarea faptului că răspunsurile (datele) unui element se potrivesc modelului este prescurtare pentru a concluziona că elementul funcționează în mod consecvent cu celelalte elemente dintr-o scală pentru a caracteriza o singură variabilă, astfel cum este rezumată de modelul Rasch. Prin urmare, dacă răspunsurile la un set de elemente dintr—o scară se potrivesc modelului Rasch, acestea sunt stabilite ca fiind coerente intern-ceea ce este o condiție prealabilă pentru confirmarea validității construcției. În plus, măsurile pentru persoane pot fi apoi utilizate în mod legitim în operațiile matematice de bază (cum ar fi adăugarea) și, prin urmare, supuse unor proceduri statistice standard. Două proprietăți importante sunt prezente dacă datele se potrivesc modelului: în primul rând, măsurile participanților vor fi la scară liniară; în al doilea rând, măsurile vor fi invariante (ordonarea relativă a elementelor și a persoanelor va fi aceeași, indiferent de elementele care sunt utilizate pentru a compara persoanele și indiferent de persoanele care sunt utilizate pentru a compara articolele). În plus, examinarea funcționării diferențiale a elementelor va furniza dovezi cu privire la faptul dacă măsurile sunt invariante (în esență, dacă reprezintă aceeași construcție) în cadrul grupurilor desemnate pentru care a fost confirmată ajustarea .

în modelul Rasch, statistica relevantă pentru orice persoană este pur și simplu Scorul total între elementele în care scorurile sunt numere întregi succesive atribuite categoriilor succesive, care este aceeași statistică ca cea utilizată în mod tradițional. Unele articole pot fi dihotomice, iar unele pot avea mai mult de două categorii ordonate. Cu toate acestea, aceste scoruri nu sunt ele însele liniare și nu ar trebui, în general, tratate ca măsurători. În special, acestea sunt afectate de efectele podelei și tavanului, astfel încât o diferență de scor brut de 2, să zicem, la o parte a continuumului construcției nu reprezintă aceeași diferență ca un scor de 2 pe o altă parte a continuumului. Transformarea scorurilor brute folosind modelul Rasch produce scoruri liniarizate pentru fiecare persoană care pot fi tratate ca măsurători și utilizate în analizele statistice standard. Aceste scoruri liniarizate sunt cunoscute sub numele de locații. Mai formal, Modelul Rasch oferă măsurători compatibile cu măsurarea comună fundamentală sau aditivă studiată în psihologia matematică .

Modelul Rasch este unul probabilistic care oferă un model adecvat pentru datele tipice ale științelor sociale. Pentru elementele politomice ecuația ia forma:

în cazul în care (i) X ni , este o variabilă aleatoare de răspuns de la o persoană la poziția i și în cazul în care valoarea acestei variabile este un număr întreg 0, 1, 2, 3, …, m, β n este locația de persoana pe variabila, (δ ik ), k = 1, 2, 3, …, m i este un vector de pragurile de la punctul i, la care probabilitatea unui răspuns în adiacente categorii este identic, și γ ni = ∑ x = 0 m exp x β n − ∑ k = 0 x δ ik este suma numărătorilor și se asigură că Eq. (1) însumează la 1 și este o declarație de probabilitate .

software-ul RUMM2030 oferă o gamă largă de facilități pentru evaluarea calității articolelor într-o scară. Facilitățile includ mai multe statistice diferite (chi pătrat și jurnal teste reziduale de potrivire) și teste grafice de potrivire (categorie și element curbe caracteristice) între date și model și un indice de fiabilitate, cunoscut sub numele de indicele de separare a persoanei (PSI). Programul oferă, de asemenea, informații cu privire la direcționarea persoanelor și a elementelor (dacă răspândirea locațiilor de elemente și persoane sunt similare), precum și cu privire la dependențele de elemente și posibilitatea unor sub-scale semnificative prin corelații de elemente reziduale, analiza componentelor principale reziduale și analiza sub-scării. În combinație, aceste informații sunt utilizate pentru a stabili calitatea unei scări și pentru a identifica anomalii ale datelor, ceea ce poate duce la o înțelegere mai profundă a construcției sau a proprietății măsurate.

după cum s-a menționat în introducere, analiza datelor a abordat trei obiective principale, dintre care primul a fost stabilirea coerenței interne și a fiabilității fiecărei scale. Cu alte cuvinte, seturile de elemente reprezintă fiecare o singură construcție la acest nivel de scară? Dacă o fac, atunci se justifică adăugarea de scoruri pentru a obține un scor total pe fiecare scară și apoi utilizarea acelor scoruri totale (sau echivalentele lor liniarizate cunoscute sub numele de locații) pentru alte teste statistice, cum ar fi comparații ale scorurilor medii între grupuri sau în timp.

al doilea scop a fost de a determina dacă elementele fiecărei scări au aceleași proprietăți psihometrice în diferite grupuri de participanți: aceasta se numește funcționare diferențială a elementelor (DIF) și determină dacă elementele au proprietăți psihometrice similare în diferite grupuri de participanți, adică dacă elementele au proprietăți invariante în diferite grupuri. Dacă elementele arată DIF între grupuri, acestea nu ar trebui utilizate pentru a compara performanța persoanei, cu excepția cazului în care indivizii sunt din același grup. În acest studiu, grupurile de interes au fost sexul, vârsta, experiența cu profesia, calificarea de intrare (gradul anterior sau nu) și ocazia administrării.

al treilea scop a fost de a furniza dovezi ale validității convergente a PCC și CSC prin examinarea corelațiilor lor statistice cu scalele GSE și APCR-24 stabilite care evaluează unele aspecte ale încrederii.

pentru a aborda primul obiectiv, au fost examinate diferite aspecte ale scalelor. Primul aspect a fost funcționarea categoriilor de răspuns. Pragurile de articol (punctele de tăiere dintre fiecare pereche succesivă de categorii, cum ar fi, Sunt de acord cu tărie și sunt de acord) trebuie să fie ordonate corect. Al doilea aspect a fost potrivirea fiecărui set de articole la modelul Rasch. Dacă elementele se potrivesc modelului, care este o dovadă a consistenței interne, ele pot fi acceptate ca măsurând o singură variabilă la acest nivel de scară. Două teste de potrivire – unul statistic (pătratul chi) și unul grafic (elementul curbe caracteristice, ICC) – au fost folosite pentru a judeca acest lucru. În paradigma Rasch în general, niciun test de potrivire nu este suficient pentru a lua o decizie cu privire la potrivire. Un al treilea aspect a fost direcționarea elementelor și a persoanelor între ele: acest lucru este stabilit prin examinarea distribuției comune a locațiilor de articole și persoane pe același continuum. Un al patrulea aspect, dependențele de item, a fost examinat prin inspectarea corelațiilor reziduale dintre itemi. Dacă elementele arată dependență, atunci un element din fiecare pereche este redundant și păstrarea ambelor crește artificial fiabilitatea. Astfel de dependențe pot indica, de asemenea, prezența sub-scalelor care pot fi examinate în continuare prin analiza componentelor principale ale reziduurilor. În cele din urmă, fiabilitatea este măsurată folosind indicele de separare a persoanei (PSI), care este echivalentul Rasch al lui Cronbach alfa.

pentru a aborda cel de – al doilea obiectiv-de a stabili dacă elementele funcționează relativ consecvent în diferite grupuri, a fost examinată funcționarea diferențială a elementelor între grupuri pentru sex, vârstă, experiență anterioară, calificare de intrare și ocazie.

în cele din urmă, pentru a aborda cel de-al treilea scop de a furniza dovezi suplimentare de valabilitate (de data aceasta, validitate convergentă), scorurile studenților pe scale au fost corelate cu scorurile acelorași studenți pe două scale existente care măsoară constructe legate, dar diferite de încredere și a căror validitate a fost stabilită în literatura de cercetare, și anume, GSE și PRCA-24 (comunicare interpersonală).

rezultatele acestor analize oferă informații despre validitatea și fiabilitatea celor două scale. Dacă acestea sunt satisfăcătoare, locațiile persoanei (scorurile brute liniarizate) pot fi utilizate pentru analize suplimentare, cum ar fi, de exemplu, compararea scorurilor medii (locații ale persoanei) pentru diferitele grupuri de interese și investigarea modificărilor locațiilor medii în timp.