vaakojen kehittäminen ja psykometrinen arviointi ammattimaisen luottamuksen mittaamiseksi manuaalisessa lääketieteessä: Rasch measurement approach

vaakojen kehittäminen

erilaisista vapaamuotoisista opiskelijaryhmähaastatteluista ja kriittisistä kirjallisuuskatsauksista saadut tiedot auttoivat muokkaamaan itseluottamusasteikkojen ja mahdollisen luottamuskyselyn sisältöä ja tavoitteita. Kohteet ja niiden muoto kehitettiin sen jälkeen, kun niihin liittyviä asteikkoja ja terveyskasvatustutkimuksia oli huolellisesti tarkasteltu, mikä osoitti erilaisia tapoja arvioida ammatillista itseluottamusta koulutuksellisissa tai kliinisissä työharjoitteluasetuksissa . Vaikka nämä tutkimukset eivät peilaa tavoitteita nykyisen tutkimuksen, ne antoivat elintärkeää näyttöä siitä, miten tärkeää ammatillinen itseluottamusta terveysvalistusohjelmissa. Muutamia kirjoituksia kehitettiin myös perustuen erään kirjoittajan laajaan kokemukseen urheiluvalmennuksesta, kiropraktiikasta ja fysioterapian opetussuunnitelmista. He keskittyivät kykyyn keskustella terveysriskikäyttäytymisestä (ruokavalio, huumeiden käyttö ja liikunta), ortopedisten tukitoimien, tukien ja teippausten soveltamisesta sekä kuntouttavien toimenpiteiden osoittamisesta.

näin ollen kehitettiin 52 kohdan tai lausunnon alustava väline, jossa keskityttiin ensisijaisesti potilaiden viestintään ja kliinisiin taitoihin, ja (koska niillä oli itseluottamusta lisäävä merkitys, joka havaittiin epävirallisten haastattelujen ja kriittisen kirjallisuuskatsauksen avulla) toissijaisesti kliinikoiden valvontaan. Kunkin kohteen osalta käytettiin kuuden pisteen Likert-tyylistä vastausmuotoa. Vastausluokat koodattiin 1: stä (“not confident at all”) 6: een (“very confident”). Kysymykset heijastivat vuorovaikutusta ja kokemuksia potilaiden kanssa, että opiskelijat olivat todennäköisesti kohtaavat, ja vaihteli keskustella yleisistä terveyskysymyksistä suorittaa perus-ja keskittynyt lääkärintarkastus menettelyjä. Esimerkiksi: “kuinka varma olet kyvystäsi keskustella henkilökohtaisista ja / tai arkaluonteisista asioista uusien potilaiden kanssa?”; ja ” kuinka varma olet kyvystäsi suorittaa perustutkimuksia, kuten verenpaine, pulssi ja hengitysnopeus potilaalle?”Sisällön kelpoisuuden arvioi paneeli kasvattajista ja tutkijoista, jotka ovat sidoksissa koulutusohjelmiin ja kiropraktisen kliinisen koulutuksen harjoitteluohjelmiin Australiassa ja Yhdysvalloissa. Raadin jäseniä pyydettiin tarkastelemaan asteikkoa ja kommentoimaan kutakin kohtaa sekä kokonaismuotoa. He ehdottivat pieniä muutoksia muutamia kohteita, ja suositteli sisällyttämistä demografinen osa ja itsereflektio osio, joka kutsui opiskelijat saada vastauksensa.

asteikko jaettiin kahteen osaan. Asteikon yksi osa keskittyi potilasviestintään, ja sen nimi oli Potilasviestinnän Luottamusasteikko (PCC). Toinen osa keskittyi kliinisiin taitoihin, jotka nimettiin Clinical Skills Confidence Scale (CSCS) – asteikoksi. Nämä kaksi asteikkoa edustavat itseluottamuksen eri osa-alueita, jotka molemmat ovat tärkeitä, ja näistä kahdesta eri osa-alueesta voitaisiin saada enemmän diagnostista tietoa mittaamalla ne erikseen ja siten nähdä, eroavatko tasot toisistaan. Jos näiden kahden osa-alueen tasot eroaisivat toisistaan, eri opetusstrategioita voitaisiin pyrkiä kehittämään kutakin osa-aluetta. On empiirinen kysymys, voitaisiinko näiden kahden asteikon ajatella edustavan samaa konstruktiota ja joissakin tarkoituksissa yksi pistemäärä voi olla kaikki, mitä tarvitaan opetus-ja oppimispäätösten tekemiseen. Tässä tapauksessa tutkimuksen tavoitteena oli kuitenkin saada tietoa molemmista näkökohdista, koska ne ovat molemmat olennaisia ja vaativat todennäköisesti erilaisia strategioita niiden käsittelemiseksi.

validointiprosessin helpottamiseksi sisällytettiin kaksi voimassa olevaa ja luotettavaa asteikkoa, Personal Report of Communication Detension (PRCA-24) ja General Self-efficiency (GSE) – asteikot. PRCA-24-asteikko mittaa tunteita toisten kanssa kommunikoimisesta. Tutkimuksessa käytettiin kuitenkin vain yhtä alaluokkaa (interpersonal communication), sillä muita alaluokkia ei tyypillisesti tavata kliinisissä yhteyksissä. Aikaisempi tutkimus on osoittanut PRCA-24: n sisällön, kriteerin ja rakenteen pätevyyden . GSE-asteikko lisättiin keräämään tietoa opiskelijoiden yleistyneestä itsetehokkuudesta ja vertaamaan heidän yleistä itsetehokkuuttaan ja erityistehtäviin liittyviä itsetehokkuusmittareita. Edellinen tutkimus osoittaa, että GSE on luotettava asteikko konvergentti ja diskriminantti pätevyys, alfa luotettavuus kertoimet vaihtelevat .75 to .90 . Odotettiin, että PCC: t ja CSC: t korreloisivat positiivisesti GSE: n kanssa ja negatiivisesti PRCA-24: n Ihmissuhdeviestinnän ala-asteikon kanssa; näiden korrelaatioiden ei kuitenkaan odotettu olevan kovin suuria, koska PRCA-24 ja GSE on suunniteltu arvioimaan rakenteita, jotka ovat samanlaisia mutta eivät identtisiä itseluottamuksen kanssa. Lopullinen luottamuskysely (CQ) sisälsi seuraavaa::

1. yleinen Itsetehokkuusasteikko (GSE).

2. henkilökohtainen ilmoitus viestinnän Kiinniottoasteikko (PRCA-24), Ihmissuhdeviestinnän ala-asteikko.

3. Potilasviestinnän Luottamusasteikko (PCC), 28 kohdetta, 6 vasteluokkaa, ei käänteiseriä.

4. Clinical Skills Confidence Scale (CSCS), 27 kohdetta, 6 vasteluokkaa, ei käänteiseriä.

5. itsereflektio.

6. Väestöosa.

PCC-erät kattoivat yhdeksän potilasviestinnän näkökohtaa, kuten kannustavan käyttäytymisen muutoksen, historian ottamisen, selittämisen ja tukemisen. CSC: t käsittelivät kahdeksaa kliinisiin taitoihin liittyvää luottamusnäkökohtaa, kuten manipulointi -, röntgen-ja lääkärintarkastusmenettelyjä.

osallistujat ja kyselylomakkeen hallinnointi

osallistujiin kuului seitsemän kiropraktiikan opiskelijoiden kohorttia (n = 269), jotka olivat harjoittelussa korkea-asteen oppilaitoksissa Australiassa ja Yhdysvalloissa. Kaikilla kohorteilla oli vertailukelpoiset kliiniset opetussuunnitelmat, jotka tarjosivat samanlaisia ammatillisia kokemuksia, kuten potilashistorian kirjaamisen ja potilaiden valvotun arvioinnin ja hoidon. Saatiin ihmisetiikan hyväksyntä ja opiskelijoiden suostumus. CQ annettiin opiskelijoiden kliinisen harjoittelun alussa ja toistettiin viisi kuukautta myöhemmin (yksi kohortti—kaikkien kohorttien uusintakoe ei ollut mahdollista tällä hetkellä) ja uudelleen kymmenen kuukautta myöhemmin (kaikki kohortit). PCC-ja CSCS-järjestelmien pätevyyden ja luotettavuuden tutkimiseen käytettiin tietoja vain ensimmäisestä ja kolmannesta kerrasta (tutkimuksen alusta ja kymmenen kuukautta myöhemmin). Tietojen yhdistäminen tällä tavalla on hyväksytty menettely, jonka mahdollistaa Raschin mallin invarianttien vertailujen ominaisuudet. Menettelyn oikeutusta voidaan testata empiirisesti differential item functioning (DIF) – menetelmällä.

Data analysis

opiskelijoiden vastaukset 269: ään palautettuun kyselylomakkeeseen kahdessa yhteydessä toimitettiin psykometriseen analyysiin polytomous Rasch model (PRM) – menetelmällä Rasch Unidimensional Measurement Model-ohjelmistolla RUMM2030 . Tämän mallin avulla selvitettiin, oliko kaksi uutta asteikkoa otettu onnistuneesti käyttöön, ja arvioitiin asteikkojen pätevyyttä ja luotettavuutta . Raschin malli valittiin, koska se on yhteiskuntatieteiden ainoa mittamalli, jolla on vertailujen invarianssin toivottavat skaalaominaisuudet . Malli edellyttää, että kahden tiettyyn henkilöryhmään kuuluvan henkilön välisen vertailun olisi oltava riippumatonta siitä, mitkä tietyn tavaraluokan erät on valittu vertailuun, ja minkä tahansa kahden tietystä tavaraluokasta peräisin olevan kappaleen vertailun olisi oltava riippumatonta siitä, ketkä tiettyyn henkilöluokkaan kuuluvat henkilöt on valittu tekemään vertailu . Tarkempia selityksiä Raschin paradigmasta ja menettelyistä on esimerkiksi andrich, Andrich and Styles, Bond ja Fox sekä rumm2030-ohjelmiston online-käsikirja . Monille tutkijoille Raschin paradigma edustaa edistysaskelta klassisessa testiteoriassa . Kummassakin teoriassa esimerkiksi henkilön kokonaispistemäärä instrumentissa on relevantti tilastotieto, joka kuvaa henkilön asemaa kiinnostavan muuttujan tai ominaisuuden suhteen. Klassisessa testiteoriassa käytettyjä raakapisteitä ei kuitenkaan linearisoida (ne linearisoidaan Raschin mittauksessa), eikä niitä tulisi käsitellä mittauksina.

Raschin mallin avulla voidaan tutkia tietoja niiden puutteiden tai ongelmien varalta, jotka on osoitettu malliin sopimattomuudesta . Osoittamalla, että kohteen vastaukset (tiedot) sopivat malliin, voidaan päätellä, että kohde toimii yhdenmukaisesti asteikon muiden kohtien kanssa, jotta voidaan luonnehtia yhtä muuttujaa Raschin mallin mukaisesti. Siksi, jos vastaukset joukko kohteita mittakaavassa sopivat Rasch malli, ne on todettu olevan sisäisesti johdonmukainen—mikä on edellytys vahvistaa Konstruktion pätevyys. Lisäksi henkilöihin kohdistuvia toimenpiteitä voidaan sitten laillisesti käyttää matemaattisissa perusoperaatioissa (kuten yhteenlaskussa), jolloin niihin sovelletaan tavanomaisia tilastollisia menettelyjä. Kaksi tärkeää ominaisuutta ovat läsnä, jos data sopii malliin: ensinnäkin osallistujien mittarit ovat lineaarisessa mittakaavassa; ja toiseksi, toimenpiteet ovat invariant (suhteellinen järjestys kohteita ja henkilöitä on sama riippumatta siitä, mitä kohteita käytetään vertailla henkilöitä, ja riippumatta siitä, mitä henkilöitä käytetään vertailla kohteita). Lisäksi eriytetyn kohteen toiminnan tarkastelu osoittaa, ovatko toimenpiteet muuttumattomia (oleellisesti, edustavatko ne samaa konstruktiota) nimetyissä ryhmissä, joille sovitus on vahvistettu .

Raschin mallissa relevantti tilasto kenelle tahansa henkilölle on yksinkertaisesti erien kokonaispistemäärä, jossa pisteet ovat peräkkäisille luokille osoitettuja peräkkäisiä kokonaislukuja, mikä on sama tilasto kuin perinteisesti käytetty. Jotkut tuotteet voivat olla kaksijakoisia, ja joissakin voi olla enemmän kuin kaksi tilattua luokkaa. Nämä pisteet eivät kuitenkaan itsessään ole lineaarisia, eikä niitä pitäisi yleensä käsitellä mittauksina. Erityisesti niihin vaikuttavat lattia-ja kattovaikutukset niin, että esimerkiksi Konstruktion jatkumon yhdessä osassa oleva raa ‘ an pistemäärän 2 ero ei edusta samaa eroa kuin toisessa jatkumon osassa oleva pistemäärä 2. Raakapisteiden muuntaminen Rasch-mallin avulla tuottaa jokaiselle henkilölle lineaariset pisteet, joita voidaan käsitellä mittauksina ja käyttää tavanomaisissa tilastollisissa analyyseissä. Nämä linearisoidut pisteet tunnetaan paikkakuntina. Muodollisemmin Raschin malli tarjoaa mittauksia, jotka ovat yhteensopivia matemaattisessa psykologiassa tutkitun perus-tai additiivisen yhteismittauksen kanssa .

Raschin malli on probabilistinen, joka tarjoaa sopivan mallin tyypilliselle yhteiskuntatieteelliselle aineistolle. Polytomisille kappaleille yhtälö on muotoa:

missä (i) X ni, on satunnaismuuttuja henkilön n vasteesta alkioon i ja jossa tämän muuttujan arvo on kokonaisluku 0, 1, 2, 3, …, m, β n on muuttujan henkilön sijainti, (δ ik), k = 1, 2, 3,…, m i on kohteen I kynnysarvojen vektori, jolla vasteen todennäköisyys viereisissä luokissa on sama, ja γ ni = ∑ x = 0 M exp x β n − ∑ k = 0 x δ ik on osoittajien summa ja varmistaa, että ekv. (1) summat 1 ja on todennäköisyys lausuma .

RUMM2030-ohjelmisto tarjoaa laajan valikoiman mahdollisuuksia arvioida kohteiden laatua mittakaavalla. Tilat sisältävät useita erilaisia tilastollisia (chi-neliö-ja log-jäännöstestejä fit: stä) ja graafisia testejä fit: stä (luokan ja kohteen ominaiskäyrät) datan ja mallin välillä sekä luotettavuusindeksin, joka tunnetaan nimellä Person Separation Index (psi). Ohjelma tarjoaa myös tietoa kohdistaminen henkilö ja kohteita (onko leviäminen kohde ja henkilö sijainnit ovat samanlaisia), ja kohde riippuvuudet ja mahdollisuus mielekkäitä osa-asteikot kautta jäljellä kohde korrelaatiot, jäljellä pääkomponentti analyysi, ja osa-asteikko analyysi. Yhdessä näitä tietoja käytetään asteikon laadun varmistamiseen ja tietojen poikkeavuuksien tunnistamiseen, mikä voi johtaa syvempään ymmärrykseen mitattavasta konstruktiosta tai ominaisuudesta.

kuten johdannossa mainittiin, data-analyysissä käsiteltiin kolmea päätavoitetta, joista ensimmäinen oli kunkin asteikon sisäisen johdonmukaisuuden ja luotettavuuden määrittäminen. Toisin sanoen, edustavatko kukin joukko kohteita yhtä konstruktiota tällä asteikolla? Jos näin on, on perusteltua lisätä pisteet, jotta saadaan kokonaispistemäärä kullakin asteikolla, ja sitten käyttää näitä kokonaispistemääriä (tai niiden lineaarisia ekvivalentteja, joita kutsutaan sijaintipaikoiksi) muissa tilastollisissa testeissä, kuten ryhmien välisten keskiarvojen vertailussa tai ajan mittaan.

toinen tavoite oli selvittää, onko kunkin asteikon alkioilla samat psykometriset ominaisuudet eri osallistujien ryhmissä: tätä kutsutaan Differential Item Functioningiksi (DIF) ja se määrittää, onko alkioilla samanlaisia psykometrisiä ominaisuuksia eri osallistujien ryhmissä, eli onko kohteilla invariantteja ominaisuuksia eri ryhmissä. Jos erissä näkyy eroja ryhmien välillä, niitä ei tule käyttää henkilöiden suoritusten vertailuun, elleivät henkilöt kuulu samaan ryhmään. Tässä tutkimuksessa kiinnostuksen kohteena olivat sukupuoli, ikä, kokemus ammatista, maahantulotutkinto (aiempi tutkinto tai ei) ja hallintotehtävä.

kolmantena tavoitteena oli saada näyttöä PCC-ja CSC-järjestelmien yhdenmukaisesta pätevyydestä tarkastelemalla niiden tilastollisia korrelaatioita vahvistettuihin GSE-ja PRCA-24-asteikkoihin, joissa arvioidaan joitakin luottamukseen liittyviä näkökohtia.

ensimmäisen tavoitteen saavuttamiseksi tutkittiin asteikkojen eri puolia. Ensimmäinen näkökohta oli vastausluokkien toiminta. Nimikekynnykset (cut-pisteet kunkin peräkkäisen parin kategorioiden, kuten, vahvasti samaa mieltä ja samaa mieltä) on järjestettävä oikein. Toinen näkökohta oli kunkin sarjan sovittaminen Raschin malliin. Jos kohteet sopivat malliin, mikä on osoitus sisäisestä johdonmukaisuudesta, ne voidaan hyväksyä yhden muuttujan mittaamiseksi tällä asteikkotasolla. Tämän arviointiin käytettiin kahta fit – testiä – yhtä tilastollista (chi-neliö) ja yhtä graafista (kohteen ominaiskäyrät, ICCs). Raschin paradigmassa yleensä mikään yksi istuvuuden testi ei riitä tekemään päätöstä istuvuudesta. Kolmas näkökulma oli esineiden ja henkilöiden kohdentaminen toisiinsa: tämä selviää tutkimalla esineen ja henkilön sijaintien yhteistä jakautumista samassa jatkumossa. Neljättä näkökohtaa, erien riippuvuuksia, tarkasteltiin tarkastelemalla erien välisiä jäännöskorrelaatioita. Jos kohteet osoittavat riippuvuutta, niin yksi kohde kussakin parissa on tarpeeton ja molempien säilyttäminen keinotekoisesti lisää luotettavuutta. Tällaiset riippuvuudet voivat myös viitata siihen, että esiintyy alaskaaloja, joita voidaan tutkia tarkemmin jäännösten pääkomponenttianalyysin avulla. Lopuksi luotettavuus mitataan käyttämällä Henkilöerotusindeksiä (Person Separation Index, PSI), joka on Cronbachin alfan Rasch-vastine.

toisen tavoitteen käsittelemiseksi-sen selvittämiseksi, toimivatko erät suhteellisen johdonmukaisesti eri ryhmissä, tarkasteltiin eri ryhmien välisiä eroja sukupuolen, iän, aiemman kokemuksen, Maahantulokelpoisuuden ja tilanteen perusteella.

kolmannen tavoitteen, eli pätevyyden lisätodisteiden (tällä kertaa yhteneväisen pätevyyden), käsittelemiseksi opiskelijoiden arvosanat asteikoilla korreloitiin samojen opiskelijoiden pistemäärien kanssa kahdella olemassa olevalla asteikolla, joilla mitataan itseluottamukseen liittyviä mutta erilaisia konstruktioita, joiden pätevyys on vahvistettu tutkimuskirjallisuudessa, nimittäin GSE-ja PRCA-24 (interpersonal communication).

näiden analyysien tulokset antavat tietoa näiden kahden asteikon pätevyydestä ja luotettavuudesta. Jos nämä ovat tyydyttäviä, henkilöpaikkoja (lineaarisia raakapisteitä) voidaan käyttää lisäanalyyseihin, kuten esimerkiksi eri eturyhmien keskiarvopisteiden (henkilöpaikkojen) vertailuun ja ajan mittaan tapahtuneiden keskimääräisten paikkojen muutosten tutkimiseen.