Kryss-Modale Korrespondanser Forbedrer Ytelsen På En Sensorisk Substitusjonsenhet Fra Farge Til Lyd
Visuelle sensoriske substitusjonsenheter (Ssder) kan representere visuelle egenskaper gjennom forskjellige lydmønstre, slik at en synshemmet bruker får tilgang til visuell informasjon. Tidligere Ssd-Er har unngått farge, og når de koder farge, har de tildelt lyder til farge på en stort sett uprinsippet måte. Denne studien introduserer en ny tablettbasert SSD kalt ‘Creole’ (såkalt fordi den kombinerer taktil skanning med bildesonifisering) og en ny algoritme for å konvertere farge til lyd som er basert på etablerte kryssmodale korrespondanser (intuitive kartlegginger mellom forskjellige sensoriske dimensjoner). For å teste nytten av korrespondanser, undersøkte vi farge-lyd assosiative minne og objekt anerkjennelse evner seende brukere som hadde sin enhet enten kodet i tråd med eller motsatt til lyd – farge korrespondanser. Forbedret fargeminne og reduserte fargefeil ble gjort av brukere som hadde korrespondansebaserte tilordninger. Interessant nok så fargelyd-kartleggingene som ga de høyeste forbedringene under den assosiative minneoppgaven, de største gevinstene for å gjenkjenne realistiske objekter som også inneholdt disse fargene, noe som indikerer en overføring av evner fra minne til anerkjennelse. Disse brukerne var også marginalt bedre til å matche lyder til bilder som varierer i luminans, selv om luminans ble kodet identisk på tvers av de forskjellige versjonene av enheten. Disse funnene diskuteres med relevans for både farge og korrespondanser for sensorisk substitusjonsbruk.
