Korsmodala korrespondenser förbättrar prestanda på en färg-till-ljud-sensorisk Substitutionsenhet
Visual sensory substitution devices (SSD) kan representera visuella egenskaper genom distinkta ljudmönster, vilket ger en synskadad användare tillgång till visuell information. Tidigare SSD: er har undvikit färg och när de kodar färg har de tilldelat ljud till färg på ett i stort sett obestridligt sätt. Denna studie introducerar en ny tablettbaserad SSD som kallas ‘ Creole ‘(så kallad eftersom den kombinerar taktil skanning med bildsonifiering) och en ny algoritm för att konvertera färg till ljud som bygger på etablerade tvärmodala korrespondenser (intuitiva mappningar mellan olika sensoriska dimensioner). För att testa nyttan av korrespondenser undersökte vi färg–ljud associativt minne och objektigenkänningsförmåga hos synade användare som hade sin enhet antingen kodad i linje med eller motsatt ljud–färgkorrespondenser. Förbättrat färgminne och minskade färgfel gjordes av användare som hade korrespondensbaserade mappningar. Intressant nog såg färgljudmappningarna som gav de högsta förbättringarna under den associativa minnesuppgiften också de största vinsterna för att känna igen realistiska objekt som också innehöll dessa färger, vilket indikerar en överföring av förmågor från minne till erkännande. Dessa användare var också marginellt bättre på att matcha ljud till bilder som varierade i luminans, även om luminans kodades identiskt över de olika versionerna av enheten. Dessa fynd diskuteras med relevans för både färg och korrespondenser för sensorisk substitutionsanvändning.
