Cross-Modal vastaavuudet parantaa suorituskykyä väri-ääni aistinvaraisen laitteen

Visual sensory substitution devices (SSD) voi edustaa visuaalisia ominaisuuksia eri malleja äänen, jonka avulla näkövammainen käyttäjä voi saada visuaalista tietoa. Aikaisemmat SSD-levyt ovat välttäneet väriä ja kun ne koodaavat väriä, ne ovat määrittäneet äänet värille pitkälti periaatteettomalla tavalla. Tässä tutkimuksessa esitellään uusi tablettipohjainen SSD-levy, jota kutsutaan “Kreoliksi” (koska siinä yhdistyvät tuntoaistiskannaus ja kuvan sonifikaatio) ja uusi algoritmi värin muuttamiseksi ääneksi, joka perustuu vakiintuneisiin poikkimodaalisiin vastaavuuksiin (intuitiiviset kuvaukset eri aistimusten ulottuvuuksien välillä). Testataksemme vastaavuuksien hyödyllisyyttä tutkimme niiden näkevien käyttäjien väri–ääni–assosiatiivista muistia ja objektintunnistuskykyä, joiden laite oli koodattu joko äänivärivasteiden mukaiseksi tai vastakohdaksi. Parempi värimuisti ja vähemmän värivirheitä tekivät käyttäjät, joilla oli kirjeenvaihtoon perustuva kartoitus. Mielenkiintoista on, että väri-ääni-kuvaukset, jotka tarjosivat suurimmat parannukset assosiatiivisen muistitehtävän aikana, näkivät myös suurimmat voitot tunnistettaessa realistisia kohteita, joissa oli myös näitä värejä, mikä viittaa kykyjen siirtymiseen muistista tunnistamiseen. Nämä käyttäjät osasivat myös hieman paremmin sovittaa äänet luminanssiltaan vaihteleviin kuviin, vaikka Luminanssi oli koodattu identtisesti laitteen eri versioille. Näitä löydöksiä tarkastellaan sekä värin että aistisubstituutioiden vastaavuuden kannalta.