a cross-modális megfelelések fokozzák a teljesítményt egy szín-hang érzékszervi helyettesítő eszközön
a Visual sensory substitution devices (SSD) a vizuális jellemzőket különböző hangmintákon keresztül jelenítheti meg, lehetővé téve a látássérült felhasználók számára a vizuális információkhoz való hozzáférést. A korábbi SSD-k kerülték a színt, és amikor színt kódoltak, a hangokat nagyrészt elvtelen módon rendelték a színhez. Ez a tanulmány bevezet egy új táblagép-alapú SSD-t, amelyet Kreolnak neveznek (úgynevezett, mert ötvözi a tapintható szkennelést a kép szonifikációjával), és egy új algoritmust a szín hangtá történő átalakítására, amely megalapozott cross-modális megfeleléseken alapul (intuitív leképezések a különböző érzékszervi dimenziók között). A megfelelések hasznosságának teszteléséhez megvizsgáltuk azoknak a látó felhasználóknak a szín-hang asszociatív memóriáját és objektumfelismerési képességeit, akiknek eszközüket a hang-szín megfeleléssel összhangban vagy azzal ellentétesen kódolták. Javított színmemóriát és csökkentett színhibákat követtek el a levelezésen alapuló leképezésekkel rendelkező felhasználók. Érdekes módon az asszociatív memória feladat során a legnagyobb javulást biztosító szín-hang leképezések szintén a legnagyobb nyereséget jelentették a reális tárgyak felismerésében, amelyek szintén ezeket a színeket mutatták, jelezve a képességek átadását a memóriából a felismerésbe. Ezek a felhasználók szintén kissé jobban megfeleltek a hangoknak a fénysűrűségben változó képekhez, annak ellenére, hogy a fényerőt azonos módon kódolták az eszköz különböző verzióiban. Ezeket a megállapításokat mind a szín, mind az érzékszervi szubsztitúciós felhasználás szempontjából relevánsnak tekintik.
