corespondențele Cross-modale îmbunătățesc performanța pe un dispozitiv de substituție senzorială Color-sunet

dispozitivele de substituție senzorială vizuală (SSD) pot reprezenta caracteristici vizuale prin modele distincte de sunet, permițând unui utilizator cu deficiențe de vedere accesul la informații vizuale. SSD-urile anterioare au evitat culoarea și atunci când codifică culoarea, au atribuit sunete culorii într-un mod în mare parte neprincipial. Acest studiu introduce un nou SSD bazat pe tabletă numit creol (așa-numitul deoarece combină scanarea tactilă cu sonificarea imaginii) și un nou algoritm pentru Conversia culorii în sunet care se bazează pe corespondențe cross-modale stabilite (mapări intuitive între diferite dimensiuni senzoriale). Pentru a testa utilitatea corespondențelor, am examinat memoria asociativă culoare–sunet și abilitățile de recunoaștere a obiectelor utilizatorilor cu deficiențe de vedere care au avut dispozitivul lor fie codat în conformitate cu sau opus corespondențelor sunet–culoare. Memorie de culoare îmbunătățită și erori de culoare reduse au fost făcute de utilizatorii care aveau mapările bazate pe corespondență. Interesant este că mapările de culoare-sunet care au oferit cele mai mari îmbunătățiri în timpul sarcinii de memorie asociativă au înregistrat, de asemenea, cele mai mari câștiguri pentru recunoașterea obiectelor realiste care au prezentat și aceste culori, indicând un transfer de abilități de la memorie la recunoaștere. Acești utilizatori au fost, de asemenea, marginal mai buni la potrivirea sunetelor cu imaginile care variază în luminanță, chiar dacă luminanța a fost codificată identic în diferitele versiuni ale dispozitivului. Aceste constatări sunt discutate cu relevanță atât pentru culoare, cât și pentru corespondențe pentru utilizarea substituției senzoriale.