Cross-Modale Corrispondenze Migliorare le Prestazioni su un Colore-Suono Sensoriale Sostituzione del Dispositivo

sensoriale Visiva sostituzione di dispositivi (Ssd) possono rappresentare caratteristiche visive attraverso modelli distinti di suono, consentendo un ipovedente utente l’accesso alle informazioni visive. Gli SSD precedenti hanno evitato il colore e quando codificano il colore, hanno assegnato i suoni al colore in un modo in gran parte senza principi. Questo studio introduce un nuovo SSD basato su tablet chiamato “Creolo” (così chiamato perché combina la scansione tattile con la sonificazione dell’immagine) e un nuovo algoritmo per convertire il colore in suono basato su corrispondenze cross-modali stabilite (mappature intuitive tra diverse dimensioni sensoriali). Per testare l’utilità delle corrispondenze, abbiamo esaminato la memoria associativa colore–suono e le capacità di riconoscimento degli oggetti degli utenti vedenti che avevano il loro dispositivo codificato in linea o opposto alle corrispondenze suono–colore. Memoria colore migliorata e errori di colore ridotti sono stati fatti dagli utenti che avevano le mappature basate sulla corrispondenza. È interessante notare che le mappature colore-suono che hanno fornito i massimi miglioramenti durante l’attività di memoria associativa hanno visto anche i maggiori guadagni per riconoscere oggetti realistici che presentavano anche questi colori, indicando un trasferimento di abilità dalla memoria al riconoscimento. Questi utenti erano anche marginalmente migliori nell’abbinare i suoni alle immagini che variavano nella luminanza, anche se la luminanza era codificata in modo identico tra le diverse versioni del dispositivo. Questi risultati sono discussi con rilevanza sia per il colore che per le corrispondenze per l’uso di sostituzione sensoriale.