Cross-Modal Correspondences Enhance Performance on a Colour-to-Sound Sensory Substitution Device

Visuelle sensorische Substitutionsmittel (SSDs) können visuelle Merkmale durch unterschiedliche Klangmuster darstellen und einem sehbehinderten Benutzer den Zugriff auf visuelle Informationen ermöglichen. Frühere SSDs haben Farben vermieden und wenn sie Farben kodieren, haben sie Farben weitgehend prinzipienlos Töne zugewiesen. Diese Studie führt ein neues Tablet-basiertes VERFAHREN ein, das als ‘Kreolisch’ bezeichnet wird (so genannt, weil es taktiles Scannen mit Bildbeschallung kombiniert) und einen neuen Algorithmus zur Umwandlung von Farbe in Klang, der auf etablierten crossmodalen Korrespondenzen basiert (intuitive Zuordnungen zwischen verschiedenen sensorischen Dimensionen). Um die Nützlichkeit von Korrespondenzen zu testen, untersuchten wir das assoziative Farb–Klang–Gedächtnis und die Objekterkennungsfähigkeiten sehender Benutzer, deren Gerät entweder in Übereinstimmung mit oder entgegengesetzt zu Klang-Farb-Korrespondenzen codiert war. Verbessertes Farbgedächtnis und reduzierte Farbfehler wurden von Benutzern gemacht, die die korrespondenzbasierten Zuordnungen hatten. Interessanterweise verzeichneten die Farb–Klang-Zuordnungen, die während der assoziativen Gedächtnisaufgabe die höchsten Verbesserungen erbrachten, auch die größten Gewinne beim Erkennen realistischer Objekte, die ebenfalls diese Farben aufwiesen, was auf eine Übertragung von Fähigkeiten vom Gedächtnis auf die Erkennung hinweist. Diese Benutzer waren auch geringfügig besser darin, Töne an Bilder mit unterschiedlicher Luminanz anzupassen, obwohl die Luminanz in den verschiedenen Versionen des Geräts identisch codiert war. Diese Ergebnisse werden mit Relevanz für Farbe und Korrespondenzen für die sensorische Substitution diskutiert.