Cross-modale correspondenties verbeteren de prestaties op een sensorisch Substitutieapparaat voor kleur naar geluid

visuele sensorisch substitutiehulpmiddelen (SSD ‘ s) kunnen visuele kenmerken vertegenwoordigen door middel van verschillende geluidspatronen, waardoor een visueel gehandicapte gebruiker toegang heeft tot visuele informatie. Vorige SSD ‘ s hebben kleur vermeden en wanneer ze kleur coderen, hebben ze geluiden toegewezen aan kleur op een grotendeels gewetenloze manier. Deze studie introduceert een nieuwe tablet-gebaseerde SSD genaamd de ‘Creools’ (zo genoemd omdat het combineert tactiele scannen met beeld sonificatie) en een nieuw algoritme voor het omzetten van kleur naar geluid dat is gebaseerd op gevestigde cross-modale correspondenties (intuã tieve mappings tussen verschillende zintuiglijke dimensies). Om het nut van correspondenties te testen, onderzochten we de kleur–geluid associatieve geheugen en object herkenning capaciteiten van ziende gebruikers die hun apparaat ofwel gecodeerd in lijn met of tegengesteld aan geluid–kleur correspondenties. Verbeterd kleurgeheugen en minder kleurfouten werden gemaakt door gebruikers die de correspondentie-gebaseerde mappings hadden. Interessant is dat de kleur–geluid mappings die de hoogste verbeteringen tijdens de associatieve geheugentaak leverde ook de grootste winst voor het herkennen van realistische objecten die ook deze kleuren bevatten, wat wijst op een overdracht van vaardigheden van het geheugen naar herkenning. Deze gebruikers waren ook marginaal beter in het afstemmen van geluiden op beelden variërend in luminantie, hoewel Luminantie identiek was gecodeerd over de verschillende versies van het apparaat. Deze bevindingen worden besproken met relevantie voor zowel kleur als correspondenties voor sensorisch substitutiegebruik.