Krydsmodale korrespondancer forbedrer ydeevnen på en sensorisk Substitutionsenhed med farve til lyd

visuelle sensoriske substitutionsenheder (SSD ‘ er) kan repræsentere visuelle egenskaber gennem forskellige lydmønstre, hvilket giver en synshandicappet bruger adgang til visuel information. Tidligere SSD ‘ er har undgået farve, og når de koder for farve, har de tildelt lyde til farve på en stort set uprincippet måde. Denne undersøgelse introducerer en ny tabletbaseret SSD kaldet ‘kreolsk’ (såkaldt fordi den kombinerer taktil scanning med billedsonificering) og en ny algoritme til konvertering af farve til lyd, der er baseret på etablerede tværmodale korrespondancer (intuitive kortlægninger mellem forskellige sensoriske dimensioner). For at teste nytten af korrespondancer, vi undersøgte farve–lyd associative hukommelse og objekt genkendelse evner seende brugere, der havde deres enhed enten kodet på linje med eller modsat lyd–farve korrespondancer. Forbedret farvehukommelse og reducerede farvefejl blev foretaget af brugere, der havde korrespondancebaserede kortlægninger. Interessant nok så farvelydkortlægningerne, der gav de højeste forbedringer under den associative hukommelsesopgave, også de største gevinster for at genkende realistiske objekter, der også indeholdt disse farver, hvilket indikerer en overførsel af evner fra hukommelse til genkendelse. Disse brugere var også marginalt bedre til at matche lyde til billeder, der varierede i luminans, selvom luminans blev kodet identisk på tværs af de forskellige versioner af enheden. Disse fund diskuteres med relevans for både farve og korrespondancer for sensorisk substitutionsbrug.