korespondencja Międzymodalna zwiększa wydajność na urządzeniu do zastępowania SENSORYCZNEGO barwą-Dźwiękiem

urządzenia do zastępowania SENSORYCZNEGO (SSD) mogą reprezentować cechy wizualne za pomocą różnych wzorców dźwięku, umożliwiając użytkownikom niedowidzącym dostęp do informacji wizualnych. Poprzednie dyski SSD unikały kolorów, a kiedy kodują kolory, przypisywały dźwięki do koloru w sposób w dużej mierze pozbawiony zasad. Badanie to wprowadza nowy dysk SSD oparty na tabletach, określany jako “kreolski” (tak zwany, ponieważ łączy skanowanie dotykowe z sonifikacją obrazu) oraz nowy algorytm konwersji koloru na dźwięk, który opiera się na ustalonych korespondencjach krzyżowych (intuicyjne mapowanie między różnymi wymiarami sensorycznymi). Aby przetestować użyteczność korespondencji, zbadaliśmy pamięć asocjacyjną kolor-dźwięk i zdolności rozpoznawania obiektów widzących użytkowników, którzy mieli swoje urządzenie zakodowane zgodnie z korespondencją dźwiękowo-kolorową lub odwrotnie. Poprawiono pamięć kolorów i zmniejszono liczbę błędów kolorystycznych popełnianych przez użytkowników, którzy mieli mapowania oparte na korespondencji. Co ciekawe, mapowania barwno-dźwiękowe, które zapewniły najwyższe ulepszenia podczas zadania pamięci asocjacyjnej, przyniosły również największe korzyści w rozpoznawaniu realistycznych obiektów, które również posiadały te kolory, co wskazuje na przeniesienie zdolności z pamięci do rozpoznawania. Użytkownicy ci byli również nieznacznie lepsi w dopasowywaniu dźwięków do obrazów o różnej luminancji, mimo że luminancja była kodowana identycznie w różnych wersjach urządzenia. Wyniki te są omawiane z uwzględnieniem zarówno koloru, jak i zgodności z sensorycznym zastosowaniem substytucji.