Las Correspondencias Multimodales Mejoran el Rendimiento de un Dispositivo de Sustitución Sensorial de Color a Sonido
Los dispositivos de sustitución sensorial visual (SSD) pueden representar características visuales a través de patrones de sonido distintos, lo que permite a un usuario con discapacidad visual acceder a la información visual. Los SSD anteriores han evitado el color y, cuando codifican el color, han asignado sonidos al color de una manera en gran medida sin principios. Este estudio presenta un nuevo SSD basado en tabletas denominado’ Criollo ‘ (llamado así porque combina escaneo táctil con sonificación de imagen) y un nuevo algoritmo para convertir color en sonido que se basa en correspondencias intermodales establecidas (asignaciones intuitivas entre diferentes dimensiones sensoriales). Para probar la utilidad de las correspondencias, examinamos la memoria asociativa de sonido de color y las capacidades de reconocimiento de objetos de los usuarios videntes que tenían su dispositivo codificado en línea o opuesto a las correspondencias de color de sonido. La memoria de color mejorada y la reducción de errores de color fueron cometidos por los usuarios que tenían las asignaciones basadas en correspondencia. Curiosamente, las asignaciones de color y sonido que proporcionaron las mayores mejoras durante la tarea de memoria asociativa también vieron las mayores ganancias para reconocer objetos realistas que también presentaban estos colores, lo que indica una transferencia de habilidades de la memoria al reconocimiento. Estos usuarios también eran ligeramente mejores en la coincidencia de sonidos con imágenes que variaban en luminancia, a pesar de que la luminancia estaba codificada de manera idéntica en las diferentes versiones del dispositivo. Estos hallazgos se discuten con relevancia tanto para el color como para las correspondencias para el uso de sustitución sensorial.
