Les Correspondances Modales Croisées Améliorent les Performances sur un Dispositif de Substitution Sensorielle Couleur-Son

Les dispositifs de substitution sensorielle visuelle (SSD) peuvent représenter des caractéristiques visuelles grâce à des motifs sonores distincts, permettant à un utilisateur malvoyant d’accéder à des informations visuelles. Les disques SSD précédents ont évité la couleur et, lorsqu’ils codent la couleur, ont attribué des sons à la couleur d’une manière largement sans principes. Cette étude introduit un nouveau SSD sur tablette appelé “Créole” (ainsi appelé parce qu’il combine la numérisation tactile avec la sonification de l’image) et un nouvel algorithme de conversion de la couleur en son basé sur des correspondances cross-modales établies (mappages intuitifs entre différentes dimensions sensorielles). Pour tester l’utilité des correspondances, nous avons examiné la mémoire associative couleur–son et les capacités de reconnaissance d’objets des utilisateurs voyants dont l’appareil était codé en ligne ou en opposition aux correspondances couleur–son. Une meilleure mémoire des couleurs et une réduction des erreurs de couleur ont été faites par les utilisateurs qui avaient les mappages basés sur la correspondance. Il est intéressant de noter que les mappages couleur-son qui ont apporté les améliorations les plus importantes au cours de la tâche de mémoire associative ont également enregistré les gains les plus importants pour la reconnaissance d’objets réalistes qui comportaient également ces couleurs, indiquant un transfert de capacités de la mémoire à la reconnaissance. Ces utilisateurs étaient également légèrement meilleurs pour faire correspondre des sons à des images variant en luminance, même si la luminance était codée de manière identique entre les différentes versions de l’appareil. Ces résultats sont discutés avec pertinence pour la couleur et les correspondances pour l’utilisation de la substitution sensorielle.