Cross-Modal Correspondências Melhorar o Desempenho em uma Cor-de-Som Sensorial Substituição de Dispositivo

Visual sensorial substituição de dispositivos (Ssd) pode representar características visuais através de distintos padrões de som, permitindo que um usuário visuais o acesso à informação visual. Os SSDs anteriores evitaram a cor e, quando codificam a cor, atribuíram sons à cor de uma forma em grande parte sem princípios. Este estudo introduz um novo SSD baseado em tablet chamado “Crioulo” (assim chamado porque combina digitalização táctil com sonificação de imagem) e um novo algoritmo para converter cor para som que é baseado em correspondências transversais estabelecidas (mapeamentos intuitivos entre diferentes dimensões sensoriais). Para testar a utilidade das correspondências, examinámos a memória associativa a cores e as capacidades de reconhecimento de objectos de utilizadores visuais que tinham o seu dispositivo codificado em linha ou oposto a correspondências de cor sonora. Memória colorida melhorada e erros de cor reduzidos foram feitos por usuários que tinham os mapeamentos baseados em correspondência. Curiosamente, os mapeamentos coloridos que proporcionaram as maiores melhorias durante a tarefa de memória associativa também viram os maiores ganhos para o reconhecimento de objetos realistas que também apresentavam essas cores, indicando uma transferência de habilidades da memória para o reconhecimento. Esses usuários também eram marginalmente melhores em combinar sons com imagens variáveis em luminância, mesmo que a luminância fosse codificada de forma idêntica nas diferentes versões do dispositivo. Estes resultados são discutidos com relevância tanto para a cor como para as correspondências para o uso de substituição sensorial.