Diseño e implementación de un sistema traductor de lenguaje de señas de manos a un lenguaje de texto mediante visión artificial en un ambiente controlado

Abstract

En este proyecto se ha realizado un sistema que traduce de lenguaje de señas a lenguaje de texto usando visión artificial, para permitir que personas con discapacidad auditiva y/o visual que manejan el lenguaje de señas puedan comunicarse con el resto de personas que no manejan este lenguaje. Para personas que no conocen este lenguaje el proyecto ofrece la opción de un entrenador, para que aprendan cada uno de los símbolos de este lenguaje y adquieran la habilidad necesaria para utilizar la aplicación. El sistema adquiere la imagen que luego pasa por un procesamiento digital de imágenes y por último se realiza la traducción. El programa que fue desarrollado en Labview 2009 incluyendo su toolkit de visión artificial. En el procesamiento digital de imágenes se aplicaron algunos filtros y operaciones morfológicas para resaltar las características de la imagen y eliminar información innecesaria como ruido. También se eliminaron objetos extraños en la imagen mediante un recortado del área de interés. Con la ayuda del Vision Assitant de Labview se elaboraron las bases de datos, para llevar a cabo la comparación con la imagen recortada y de esta manera asignar la clase (letra) correspondiente a cada imagen. Con la clase asignada se forma el texto que se muestra en forma escrita en la pantalla o a su vez se puede enviar a un documento de Word, además es posible reproducir en audio el texto formado con la ayuda de la herramienta “texto a voz” de Windows.