Publicación:
Desarrollo de sistema interprete virtual por voz a lengua de señas para las personas con discapacidad auditiva en la Universidad de Córdoba

Vista sencilla de ítem
dc.contributor.advisorBARREIRO PINTO, FRANCISCO RICARDO
dc.contributor.authorRangel Giraldo, Michaen Stebin
dc.contributor.authorRodríguez Vesga, Karlos Daniel
dc.contributor.educationalvalidatorOviedo Pastrana, Liliana
dc.contributor.juryZAKZUK HERNADEZ, MILTON EDUARDO
dc.contributor.juryPEÑA SALGADO, PIERRE AUGUSTO
dc.date.accessioned2023-12-19T23:36:56Z
dc.date.available2023-12-19T23:36:56Z
dc.date.issued2023-12-19
dc.description.abstractEn este proyecto se comprendieron las generalidades de la lengua de señas colombiana para de desarrollar el intérprete virtual por voz a lengua de señas para las personas con discapacidad auditiva en la Universidad de Córdoba con la finalidad de incluir a la población sorda de la universidad con las personas oyentes a través de una herramienta tecnológica. Se utilizó Artyom.js para convertir voz a texto y así procesar la información con Spacy, librería que nos permite construir sistemas para la extracción y procesamiento de lenguaje natural. Además, se implementó comunicación por web sockets para el flujo de la información dentro del sistema desarrollado; se usó React js para el manejo de estados y eventos asociados a la voz y las señas correspondientes; se usó node js para las peticiones de las palabras registradas en la base de datos y flask para el uso de spacy aislado en un contenedor docker. Se obtuvieron buenas salidas en la transformación de las palabras reconocidas y en base a esta salida se mostraron correctas visualizaciones de las señas correspondientes, estas señas fueron previamente grabadas en compañía de un modelo lingüístico quien nos validó la precisión y correcta implementación.spa
dc.description.abstractIn this project, the generalities of Colombian sign language were understood in order to develop the virtual voice-to-sign language interpreter for people with hearing disabilities at the University of Córdoba with the purpose of including the deaf population of the university with the hearing people through a technological tool. Artyom.js was used to convert speech to text and thus process the information with Spacy, a library that allows us to build systems for the extraction and processing of natural language. In addition, communication via web sockets was implemented for the flow of information within the developed system; React js was used to manage states and events associated with the voice and the corresponding signs; Node js was used to request the words registered in the database and flask was used to use spacy isolated in a docker container. Good outputs were obtained in the transformation of the recognized words and based on this output, correct visualizations of the corresponding signs were shown. These signs were previously recorded in the company of a linguistic model who validated their precision and correct implementation.eng
dc.description.degreelevelPregrado
dc.description.degreenameIngeniero(a) de Sistemas
dc.description.modalityTrabajos de Investigación y/o Extensión
dc.description.tableofcontentsRESUMENspa
dc.description.tableofcontentsINTRODUCCIÓNeng
dc.description.tableofcontentsABSTRACTspa
dc.description.tableofcontentsFORMULACIÓN DEL PROBLEMAspa
dc.description.tableofcontentsFORMULACIÓN DEL PROBLEMAspa
dc.description.tableofcontentsJUSTIFICACIÓNspa
dc.description.tableofcontentsOBJETIVOSspa
dc.description.tableofcontentsREVISIÓN BIBLIOGRAFICAspa
dc.description.tableofcontentsMARCO TEÓRICOspa
dc.description.tableofcontentsGENERALIDADES DE LA LENGUA DE SEÑASspa
dc.description.tableofcontentsTRADUCCIÓN GLOSAspa
dc.description.tableofcontentsSTOP WORDSeng
dc.description.tableofcontentsPROCESAMIENTO DE LENGUAJE NATURAL (PLN)spa
dc.description.tableofcontentsCOMUNICACIÓN EN TIEMPO REALspa
dc.description.tableofcontentsMARCO CONCEPTUALspa
dc.description.tableofcontentsAPI´Seng
dc.description.tableofcontentsARTYOM.JSeng
dc.description.tableofcontentsPYTHONeng
dc.description.tableofcontentsJAVASCRIPTeng
dc.description.tableofcontentsESTADO DEL ARTEspa
dc.description.tableofcontentsMATERIALES Y MÉTODOSspa
dc.description.tableofcontentsMATERIALESspa
dc.description.tableofcontentsMÉTODOSspa
dc.description.tableofcontentsFASE DE COMPRENSIÓN DE LAS GENERALIDADES DE LA LENGUA DE SEÑAS COLOMBIANAspa
dc.description.tableofcontentsFASE DE DESARROLLO DE ARQUITECTURAspa
dc.description.tableofcontentsRESULTADOS Y DISCUSIONESspa
dc.description.tableofcontentsCONCLUSIONESspa
dc.description.tableofcontentsRECOMENDACIONESspa
dc.description.tableofcontentsBIBLIOGRAFÍAspa
dc.description.tableofcontentsANEXOSspa
dc.description.tableofcontentsPROTOTIPO Y FASES DE DESARROLLOspa
dc.description.tableofcontentsFRONTENDeng
dc.description.tableofcontentsBACKENDeng
dc.format.mimetypeapplication/pdf
dc.identifier.instnameUniversidad de Córdoba
dc.identifier.reponameRepositorio Universidad de Córdoba
dc.identifier.repourlhttps://repositorio.unicordoba.edu.co/
dc.identifier.urihttps://repositorio.unicordoba.edu.co/handle/ucordoba/7996
dc.language.isospa
dc.publisherUniversidad de Córdoba
dc.publisher.facultyFacultad de Ingeniería
dc.publisher.placeMontería, Córdoba, Colombia
dc.publisher.programIngeniería de Sistemas
dc.relation.referencesDICCIONARIO BÁSICO DE LA LENGUA DE SEÑAS COLOMBIANA. (2011). Imprenta Nacional. http://www.insor.gov.co/descargar/diccionario_basico_completo.pdf
dc.relation.referencesCervantes, C. V. (s. f.). ¿GESTICULAR O SIGNAR? REALIDADES EN LA ENSEÑANZA DEL EL2 PARA EL COLECTIVO SORDO. © 2008, Instituto Cervantes. https://cvc.cervantes.es/ensenanza/biblioteca_ele/asele/pdf/17/17_0217.pdf
dc.relation.referencesLEMATIZACIÓN - Definición y sinónimos de lematización en el diccionario español. (s. f.). https://educalingo.com/es/dic-es/lematizacion
dc.relation.referencesAgencia de Marketing Online BlackBeast. (2019, 8 julio). ¿Qué son las Stop Words y para qué sirven? – BlackBeast. Blackbeast.pro. https://blackbeast.pro/diccionario/stop- words/
dc.relation.referencesdecide4AI. (2022, 20 abril). Procesamiento del Lenguaje Natural (PLN): qué es y para qué se utiliza. Decide. https://decidesoluciones.es/procesamiento-del-lenguaje-natural- pln-o-nlp-quees-y-para-que-se-utiliza/
dc.relation.referencesSLU, T. T. (s. f.). PLN con Python: Tokens, stop words y ngrams. Telefónica Tech. https://telefonicatech.com/blog/pln-con-python-tokens-stop-words-y-ngrams
dc.relation.referencesBurad, V. (2008). La glosa: Un sistema de notación para la lengua de señas. Ciudad de Publicación: Editorial
dc.relation.referencesArtyom.js. (s. f.). SDkCarlos Github. https://sdkcarlos.github.io/sites/artyom.html
dc.relation.referencesPresta, M. (2021). ¿Qué es una aplicación en tiempo real? Back4App Blog. https://blog.back4app.com/es/que-es-una-aplicacion-en-tiempo-real/
dc.relation.references¿Qué es Python? - Explicación del lenguaje Python - AWS. (s. f.). Amazon Web Services, Inc. https://aws.amazon.com/es/what-is/python/
dc.relation.referencesGraves, A., Mohamed, A. R., & Hinton, G. (2013, May). Speech recognition with deep recurrent neural networks. In 2013 IEEE international conference on acoustics, speech and signal processing (pp. 66456649). Ieee.
dc.relation.references¿Qué es JavaScript? - Explicación de JavaScript (JS) - AWS. (s. f.). Amazon Web Services, Inc. https://aws.amazon.com/es/what-is/javascript/
dc.relation.referencesRodríguez, J. E. L. (s. f.). HETAH. https://hetah.net/traductor
dc.relation.referencesNádas, A., Nahamoo, D., & Picheny, M. A. (1988). On a model-robust training method for speech recognition. IEEE Transactions on Acoustics, Speech, and Signal Processing, 36(9), 1432-1436.
dc.relation.referencesArias, R., Chavira, M., Vargas, J. & Valdovinos, N. (2021). Barreras y factores de inclusión en el acceso a la educación superior de estudiantes con discapacidad auditiva en México. Educación XX1, 24(1), 233-256. doi: 10.5944/educXX1.26048
dc.relation.referencesYu, D ., & Deng, L. (2016). Automatic speech recognition (Vol. 1). Berlin: Springer. Levis, J., & Suvorov, R. (2012). Automatic speech recognition. The encyclopedia of applied linguistics.
dc.relation.referencesJ, P. P., & Gardey, A. (2017). API - Qué es, definición y concepto. Definición.de. https://definicion.de/api/
dc.relation.referencesConstante, P. (2017, 11 diciembre). Diseño e implementación de un sistema traductor de texto y voz a lenguaje de señas a través de una interfaz gráfica con un avatar mediante dispositivos Android. http://repositorio.espe.edu.ec/handle/21000/13830
dc.relation.referencesMartins, P., Rodrigues, H., Rocha, T., Francisco, M., & Morgado, L. (2015). Accessible options for deaf people in e-learning platforms: technology solutions for sign language translation. Procedia Computer Science, 67, 263-272
dc.relation.referencesNasereddin, H. H. (2017). MMLSL: modelling mobile learning for sign language. Of Engineering and Computer Science Research and Reviews in Applied Sciences, Volume, 9(2), 20267-20272.
dc.relation.referencesKumar, P., & Kaur, S. (2020). Sign language generation system based on Indian sign language grammar. ACM Transactions on Asian and Low-Resource Language Information Processing (TALLIP), 19(4), 1-26.
dc.relation.referencesEqab, A., & Shanableh, T. (2017, November). Android mobile app for real-time bilateral Arabic sign language translation using leap motion controller. In 2017 International Conference on Electrical and Computing Technologies and Applications (ICECTA) (pp. 1- 5). IEEE
dc.relation.referencesJones, M. D., Hamilton, H., & Petmecky, J. (2015, October). Mobile phone access to a sign language dictionary. In Proceedings of the 17th International ACM SIGACCESS Conference on Computers & Accessibility (pp. 331-332).
dc.relation.referencesLa lengua de señas colombiana. (s. f.). https://lenguasdecolombia.caroycuervo.gov.co/contenido/Lenguas-de-senascolombiana/introduccion
dc.relation.referencesRayner, M., Bouillon, P., Ebling, S., Gerlach, J., Strasly, I., & Tsourakis, N. (2016, August). An open web platform for rule-based speech-to-sign translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) (pp. 162- 168).
dc.relation.referencesContreras, S. (2018). Inclusión de estudiantes con discapacidad en la educación superior: experiencias de estudiantes con discapacidad en el departamento de Córdoba. Revista de Investigación Académica, 15, 1-15. Recuperado de https://revistas.udem.edu.co/index.php/ri/article/view/2017
dc.rightsCopyright Universidad de Córdoba, 2023
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2
dc.rights.licenseAtribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.urihttps://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject.keywordsReacteng
dc.subject.keywordsNodeeng
dc.subject.keywordsFlaskeng
dc.subject.keywordsSpacyeng
dc.subject.keywordsDockereng
dc.subject.keywordsArtyomeng
dc.subject.keywordsSpeech to texteng
dc.subject.keywordsLinguistic modeleng
dc.subject.keywordsNatural language processingeng
dc.subject.keywordsWeb socketseng
dc.subject.keywordsSign languageeng
dc.subject.keywordsColombian sign languageeng
dc.subject.keywordsDatabaseeng
dc.subject.keywordsRequestseng
dc.subject.proposalReactspa
dc.subject.proposalNodespa
dc.subject.proposalFlaskspa
dc.subject.proposalSpacyspa
dc.subject.proposalDockerspa
dc.subject.proposalArtyomspa
dc.subject.proposalVoz a textospa
dc.subject.proposalModelo linguisticospa
dc.subject.proposalProcesamiento de lenguaje naturalspa
dc.subject.proposalWeb socketsspa
dc.subject.proposalLengua de señasspa
dc.subject.proposalLengua de señas colombianaspa
dc.subject.proposalBase de datosspa
dc.subject.proposalPeticionesspa
dc.titleDesarrollo de sistema interprete virtual por voz a lengua de señas para las personas con discapacidad auditiva en la Universidad de Córdobaspa
dc.typeTrabajo de grado - Pregrado
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.coarversionhttp://purl.org/coar/version/c_ab4af688f83e57aa
dc.type.contentText
dc.type.driverinfo:eu-repo/semantics/bachelorThesis
dc.type.versioninfo:eu-repo/semantics/acceptedVersion
dspace.entity.typePublication
Archivos
Bloque original
Mostrando 1 - 2 de 2
Miniatura
Nombre:
DESARROLLO DE SISTEMA INTERPRETE VIRTUAL POR VOZ A LENGUA DE SEÑAS PARA LAS PERSONAS CON DISCAPACIDAD AUDITIVA EN LA UNIVERSIDAD DE CÓRDOBA.pdf
Tamaño:
2.53 MB
Formato:
Adobe Portable Document Format
Descargar
No hay miniatura disponible
Nombre:
formato de autorización.pdf
Tamaño:
706.34 KB
Formato:
Adobe Portable Document Format
Descargar
Bloque de licencias
Mostrando 1 - 1 de 1
No hay miniatura disponible
Nombre:
license.txt
Tamaño:
15.18 KB
Formato:
Item-specific license agreed upon to submission
Descripción:
Descargar
Colecciones
F.E.A. Trabajos de Investigación y/o Extensión