Banca de DEFESA: DAVI HIRAFUJI NEIVA

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
DISCENTE : DAVI HIRAFUJI NEIVA
DATA : 11/03/2022
HORA: 13:00
LOCAL: Virtual
TÍTULO:

Tradução entre línguas de sinais utilizando Deep Learning


PALAVRAS-CHAVES:

Gesture recognition. Deep Learning. Translation between 
gestures. Artificial neural networks.


PÁGINAS: 133
RESUMO:

A linguagem de sinais é a forma de expressão usada por pessoas surdas para se comunicar. É com o movimento do corpo, especialmente as mãos, que uma pessoa surda consegue se expressar. Contudo, as línguas de sinais não são universais, isso quer dizer que uma pessoa surda Alemã não poderá se comunicar adequadamente com uma pessoa surda Brasileira, por exemplo. Soluções baseadas em software utilizam aprendizagem de máquina para reconhecer gestos e traduzir de língua falada e escrita para outra, mas trabalhos que combinem esses algoritmos visando uma tradução entre língua de sinais não são frequentes. Nesta pesquisa, propomos o sAIgns, uma plataforma colaborativa web e móvel para tradução entre línguas de sinais. Utilizando a câmera do celular para capturar vídeos de uma pessoa fazendo um gesto em uma língua de sinais, o usuário poderá visualizar o gesto correspondente na sua língua de sinais materna. Nós utilizamos uma combinação de algoritmos de Deep Learning, tais como Mask R-CNN, CNN e Transformers para realizar remoção de plano de fundo, extração de características, reconhecimento de sinais e tradução. Nós propomos ainda uma abordagem de reconhecimento de sentenças em língua de sinais utilizando um conjunto de dados de palavras. Além disso, propomos uma webpage para hospedar diferentes línguas de sinais, visualizar sinais individualmente ou em sentenças e criar máscaras customizadas para as mãos. Utilizando duas bases públicas de sinais (base alemã PHOENIX-14T e base Libras V-Librasil) nossa abordagem apresentou uma melhora de WER de 4% na base PHOENIX-14T e enquanto na V-Librasil, conseguimos um WER de 21.7% e 5% para palavras e sentenças respectivamente.


MEMBROS DA BANCA:
Presidente - 1699034 - ADRIANO LORENA INACIO DE OLIVEIRA
Externo à Instituição - ANDRÉ CÂMARA ALVES DO NASCIMENTO - UFRPE
Externo à Instituição - FRANCISCO CARLOS MONTEIRO SOUZA - UTFPR
Externo à Instituição - JOÃO FAUSTO LORENZATO DE OLIVEIRA - UPE
Interno - 2886196 - LEANDRO MACIEL ALMEIDA
Notícia cadastrada em: 24/02/2022 15:53
SIGAA | Superintendência de Tecnologia da Informação (STI-UFPE) - (81) 2126-7777 | Copyright © 2006-2024 - UFRN - sigaa04.ufpe.br.sigaa04