Banca de DEFESA: JAYR ALENCAR PEREIRA

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
DISCENTE: JAYR ALENCAR PEREIRA
DATA : 18/07/2023
HORA: 13:00
LOCAL: Virtual
TÍTULO:

A Method for Adapting Large Language Models for Communication Card Prediction in Augmentative and Alternative Communication Systems

PALAVRAS-CHAVES:

Augmentative and Alternative Communication. Message 
authoring. Sentence construction. Pictogram prediction. Colourful Semantics.

PÁGINAS: 108
RESUMO:

Os sistemas de Comunicação Aumentativa e Alternativa (CAA) auxiliam indivíduos com necessidades complexas de comunicação a se expressarem. Um recurso comum em CAA é o uso de cartões de comunicação, onde o usuário seleciona cartões e os organiza em sequência para formar uma frase. No entanto, o número limitado de cartões exibidos e a necessidade de navegar por várias páginas ou pastas podem dificultar a construção de mensagesn. Para superar essas barreiras, vários métodos foram propostos, como organização de vocabulário, sistemas de codificação de cores, planejamento motor e modelos preditivos. Avanços recentes em Inteligência Artificial (IA) e Aprendizado de Máquina mostraram potencial para melhorar a acessibilidade e a personalização dos sistemas de CAA. Este estudo propõe um método para adaptar modelos de linguagem para predição de cartões de comunicação em sistemas de CAA para facilitar a elaboração de mensagens. O método proposto envolve três etapas principais: 1) adaptar um corpus de texto ao domínio da CAA, convertendo-o em um corpus de frases telegráficas ou incorporando recursos que permitem a exploração de pistas visuais; 2) ajustar um modelo de linguagem baseado em transformers usando o corpus adaptado; e 3) substituir os pesos do decodificador do modelo de linguagem por uma representação codificada do vocabulário do usuário para gerar uma distribuição de probabilidade sobre os itens de vocabulário do usuário durante a inferência. O método proposto aproveita que modelos de linguagem baseados em transformers, como o Bidirectional Encoder Representations from Transformers (BERT), compartilham os pesos da camada de embeddings de entrada com o decodificador no cabeçalho de modelagem de linguagem. Portanto, o método pode ser usado sem treinamento adicional para a predição de cartões de comunicação. O método foi avaliado em Língua Inglesa e Língua Portuguesa do Brasil usando configurações zero-shot e few-shot, em que um pequeno corpus de texto foi usado para o ajuste fino. Além disso, foi avaliado o impacto da incorporação de recursos adicionais nas frases de treinamento, rotulando-as com a estrutura do Colourful Semantics. Resultados mostram que o método proposto supera modelos pré-treinados e que a inclusão de Colourful Semantics melhora a precisão da predição de cartões. O método utiliza a transferência de aprendizado de modelos de linguagem baseados em transformers para facilitar a construção de mensagens em sistemas de CAA.

MEMBROS DA BANCA:
Externo à Instituição - RODRIGO FRASSETTO NOGUEIRA - UNICAMP
Interno - 1699034 - ADRIANO LORENA INACIO DE OLIVEIRA
Externo à Instituição - ANDRE CARLOS PONCE DE LEON FERREIRA DE CARVALHO - USP
Interno - 3144616 - FILIPE CARLOS DE ALBUQUERQUE CALEGARIO
Presidente - 1277035 - GEBER LISBOA RAMALHO