Banca de QUALIFICAÇÃO: KAMILLA KARLA MAURICIO PASSOS

Uma banca de QUALIFICAÇÃO de DOUTORADO foi cadastrada pelo programa.
DISCENTE: KAMILLA KARLA MAURICIO PASSOS
DATA : 18/07/2024
LOCAL: Google Meet
TÍTULO:

AVALIAÇÃO DE MODELOS DE LINGUAGEM DE GRANDE ESCALA COMO FONTES DE INFORMAÇÃO PARA EDUCAÇÃO EM CÂNCER DE BOCA NO BRASIL

PALAVRAS-CHAVES:

câncer de boca; grandes modelos de linguagem; chatbot; educação

PÁGINAS: 72
RESUMO:

O presente estudo teve o objetivo de avaliar a qualidade da informação sobre câncer de boca em língua portuguesa (Brasil) fornecida pelo ChatGPT, Gemini e websites. Realizou-se uma pesquisa no buscador Google, a partir da pergunta: “O que é câncer de boca?”. Em seguida, as 25 primeiras Perguntas Frequentes foram extraídas em conjunto com o link do site ao qual estavam associadas. Os textos foram avaliados através dos instrumentos DISCERN e QUEST. Outro parâmetro utilizado foi o Índice Flesch de inteligibilidade e os seus valores foram correlacionados com o nível de escolaridade brasileiro. A maioria (80%) das respostas do ChatGPT apresentaram confiabilidade moderada, assim como o Gemini (68%), enquanto 72% dos websites exibiram alto índice de confiança. A aplicação do QUEST resultou em uma pontuação média de 9,96 para o ChatGPT; 10,79 para o Gemini e 14,8 para os websites. Nenhuma das respostas do ChatGPT pontuaram nos critérios “autoria”, “atribuição” e “atualidade”, destacando que o chatbot não contempla critérios que certifiquem a veracidade das informações. O nível de inteligibilidade para as três fontes foi considerado difícil (68% ChatGPT; 70,8% Gemini e 56% websites). Houve associação entre a qualidade da informação avaliada através do instrumento DISCERN e a fonte utilizada para obter os conteúdos (p=0,001), com os websites exibindo um conteúdo mais confiável. Portanto, a informação sobre o câncer de boca fornecida pelos grandes modelos de linguagem é de moderada confiabilidade e alto nível de inteligibilidade, sendo necessário o refinamento desses modelos de IA para fornecer referências e expressar incerteza em seus conteúdos. Adicionalmente é de grande importância a participação de Instituições de Ensino e dos profissionais de saúde no desenvolvimento de padrões de qualidade e na sensibilização da população para as limitações dessas novas tecnologias.

MEMBROS DA BANCA:
Externa ao Programa - 3342710 - CARLA ISABELLY RODRIGUES FERNANDES - nullExterna à Instituição - EDUARDA HELENA LEANDRO DO NASCIMENTO
Externo à Instituição - HERCILIO MARTELLI JUNIOR