Evaluating LLMs for Multimodal GUI Test Generation in Android
Applications
GUI; Testes; LLMs; Dispositivos Móveis.
O teste de Interface Gráfica do Usuário (GUI) constitui uma etapa
fundamental no desenvolvimento de aplicativos móveis, garantindo que a
interface de qualquer aplicação se comporte corretamente e atenda às
expectativas dos usuários. No entanto, quando realizado manualmente, o
teste de GUI permanece uma tarefa demorada. Com a ascensão dos Modelos de
Larga Escala (LLMs), cresce o interesse em analisar seu potencial para
automatizar atividades de desenvolvimento de software, incluindo a geração
de testes GUI. Este estudo investiga a capacidade dos LLMs de produzir
casos de teste de GUI e scripts para aplicativos Android a partir de
entradas multimodais, como screenshots e dados estruturados da interface do
usuário, que fornecem informações visuais e semânticas sobre a interface.
Este trabalho apresenta uma abordagem que integra essas informações
provenientes de aplicações Android open-source, avaliando o desempenho de
quatro LLMs, incluindo três modelos proprietários e um modelo open-source.
Os resultados evidenciam diferenças significativas entre os modelos na
geração de testes de GUI e scripts executáveis. De modo geral, os modelos
demonstram capacidade para apoiar atividades de teste, oferecendo
benefícios distintos conforme o modelo, reforçando o potencial de LLMs
multimodais para reduzir o esforço manual e aumentar a produtividade na
criação de testes de aplicações móveis.