Análise comparativa das técnicas de Explainable AI e um novo método para geração de explicações textuais
Explainable AI. Interpretabilidade. Aprendizagem de
Máquina. Mineração de Dados Educacionais.
As soluções de Inteligência Artificial (IA), mais especificamente de Aprendizagem de Máquina (AM), têm alcançado crescentes níveis de desempenho devido à capacidade computacional, disponibilidade de dados e aparecimento de novos métodos. Ao mesmo tempo, os desafios são cada vez mais complexos. Essa complexidade tem aumentado a dificuldade de interpretar o funcionamento interno que conduz os modelos de AM na recomendação das decisões. Com objetivo de aumentar a interpretabilidade e manter a acurácia desses modelos complexos, surgiu a área de Explainable AI (XAI), com papel importante para impulsionar a ética, responsabilidade e performance nas soluções de IA. Este trabalho apresenta uma análise do estado da arte da área, e realiza uma comparação entre as principais técnicas da literatura através de experimentos em uma base de dados reais para interpretar um modelo treinado para classificar o desempenho escolar, domínio que a interpretação dos resultados dos modelos é fundamental. Os resultados apontam as vantagens e desvantagens das abordagens, discussões sobre as saídas fornecidas, bem como uma forma de combinar algumas estratégias. Diferente de alguns trabalhos comparativos, a análise em uma mesma base de dados fornece uma visão mais justa das explicações geradas. Em decorrência das limitações encontradas nas abordagens investigadas, é proposto um novo método, o Textual SHAP. O método busca endereçar necessidades da área, como por exemplo, considerar a perspectiva do usuário leigo como foco da explicabilidade. O método extrai as principais informações do gráfico da interpretação global do SHAP, técnica do estado da arte de XAI, e converte para um formato mais simples por meio de textos. Foi realizada uma avaliação com pessoas com conhecimento no domínio da educação e sem familiaridade com IA. Os resultados demonstraram que a abordagem proposta é menos complexa de interpretar e fornece maior nível de compreensão do que é exposto para os usuários. Com a abordagem de explicação textual, o método proposto apresenta potencial para alcançar explicações compreensivas e eficazes, contribuindo para os avanços das abordagens centradas nos humanos.