Análise comparativa de Explainable AI e extração de explicações
textuais a partir do SHAP
Explainable AI. Interpretabilidade. Aprendizagem de
Máquina. Mineração de Dados Educacionais.
As soluções de Inteligência Artificial (IA), mais especificamente de
Aprendizagem de Máquina (AM), estão cada vez mais complexas e performáticas
devido ao avanço do poder computacional. Essa complexidade tem aumentado a
dificuldade de interpretar o funcionamento interno que conduz um modelo de
AM a tomar determinada decisão. Em muitos domínios existe uma grande
necessidade de entender o comportamento dessas soluções. Com objetivo de
aumentar o interpretabilidade e manter a acurácia desses modelos complexos,
também conhecidos como black-box, surgiu a área Explainable AI. Este
trabalho apresenta uma ampla análise do estado da arte da área, através da
análise teórica e prática, por meio de experimentos com as principais
técnicas da literatura. Os experimentos foram realizados em uma base de
dados educacional para um modelo treinado para classificar o desempenho
escolar. Diferente de alguns trabalhos comparativos, a análise em uma mesma
base de dados fornece uma visão mais justa das explicações geradas. Além da
contribuição da análise comparativa, este trabalho propõe um método a
partir de limitações encontradas nos experimentos e na literatura, o qual
demonstram uma lacuna entre a explicação gerada e o entendimento do usuário
final. Foi proposto o Textual SHAP, um método que extrai as principais
informações do gráfico da interpretação global do SHAP, método do estado da
arte de XAI, e converte para um formato mais simples por meio de textos. O
método foi avaliado por pessoas com conhecimento no domínio de educação e
sem familiaridade com IA. Os resultados demonstraram que a abordagem
proposta é menos complexa de interpretar e obtém maior nível de compreensão
do que é exposto.