Isolating Feature Impacts in Educational Data Mining: Novel Metrics
and Insights from Accumulated Local Effects
IA explicável. Aprendizagem de máquina interpretável.
Explicadores globais. Mineração de dados educacionais. Importância de
variáveis. ALE
Esta tese apresenta um estudo na interseção entre Aprendizado de Máquina
(ML) e educação, enfatizando a aplicação de técnicas de Inteligência
Artificial Explicável (IAE) em Mineração de Dados Educacionais (MDE).
Central para esta pesquisa é o desafio de fornecer explicações globais post
hoc para modelos de ML, especialmente quando a independência dos dados não
pode ser assumida, uma questão comum, porém pouco explorada, em MDE.
Ignorar interdependências de dados pode enviesar explicações, inflar
variáveis irrelevantes ou atribuir desproporcionalmente significância a
certos preditores. Para resolver esses desafios, a tese baseia-se em um
método recente para a visualização do impacto das variáveis em modelos
supervisionados, conhecido em inglês como Accumulated Local Effects (ALE),
que se refere à distribuição acumulada de efeitos locais. A propriedade
pseudo-ortogonal de ALE permite isolar os efeitos de variáveis individuais,
distinguindo-a de métodos amplamente usados em MDE, como os gráficos de
dependência parcial e explicações baseadas em valores de Shapley. Para
demonstrar as propriedades de ALE quando comparados com métodos
tradicionais, este trabalho introduz uma nova metodologia para avaliação da
capacidade de técnicas de IAE em aproximar o real comportamento de
variáveis em diversos contextos de dependência entre dados. Além disso,
este trabalho propõe novas métricas baseadas em ALE para a medição do
impacto de variáveis em modelos supervisionados. Essas métricas agnósticas
a modelos são uma melhoria em relação às técnicas tradicionais, fornecendo
percepções mais claras e precisas de como as variáveis afetam os resultados
do modelo, incluindo tanto a extensão quanto a direção de seus impactos. A
eficácia dessas métricas é demonstrada em conjuntos de dados sintéticos e
reais, provando sua efetividade em isolar os efeitos de variáveis
relevantes para as predições dos modelos quando comparada com métricas
existentes. Além disso, um estudo empírico utilizando os dados das escolas
secundárias brasileiras não apenas ratifica a utilidade das novas métricas
em cenários do mundo real, mas também estende as contribuições desta tese
ao identificar e oferecer novas perspectivas sobre os determinantes do
sucesso escolar brasileiro ao longo de uma década.