MULTIMODAL DATA-DRIVEN APPROACHES FOR INFERRING DROWSINESS FROM MACHINE LEARNING MODELS IN INDUSTRIAL ENVIRONMENTS WITH CRITICAL SAFETY SYSTEMS
EEG, O&G, Fusão de Dados, Visão Computacional, Aprendizado de Máquina; Aprendizado de Máquina Profundo, Aprendizado de Máquina Quântico.
Acidentes catastróficos têm sido um problema em indústrias complexas como petróleo e gás (O&G), química e nuclear, apesar dos esforços contínuos para melhorar a segurança. Embora os sistemas físicos tenham avançado, fatores humanos como fadiga, sonolência e desatenção continuam sendo riscos significativos, levando à redução do desempenho, erros de julgamento e maior probabilidade de acidentes. Fatores relacionados à fadiga — descanso insuficiente, privação de sono, turnos noturnos, estresse e monotonia prolongada — são comuns em ambientes críticos de segurança e frequentemente resultam em sonolência e lapsos de atenção. No entanto, a natureza subjetiva da sonolência autorrelatada apresenta um desafio na detecção de sinais precoces para reduzir riscos potenciais e prevenir acidentes em organizações onde as preocupações com segurança e meio ambiente são primordiais. Assim, esta tese apresenta uma estrutura abrangente que aborda os desafios da confiabilidade humana em sistemas industriais críticos de segurança por meio de várias contribuições. Primeiro, ela explora a aplicação de aprendizado de máquina (ML) e aprendizado de máquina quântica (QML) para análise de sinal de eletroencefalograma (EEG), alavancando modelos de conjunto e arquiteturas avançadas de rede neural para melhorar a precisão na detecção de sonolência. A introdução de algoritmos quânticos variacionais aplicados à análise de dados de EEG, que destaca o potencial da computação quântica para processar conjuntos de dados grandes e complexos em contextos de segurança industrial, surge como uma das novas contribuições deste trabalho. Segundo, a tese propõe uma abordagem de fusão de dados que combina dados fisiológicos e visuais (EEG e faciais) para aumentar a robustez dos sistemas de detecção de sonolência. Essa fusão é implementada nos níveis de decisão e de recurso, com resultados experimentais mostrando melhorias significativas na recuperação e precisão em comparação com abordagens de modalidade única. Terceiro, o desenvolvimento de um aplicativo baseado na web em tempo real, DrowsinessNET, integra o modelo de detecção em uma ferramenta prática para monitorar a sonolência em ambientes de alto risco, como salas de controle na indústria de O&G. Este aplicativo destaca a viabilidade de aplicar modelos avançados de detecção em cenários do mundo real. Finalmente, um experimento baseado em simulador foi conduzido para avaliar o desempenho do operador em operações automatizadas de O&G, focando particularmente no impacto de fatores relacionados à automação, como excesso de confiança, tédio e desatenção. O experimento revela que a automação pode induzir erros humanos e reduzir a atenção em tarefas monótonas, enfatizando ainda mais a necessidade crítica de integrar tecnologias de confiabilidade humana em sistemas críticos de segurança. Ao avançar o estado da arte em confiabilidade humana, esta tese contribui para o campo ao propor modelos multimodais orientados a dados (ML/QML/DL), técnicas de fusão de dados e aplicações práticas para prevenir acidentes e aumentar a segurança em indústrias de alto risco.