Banca de DEFESA: PAULO DE OLIVEIRA GUEDES

Uma banca de DEFESA de MESTRADO foi cadastrada pelo programa.
DISCENTE: PAULO DE OLIVEIRA GUEDES
DATA : 20/12/2024
HORA: 15:30
LOCAL: Virtual
TÍTULO:

PersonalRAC: Personalized Few-shot Exercise Counting

PALAVRAS-CHAVES:

Aprendizado de Máquina, Aprendizado Profundo, Aprendizado 
com Poucos exemplos, Telerreabilitação

PÁGINAS: 51
RESUMO:

A tarefa de Contagem de Ações Repetitivas (Repetitive Action Counting - 
RAC) é uma área de crescente interesse em pesquisas, com diversas 
tecnologias sendo desenvolvidas no campo. No entanto, os métodos existentes 
de ponta, treinados em datasets genéricos disponíveis atualmente, não são 
adequados para reconhecer movimentos personalizados. Essa capacidade tem o 
potencial de beneficiar áreas de aplicação como fisioterapia e fitness, 
permitindo a criação de exercícios únicos e personalizados para pacientes 
ou clientes e seu acompanhamento com mínimo esforço. Para abordar essa 
questão, introduzimos o sistema Personalized Repetition Action Count 
(PersonalRAC), um método inovador capaz de contar ações em cenários de 
dados escassos (ou seja, implementando uma abordagem de aprendizado com 
poucos exemplos - few-shot learning).O PersonalRAC integra Aprendizado com 
Poucos Exemplos (Few-shot Learning), Contagem de Ações Repetitivas e 
Reconhecimento de Ações baseadas em Esqueletos. Nosso sistema opera com um 
número mínimo de exemplos de treinamento em vídeos não cortados, 
identificando autonomamente os pontos de início e fim das ações, o que 
facilita o registro de novos exercícios de maneira prática. Para alcançar 
isso, utilizamos o conceito de poses salientes, anotando um subconjunto do 
dataset Fit3D para essa funcionalidade e propondo uma divisão para few-shot 
desse conjunto de dados.
O sistema processa vídeos de usuários realizando exercícios e extrai 
informações de esqueletos utilizando o MediaPipe. Essas informações são 
processadas para torná-las mais confiáveis para a próxima etapa. O modelo 
MotionBERT, especializado em detecção de ações, analisa as informações 
processadas, e a saída é encaminhada para um módulo de contagem de 
repetições. Os resultados experimentais demonstram a eficácia e robustez do 
sistema em contar repetições com precisão em diversos tipos de exercícios.
Nosso sistema atinge um desempenho de ponta nos cenários few-shot e 
few-shot multi-câmera no dataset Fit3D, obtendo respectivamente um MAE de 
0,33 (melhoria de 44,07%) e um OBO de 0,64, e um MAE de 0,22 (melhoria de 
53,19%) e um OBO de 0,71.

MEMBROS DA BANCA:
Externa à Instituição - FÁTIMA DE LOURDES DOS SANTOS NUNES MARQUES - USP
Presidente - 1133947 - SILVIO DE BARROS MELO
Externo à Instituição - THALES MIRANDA DE ALMEIDA VIEIRA - UFAL
Interna - 1581132 - VERONICA TEICHRIEB