Ulysses-RFSQ: improving Information Retrieval through Relevance Feedback for similar queries
Recuperação de Informação. Feedback de Relevância. Consultas similares. Re-ranqueamento. Domínio legislativo.
O uso do Feedback de Relevância é capaz de aperfeiçoar o desempenho da Recuperação de Informação (RI), mas esse método é comumente utilizado apenas para melhorar o processo de recuperação para a consulta que está correntemente sendo processada. Quando a informação de relevância de buscas passadas está disponível, essa informação pode ser utilizada para dar auxílio a buscas futuras. Se duas consultas são suficientemente similares, os documentos julgados relevantes para uma podem também ser relevantes para a outra. Entretanto, poucos estudos foram encontrados na literatura lidando com esse uso da informação de relevância de consultas passadas, pois há uma falta de bases de dados de benchmark contendo essa informação para consultas similares. Dessa forma, este estudo apresenta Ulysses-RFSQ, um novo método de RI que visa aprimorar os resultados para consultas futuras a partir do uso da informação do Feedback de Relevância de buscas passadas similares. Seu funcionamento se dá pelo re-ranqueamento da lista de documentos recuperada por um algoritmo de RI base através da adição de um bônus ou uma penalidade ao escore dos documentos. Assim, esse método pode ser utilizado com qualquer algoritmo que calcule um escore para os documentos, tais como o algoritmo BM25 ou modelos Sentence-BERT. Para avaliar o método Ulysses-RFSQ, uma base de dados de Feedback de Relevância, chamada Ulysses-RFCorpus, foi construída junto com a Câmara dos Deputados brasileira e disponibilizada para a comunidade. Além do Ulysses-RFCorpus, o método proposto também foi avaliado em outra base de dados maior, também fornecida pela Câmara (o corpus da Pesquisa Prévia), a qual não pôde ser disponibilizada publicamente. A avaliação desse método no cenário legislativo é justificada pelo fato de que a maioria das consultas utilizadas no processo legislativo brasileiro é redundante. Como resultados, os achados apontaram que o Ulysses-RFSQ é capaz de usar a informação de feedback de consultas passadas similares para aprimorar o desempenho do algoritmo base para consultas futuras. Melhorias nas métricas de MAP, MRP, MRR e nDCG mostraram que o método proposto pôde re-ranquear os documentos relevantes nas primeiras posições enquanto recuperava documentos relevantes que não foram recuperados pelo algoritmo de RI base. As melhorias puderam ser melhor observadas em cenários nos quais o algoritmo base não obteve resultados muito bons e utilizando um maior conjunto de consultas passadas armazenadas. Por exemplo, as melhorias observadas nos resultados de MAP variaram de 0,0384 a 0,0773 para o corpus da Pesquisa Prévia --- em alguns casos, mais do que dobrando o desempenho do algoritmo utilizado como baseline.