DQ-Mesh: Fotografia 3D com imagem única em dispositivos mobile
Fotografia Computacional. Aprendizagem Profunda. Computação
Gráfica.
Apesar do crescente avanço e desenvolvimento de técnicas de aprendizagem
profunda na construção de modelos 3D utilizando fotografias, ainda é um
problema bastante desafiador e ainda com certas limitações. Mesmo com as
constantes melhorias de precisão em técnicas de estimação de profundidade e
de preenchimento de cor, os trabalhos atuais têm focado em adaptar novas
arquiteturas à construção das estruturas 3D para renderização. Logo, esses
métodos podem ter um elevado custo computacional dificultando a
implementação em dispositivos mobile. Além disso, os métodos com abordagem
NeRF (Neural Radiance Fields) que possuem o estado da arte em fotografia 3D
precisam de uma certa quantidade de imagens e posições de câmera para obter
uma modelagem acurada. Com isso, neste trabalho propomos o DQ-Mesh, que
consiste em um método de construção de uma estrutura mesh utilizando apenas
um estimador de profundidade e um modelo de preenchimento de cor. Diferente
dos métodos no estado da arte, esse método não precisa de treinamento para
a construção da estrutura 3D, utilizando apenas o mapa de profundidade como
referência. Assim, o foco das otimizações para embarcar em dispositivos com
menor capacidade computacional recai sobre os algoritmos de estimação de
profundidade e preenchimento de cor. Os experimentos em conjuntos de dados
sintéticos e reais mostram que o desempenho do nosso método proposto tem
desempenho comparável aos atuais modelos no estado da arte.