Renderização de pessoas em movimento a partir de vídeos
Ricardo Juliano Mesquita Silva Oda
Supervisor: Prof. Dr. Carlos Hitoshi Morimoto
6 de junho de 2011
Resumo
Tendo em mãos múltiplos vídeos gravados de pontos de vista distintos e de uma mesma cena, é possível,
através de técnicas de renderização, gerar novas visualizações da mesma.
Essa técnica permite uma reconstrução realística de uma cena previamente gravada, e também a movimentação no tempo e espaço nela, simulando uma câmera virtual.
Alguns trabalhos de Jeferson Rodrigues da Silva, ex-orientando do Prof. Hitoshi, tratam deste assunto utilizando vídeos obtidos de câmeras esparsas [1][2][3][4].
Porém a renderização de pessoas em movimento para fins de pós-visualização a partir de um conjunto de vídeos esparsos apresenta vários desafios, entre eles:
- A segmentação dos objetos em movimento
- O rastreamento dos objetos móveis vistos por uma câmera
- A correspondência entre objetos vistos por mais de uma câmera
- O modelamento dos objetos e sua renderização por uma câmera virtual
Objetivo
Este trabalho tem por objetivo investigar técnicas de modelamento e renderização de pessoas que apresentem resultados realistas, incluindo:
- correção perspectiva devido a nova posição da câmera virtual
- correção de cor devido a diferenças entre as câmeras
- preenchimento de buracos devido a oclusão múltipla
Atividades já realizadas
Começo do estudo da parte teórica através da leitura dos trabalhos do Jeferson.
Cronograma
| estudo da parte teórica |
maio-junho |
| estudo do código fonte |
junho-julho |
| busca de soluções |
julho-agosto |
| implementação |
julho-setembro |
| começo da monografia |
setembro |
| avaliação dos resultados |
outubro |
| pôster |
novembro |
| apresentação |
novembro |
| término da monografia |
dezembro |
Estrutura da monografia
A monografia se dividirá em duas partes, uma teórica e uma subjetiva.
Começando pela parte teórica, que contextualizará o assunto sobre a geração de novas visadas a patir vídeos esparsos, citando o trabalho do Jeferson.
A seguir haverá a explicação dos conceitos teóricos utilizados, e seus papéis na parte prática do desenvolvimento.
Por fim, a conclusão possuirá a análise dos resultados obtidos.
A parte subjetiva relatará sobre as experiências vividas no processo de desenvolvimento do trabalho.
Também mostrará o papel do Bacharelado de Ciências da Computação em sua realização.
Referências
- da Silva, J. R. ; Santos, T. T., and Morimoto, C. H. Real Time Novel View Scene Rendering From Multiple Sparse Videos. In: Proc. of the XII Brazilian Symposium on Virtual and Augmented Reality - SVR 2010. Natal, RN, Brazil, 2010, v.1., p. 184-193. [Best paper award]
- da Silva, J. R. Renderização interativa de câmeras virtuais a partir da integação de múltiplas câmeras câmeras esparsas por meio de homografias e decomposições planares da cena [link]
- da Silva, J. R., and Morimoto, C. H. Material do mini curso 7 apresentada no JAI 2010 [link]
- da Silva, J. R. ; Santos, T. T., and Morimoto, C. H. PROJETO: TV 3D Interativa [link]