Trabalho de Formatura

Manipulação de segmentações hierárquicas de imagens baseada em árvores de componentes

• Aluno: Gabriel Miranda de Araujo
• Supervisor: Prof. Dr. Paulo André Vechiatto de Miranda (IME-USP)
• Tema do trabalho: Manipulação de segmentações hierárquicas de imagens baseada em grafos, mapas de saliência, árvore de componentes e quasi-flat zones
• Apresentação
• Monografia

Introdução:

Métodos não hierárquicos, tal como o método proposto por Felzenszwalb e Huttenlocher [1], que usam uma medida de similaridade para mesclar duas regiões adjacentes para produzir uma segmentação, podem também ser transformados, sem perda de qualidade, em métodos hierárquicos através da incorporação de algumas novas propriedades [2].

Apesar das várias maneiras existentes de calcular hierarquias de partições, o desenvolvimento de métodos eficientes e eficazes não é uma tarefa fácil devido às informações semânticas necessárias para uma boa segmentação. Em [3], foi proposto um novo método hierárquico de segmentação em grafos direcionados que incorpora a informação de alto nível da polaridade de borda dos objetos desejados, a fim de promover para os níveis superiores da hierarquia as regiões candidatas mais parecidas com os objetos de interesse, facilitando assim os seus isolamentos. Porém, mais estudos visando a incorporação de outros atributos de alto nível ainda se fazem necessários a fim de reduzir a quantidade de falso positivos.

A visualização de uma representação hierárquica de imagem pode ser feita através da grade de Khalimsky do seu mapa de saliência de contorno [4]. Neste trabalho de formatura buscamos explorar a reorganização de hierarquias de partições de imagens, por meio de modificações nos grafos dos seus mapas de saliência, obtendo assim novas hierarquias via o mapeamento inverso de quasi-flat zones dos mapas modificados. O objetivo é destacar objetos de interesse na imagem, os promovendo para níveis superiores da hierarquia, sem a necessidade de muito poder de processamento. O projeto será desenvolvido majoritariamente em C.

Dado que os grafos dos mapas de saliência são grafos não direcionados, uma ideia é explorar os valores de extinção de atributos da Min-tree [5] do grafo de saliência para reordenar as partições. Também serão estudadas outras ideias provenientes de trabalhos recentes na área, tais como [6], [7] e [8].

Conceitos:

Para um dado grafo G(V, E) derivado da imagem, uma relação binária entre pixels contida no produto cartesiano V \times V que satisfaz as propriedades de reflexividade, simetria e transitividade, induz naturalmente uma segmentação da imagem, pois uma relação de equivalência permite particionar o grafo em classes de equivalência. Por exemplo, para um grafo não direcionado, considere a relação binária a \overset{\kappa}{\leadsto} b tal que existe um caminho interligando os pixels a e b, contendo apenas arestas com pesos abaixo de um dado limiar \kappa. As partições geradas por essa relação binária correspondem aos componentes conexos do grafo, após a remoção de todas as arestas com pesos maiores ou iguais à \kappa. Variando o parâmetro \kappa, é possível construir uma hierarquia das partições, conhecida como hierarquia de "quasi-flat zones" de G para os pesos w.

Segundo uma proposição teórica descrita em [4], para uma dada hierarquia conexa arbitrária H, sempre existe uma grafo com pesos w, tal que sua hierarquia de "quasi-flat zones" para w é precisamente H. Os mapas de saliência fornecem precisamente uma solução para esse problema.

Objetivos:

• Introduzir o aluno nas pesquisas realizadas no contexto do projeto CAPES/COFECUB 2019, intitulado "Hierarchical Graph-based Analysis of Image, Video and Multimedia Data", coordenado pelo prof. Silvio Jamil Ferzoli Guimarães (PUC/Minas).
• Melhorar o método descrito em [3], a fim de incorporar outras informações de alto nível.

Atividades já realizadas:

1. Leitura dos artigos [3] e [4].
2. Familiarização com o código do artigo [3].
3. Leitura do restante dos artigos.
4. Implementação do cálculo do mapa de saliência e grade de Khalimsky.
5. Implementação dos valores de extinção de atributos crescentes [5].
6. Reorganização de hierarquias.
7. Avaliação dos resultados.
8. Escrita da Monografia
9. Apresentação

Cronograma:

Estrutura esperada da monografia:

• Parte técnica
1. Introdução
2. Conceitos e definições teóricas
1. Hierarquias de partições
2. Hierarquia de "quasi-flat zones"
3. Correspondência entre hierarquias e mapas de saliência
4. Grades de Khalimsky
5. Árvore de componentes e min-tree
6. Valores de extinção de atributos crescentes
3. Reorganização de hierarquias
4. Testes e comparações
5. Conclusão
• Parte subjetiva
1. Desafios e frustrações encontrados
2. Disciplinas relevantes para o trabalho
3. Trabalhos futuros

Referências: