O autor do trabalho á Diego Martins – ele pesquisou e desenvolveu o método durante a conclusão da graduação, em 2007. Como trabalhos de graduação não entram no banco de teses e dissertações, colocamos o arquivo no site do Anima, na página de Produção Científica.

Sobre o método de captação da imagem

A câmera de Debye-Scherrer e outras variações do método dos pós são largamente usados, especialmente em metalurgia e geologia. Os principais méritos deste método são (1) a pequena quantidade de amostra necessária (menos de 0,1mg pode ser usado), (2) a cobertura praticamente completa das reflexões produzidas pela amostra e (3) a relativa simplicidade que o aparato e a técnica requerem [KLUG].
Na câmera de Debye-Scherrer o espectro de difração do material é marcado em um filme fotográfico, disposto ao longo de uma câmera cilíndrica. Deste filme podemos extrair dois tipos de informação, a saber, as posições angulares dos máximos de difração, relacionadas com os espaços interplanares das reflexões, e as intensidades relativas destas linhas, que estão relacionadas com a composição da amostra.

O importante aqui é saber que esta câmera produz uma imagem assim:

Estas linhas mais claras são o que precisamos medir, as suas intensidades estão relacionadas à composição química do material.

A medição

Tradicionalmente, usa-se marcar um retângulo na região de interesse, e medir com uma ferramenta chamada de “profile”. Ela está presente em muitos programas de processamento de imagem, inclusive no ImageJ.

O problema é que o “profile” desconsidera a curvatura das linhas, gerando um resultado aproximado, mas não o melhor que se pode obter.

O método implemetado no Anima foi construido para considerar a curvatura das linhas, medindo as intensidades com mais precisão.

Como se faz…

Se você ainda não conhece o Anima, acesse a última versão em Webstart aqui.

Se tudo correu bem, o programa pediu permissão, se instalou e já abriu. Se não, envie uma mensagem para mim (queremos corrigir os problemas que aparecerem!).

Usei a mesma imagem do post para os printscreens que você vai encontrar a seguir:

Primeiro abri a imagem e selecionei marcando a caixa de seleção da miniatura (o Anima funciona assim porque foi projetado para trabalhar imagens em lotes).

Depois selecionei Debye-Scherrer Diffractogram no menu Análise. O método abre uma segunda janela com a imagem e dois círculos coloridos. Ajuste o tamanho para ver a imagem toda na janela.

Agora vem o trabalho manual: você precisa mover os pontos nas extremidades das linhas para encontrar o centro e a curvatura da elipse que coincide com o formato das linhas.

Quando ficar contente com o resultado, clique OK.

O resultado é um gráfico conhecido como difratograma, que representa a composição química do objeto que foi analisado. Este resultado também aparece em formato de tabela (à direita) e pode ser salvo em um arquivo texto, para importar na planilha eletrônica que preferir.

Referências

Diego Schmaedech Martins. IMPLEMENTAÇÃO DE UM MÉTODO DE ANÁLISE DE IMAGENS PARA INTEGRAÇÃO DA INTENSIDADE DE RAIOS X ESPALHADOS EM UMA CÂMERA DE DEBYE-SCHERRER.
Trabalho de Graduação, UFSM, 2007. Download: tg-schmaedech.pdf

A Imagem

Esta imagem foi obtida a partir de uma lâminda de ácinos prostáticos em microscópio ótico. Os ácinos são as estruturas delimitadas pelas bordas arroxeadas, e vamos precisar contá-las, medir a área interna e total de cada uma delas.

Repare no detalhe das linhas brancas quebrando as bordas. Este vai ser um grande problema…

Também não há uma escala nesta imagem, por que o método de captação do laboratório usa uma escala pré-definida, ou seja, eles fotografaram uma escala usando cada um dos aumentos do microscópio, e então é possível fazer a correspondência com as imagens que serão estudadas. Mas atenção: esta método só funciona quando se usa sempre a mesma câmera!

Primeira tentativa

Para amenizar o problema das linhas brancas, escolhi um filtro de mediana de tamanho 5. Foi o tamanho máximo que consegui usar sem destruir os limites das bordas.

Depois escolhi a banda verde, que mostrou maior contraste entre os elementos, e apliquei um threshold por média. Como o resultado foram bordas intermitentes, apliquei fechamento morfológico em 6 iterações, para tentar fechar as bordas. O que aconteceu na realidade foi que acabei fundindo as bordas adjacentes entre si, obtendo as áreas internas dos ácinos, e mais alguns artefatos pequenos.

Apliquei o Analyze Particles nesta última imagem e o programa foi capaz de detectar todas as áreas internas de ácinos que não ficaram cortadas pela borda da imagem. Ainda assim um dos ácinos (mais ou menos no centro do quadrante inferior esquerdo) é menor do que um dos artefatos da segmentação, então descartar por tamanho não resolve o problema, mas pode ser que descartar por tamanho e circularidade resolva.

Mesmo sendo possível medir a área interna, esta estratégia não me dá nenhuma chance de medir o tamanho total dos ácinos (área interna + borda), já que funde as bordas de ácinos adjacentes.

Outros métodos investigados

Crescimento de regiões e Mean-shift esbarraram no mesmo problema: as linhas brancas quebrando as bordas. Usar outros filtros de desfocar no lugar do filtro de mediana também não melhorou o resultado final.

A imagem ao lado foi obtida com o Gimp, usando uma detecção de bordas e sobrepondo o resultado à imagem original com uma operação de diferença. O resultado é interessante, mas ainda não resolve o problema.

Também procurei algumas demonstrações de contornos ativos, mas não encontrei nada que pudesse usar.

Caminhos…

Uma forma de analisar o problema seria partir da forma como nós, seres humanos conseguimos ver o contorno dos ácinos nesta imagem. Nós “sabemos” que eles são formados por uma área interna e uma borda. Então, para cada área interna (mais fácil de diferenciar), sabemos que há uma borda, com espessura mais ou menos homogênea e curvas suaves.

Isto implica em usar características estruturais, partindo de um objeto para encontrar outro. O problema com esta solução é que não há nada pronto – é preciso implementar. E só vai ser possível testar depois de gastar um bom tempo implementando…

Se o problema em questão envolve processar apenas algumas imagens (20, 30, ou até um pouco mais) pode ser que pintar a área total de cada ácino à mão seja um método aceitável. Tudo depende dos objetivos a longo prazo.

Se alguém tiver alguma ideia diferente por favor use os comentários!

Até mais!

(Este artigo é inspirado em uma pergunta do leitor Grégori Troina – Obrigada!)

Diâmetro de Feret

Aparentemente a origem desta medida está em um artigo de 1931, publicado em Zurich por Feret, L. R., e neste artigo da Nature, aparece como uma das alternativas para a medição de partículas. Se é esta a origem, o termo correto é Diâmetro de Feret, não Diâmetro de Ferret, como já usei em outro artigo. Mas ao pesquisar é bom procurar pelas duas formas, já que a última é bem comum também.

O motivo de procurar a origem é para dar uma ideia de como as ciosas acontecem na ciência. Provavelmente o cientista que primeiro documentou esta medida não sabia se ela seria útil para mais alguém, mas logo outros descobriram e passaram a usar, então o próprio conceito evoluiu.

No artigo da Nature (do qual só li o resumo porque tem que comprar para ler inteiro), a definição que aparece no resumo é “the perpendicular distance between parallel tangents touching opposite sides of the profile”. Esta definição aparece também em trabalhos mais recentes, com pequenas variações, e no Help do ImageJ está assim:

The longest distance between any two points along the selection boundary, also known as maximum caliper.

Seguindo o rastro das definições ao longo do tempo, pude perceber que, no início, a definição fazia menção à medida em qualquer direção, ou “uma direção arbitrária”. Então alguns pesquisadores, para conseguir uma medida independente da posição do objeto, passaram a usar o que chamaram de Feret Máximo, que é o Diâmetro de feret máximo que se pode encontrar na partícula.

Esta medida passou a ter mais valor que o Feret de direção arbitrária, e passou a ser conhecida, ela mesma, como Diâmetro de Feret.

Obs: Isto é só o que eu acho que aconteceu, baseado em alguns dos artigos que parei para ler, entre as mais de 1 600 ocorrências desta expressão do Google Scholar. Para um artigo científico eu teria que pesquisar bem mais.

A medida perpendicular ao Feret Máximo (ou simplesmente Feret) é o Feret Mínimo. Note que este não é o diâmetro mínimo encontrado na partícula, e sim a medida perpendicular ao máximo.

Um exemplo no ImageJ

O ImageJ tem esta medida implementada (na versão moderna). A sequencia de imagens abaixo é para dar uma ideia de como cheguei na imagem segmentada, mas não vou entrar em detalhes aqui. Vamos direto para a tabela de resultados.

Segmentação da imagem: canal verde; threshold, watershed.

Nas versões mais recentes do ImageJ, a documentação sobre Feret não cobre mais todos os resultados que aparecem na tabela. Outro dia um leitor me perguntou o que eram o FeretX e o FeretY, e eu fiquei tentando descobrir.

Esquema dos resultados mostrados pelo ImageJ, relativos ao diâmetro de feret.

FeretX e FeretY são as coordenadas do primeiro ponto da linha que representa do Feret Máximo (que no ImageJ é chamado simplesmente de Feret). Isto tem utilidade mais para desenhar a linha do que qualquer outra coisa.

O FeretAngle é o ângulo formado entre o plano horizontal e a linha do Feret Máximo, no sentido anti-horário. E o Feret Mínimo é a medida perpendicular ao Feret Máximo, que inclui toda a partícula. É como se desenhássemos duas linhas paralelas ao ferret máximo, uma de cada lado, tangenciando a partícula, e medíssemos a distância entre elas.

Tudo explicado.
Até mais!

A teoria

Inverter uma imagem é fazer com os valores dos pixels invertam seus valores, na escala em que estão. Em imagens tons de cinza de 8-bits os valores dos pixels vão de 0 a 255. A inversão faz com que os pixels que têm valor 0, passem a valer 255, os que tem valor 1 passem a valer 254, e assim por diante. Normalmente representa-se esta operação por uma fórmula simples:

pixel_resultado = valor_máximo – pixel

No caso de imagens RGB (ou muiti-canais em geral), inverte-se cada canal como está descrito acima, e no caso de imagens binárias o zero vira um e o um vira zero.

Inversão de imagens RBG, cinza e binária.

A imagem dos grilos é do Thiago Gama Oliveira.

Na JAI

A JAI tem a operação “invert”, que à primeira vista parece resolver isso tudo… mas não é bem assim. Em imagens binárias, o “invert” não modifica os pixels, modifica o mapa de cores. Isto significa que os píxels continuam tendo os mesmos valores que os originais, mas a aparência deles (a cor exibida no monitor) muda.

Na documentação da JAI isto quase não aparece, ou é citado rapidamente como um recurso de otimização. E não seria mesmo algo ruim se todos os usuários estivessem interessados somente no visual da imagem. Mas quando precisa-se dos valores dos pixels para cálculos posteriores a coisa complica.

Procurando por uma solução achei este registro de bug de 2006 lá na JAI, com tudo explicado, inclusive exemplo, e uma tentativa de solução que deveria funcionar, mas não funciona. O registro está lá, mas não foi resolvido ainda – e pela idade acho que não vai ser resolvido nunca.

Em resumo, a JAI inverte a tabela de cores, e não os pixels. Mas ao usar a imagem invertida para outras operações ela desconsidera a tabela de cores! Assim, inverter a imagem e depois somar com outra tem o mesmo resultado de somar as duas sem inverter antes. A operação “not”, que é um tipo de inversão específica para imagens binárias, tem o mesmo problema.

Conclusão: a JAI não inverte imagens binárias corretamente.

Depois de algumas semanas de pesquisa, e daquela conhecida frustração de achar que era eu que não sabia usar os métodos corretamente, resolvi partir para uma implementação independente da inversão. Não ficou otimizada, nem eu me dei ao trabalho de implementá-la estendendo a JAI, como manda o figurino, mas funciona.

Na verdade usei alguns artifícios dos quais não me orgulho, mas fiz porque não encontrei alternativas mais elegantes – provavelmente vou encontrar, a aí publico o código novamente. Mas por hora incluí a minha classe aqui para quem quiser utilizar (com licença GPL).

BinaryInvert.java
Obs: O arquivo está “zipado” porque .java aparentemente é uma ameaça de segurança para o meu provedor.

Bom, se alguém olhar e achar que tem uma foma beeeeem mais fácil de fazer isso, não pense que vai me ofender – por favor me diga! Na verdade estou torcendo para que isto aconteça…

Até mais!

Fundamentos

O trabalho original, de Fukunaga e Hostetler em 1975 não está disponível on-line. Há outros trabalhos científicos, com explicações matemáticas completas, mas não eles não deixam nada fácil de entender, então vou partir de uma definição simples e depois explicar melhor.

Definição da wikipedia:

Mean shift is a procedure for locating the maxima of a density function given discrete data sampled from that function.

:Mean shift é um processo para localizar a máxima densidade de uma função, dada uma amostra discreta desta.
Eu trocaria máxima por moda, nesta definição, mas por enquanto está bom.

Tradução corrigida pelo Juca (muito obrigada!):

Mean shift é um procedimento para localizar OS MÁXIMOS de um função densidade a partir de dados discretos amostrados desta função.
Saindo do inglês para a matemática, observe que a idéia é mesmo uma busca NO PLURAL por todos os máximos existentes na função densidade de pontos no espaço de características (clusters of sampled data).

Mais simples

Procurando no meu material de pesquisa de uns dois anos atrás, achei uma apresentação que fez sucesso na aula porque conseguia explicar isso tudo de uma forma simples e bem visual. Infelizmente ela não estava assinada, e eu não encontrei uma versão on-line para citar aqui, mas me baseei fortemente nela para a animação abaixo (se o autor reconhecer, por favor entre em contato para que eu possa atribuir os devidos créditos).

A animação parte de uma amostra de duas dimensões para facilitar, mas não há um limite de dimensões para este método. Imagine que estes pontos são o gráfico de dispersão de pontos de um conjunto de dados qualquer.

O algoritmo parte de cada ponto (a animação mostra apenas um), delimita uma região em torno dele e calcula o centro de massa. Este é um conceito físico, que se transfere para este exemplo com a média aritmética dos valores de cada variável nos pontos que estão dentro do kernel (representado por um círculo).

Encontrado o centro de massa, ele “move” o centro de sua região para o centro de massa calculado, e calcula o novo centro de massa para o conjunto de dados que agora está dentro do kernel. Encontrado o centro de massa, ele move o centro novamente, e assim segue em passos até que o centro de massa passe a “cair” sempre no mesmo lugar.

Este é um exemplo simples quem tem o objetivo de elucidar o conceito. Ele usa um conjunto de dados em duas dimensões, ou seja, dados descritos por duas variáveis. Mas é possível executar a mesma rotina com um número ilimitado de dimensões.

Além disso, o exemplo tem apenas uma moda, ou seja, apenas uma região em que se concentram mais pontos, que é a região para onde vão convergir todos os pontos. Em imagens reais há várias modas (e não apenas uma máxima), e cada moda “atrai” uma parte dos pontos para si.

Uso em segmentação de imagens

Como vimos no artigo sobre cores, imagens podem ter três ou mais dimensões. Assim, o mean-shift realizado em uma imagem RGB usa o processo descrito acima em um conjunto de dados tridimensional, formado pelas intensidades dos pixels nos três canais de cor. Veja os gráficos no link sobre cores para entender como isso fica.

Além disso, a maioria dos trabalhos que li entendem que o componente espacial da imagem não deve ser negligenciado – o que acontece quando usa-se só as 3 dimensões de cor.

Comaniciu propõe que depois de realizado todo o processo com os canais de cor, despreze-se as regiões de tamanhos muito pequenos. Isso foi mais ou menos o que eu fiz com o filtro de mediana no tutorial do Mean-shift, na semana passada.

Já a implementação usada no plugin do ImageJ que usei neste mesmo artigo ,adiciona as duas dimensões espaciais ao processo, usando um kernel para as dimensões de cor (Color Distance, no diálogo do plugin) e outro diferente para as dimensões espaciais (Spacial Radius). Alterar o tamanho do Color Distance tem o efeito que se pode esperar olhando a animação acima – mais pontos convergem para a mesma moda. Já o Spacial Radius, quando usado em um tamanho próximo ao tamanho das estruturas que se procura encontrar na imagem, força a atração de pontos a modas mais próximas espacialmente, formando regiões (obs: esta é a minha opinião, já que o autor da implementação não documentou duas decisões).

Este mesmo plugin também seque uma das tendências das publicações: não usa a imagem no espaço de cor RGB, e sim no YIQ. Isto melhora os resultados em muitas situações, embora, como tudo em processamento de imagens, não tenha o mesmo resultado para todas as aplicações.

Vou parar por aqui…

porque já ficou longo demais. Se tiver perguntas, por favor use a área de comentários, quem sabe respondo em um post “parte II”…

Até mais!

Vamos ver uma imagem

Surface (road), de Alice N Wondrind.

Escolhi a imagem da superfície de uma rua ou estrada, que encontrei no Flickr. Ela tem dois tipos de superfície bem distintos, um mais claro e outro mais escuro. Mas apesar de isso ficar muito claro para nossos olhos, a segmentação por threshold não é perfeita. A parte clara tem ranhuras que ficam escuras, e a parte escura tem pontos mais claros, onde a luz reflete na superfície granulada.

A imagem é de AliceNWondrlnd.

Compare os resultados

Comparação: imagem original e o resultado do threshold (esquerda); imagem após filtro de mediana com tamanho 5 (direita).

Na tentativa sem usar o filtro, o resultado vem com muito ruído. É possível tratá-lo com uma sucessão de Aberturas e Fechamentos, mas é preciso bastante cuidado para que a linha divisória permaneça no mesmo lugar. O resultado produzido com o uso do filtro ficou bem mais nítido. Ainda será necessária uma pequena correção com operações morfológicas, mas nada muito complexo.

O filtro de Mediana

O artigo Median Filter na wikipédia em inglês tem boas informações, mas em português não há nada ainda.

Mediana é uma medida estatística, que caracteriza uma tendência central para um conjunto de dados. No processamento de imagens, o nosso conjunto de dados vem da imagem.

O filtro tem lá sua definição matemática, mas por agora vamos definir um filtro como um operador, que tem um tamanho definido, um centro, e que “aplicado” sobre a imagem em todas as posições possíveis, como se fosse um “carimbo” especial. Fica mais fácil com um exemplo:

Esta será nossa imagem (os valores dos pixels):

0   0   5   3   5   5

1   1   5   2   5   5

1   2   1   5   4   5

E vamos aplicar um filtro de mediana, no tamanhos 3X3. A primeira posição é a que coloca o centro do filtro sobre o primeiro pixel da imagem: os valores dentro do filtro são:

x   x   x

x   0   0

x   1    1

coloquei x nos lugares em que não há pixels, mas vamos substituí-los por zeros  e calcular a mediana (a mediana se calcula ordenando os dados e pegando o do meio):

[0, 0, 0, 0, 0, 0, 0, 1, 1]  -> mediana = 0.

Então o valor do primeiro pixel nesta imagem será 0. Vamos fazer o mesmo com o segunto pixel:

[0, 0, 0, 0, 0, 1, 1, 5, 5] -> zero de novo.

O terceiro pixel:

[0, 0, 0, 0, 1, 2, 3, 5, 5] -> mediana = 1.

O resultado final vai ser:

0   0   1   3   3   0

0   1   2   5   5   5

0   1   1   2   4   0

Outras informações

A principal utilidade do filtro de mediana é diminuir o ruído na imagem, principalmente quando ele é formado por “pontinhos” (também conhecido como “salt and peper”, ou sal e pimenta). Mas ele também é útil para tornar bordas mais nítidas em algumas situações. Parece pouco, mas muitas vezes é o que faz a diferença.

Os filtros de mínima e de máxima funcionam da mesma forma.

O filtro de média também tem o mesmo funcionamento, mas não as mesmas propriedades. Ao invés de criar contornos nítidos, ele “borra a imagem”.

O ImageJ tem estes quatro filtros, assim como alguns outros, no menu Process –> Filters.

1. Introdução ao Processamento de imagens
   1. Visão Computacional – extensão da visão biológica.
   2. Gestalt – porque somos melhores que as máquinas?
   3. Uso de Gestalt na pesquisa de Visão Computacional: Survey.
   4. Taxonomia de imagens digitais
   5. Resolução espacial, ou o tamanho do pixel em imagens digitais
   6. Quem usa imagens de satélite?
   7. Problema do mundo real: pinos dentários em microscopia eletrônica
   8. Falsas miniaturas em vídeo
   9. As cores
2. Captação de Imagens
   1. O que são sensores CCDs e como eles funcionam?
   2. CCD ou CMOS: qual a diferença, afinal?
   3. Como captar imagens para processamento usando sua câmera digital
   4. Câmera fotográfica Open Source
   5. Ultrassonografia
3. Armazenamento de imagens
   1. Como escolher o formato de arquivo para suas imagens
   2. TIFF – formato de imagens sob medida para aplicações científicas.
   3. Formato PNG – Web, Edição e Processamento de Imagens.
   4. JPEG – imagens para ver e enviar
   5. Qual o formato de arquivo de imagem mais usado na internet?
   6. Formato de arquivos DICOM
4. Processamento de imagens
   1. Tutorial ImageJ – agrupando imagens em pilhas.
   2. Tutorial ImageJ – Processamento em lote.
   3. Já pensou em alterar o tamanho das suas imagens sem deformá-las?
   4. Seam Carving com Gimp – tutorial parte I
   5. Seam Carving com Gimp – tutorial parte II
   6. Inversão de imagens
   7. Filtro de mediana
   8. Contador manual de células
   9. Usando escala pré-definida em microscopia ótica digital
5. Processamento: Morfologia Matemática
   1. Um pouco de morfologia matemática
   2. Abertura e Fechamento
6. Segmentação
   1. O desafio da segmentação
   2. Objeto ou superfície?
   3. Threshold – Simples e funciona, mas não para todos…
   4. Survey para Threshold de imagens
   5. Watershed em imagens binárias, e um exemplo útil com ImageJ
   6. Survey da pesquisa sobre Segmentação por Watershed
   7. Detecção de bordas – Sobel
   8. Crescimento de Regiões usando Fiji
   9. Mean-shift: segmentação em cores
   10. Mean-shift: explicando
   11. Segmentação de Ácinos
   12. Mimetismo de borboleta
7. Extração de características
   1. Tipos de características das imagens
   2. Tutorial ImageJ – Como contar objetos. Parte I
   3. Tutorial ImageJ – Como contar objetos. Parte II
   4. Tutorial ImageJ – medição de área foliar
   5. Tutorial: Diâmetro de esferas, com ImageJ
   6. Tutorial ImageJ: como “medir a cor” dos objetos
   7. Matriz de co-ocorrência – o que é e como se faz.
   8. Survey para matriz de co-ocorrência – um método de caractarização de texturas em imagens digitais
   9. Diâmetro de Feret
8. Classificação (ou Reconhecimento de Padrões)
   1. Introdução à Classificação de Imagens
   2. Classificação de objetos por centro de classe – parte I
   3. Classificação de objetos por centro de classe – parte II
   4. Classificação/Segmentação no mundo real: florestas
   5. Recuperação de Imagens por semelhança – Dissertação de Mestrado de Juliano Weber
   6. Tutorial ImageJ – usando seleção manual e ROI Manager – exemplo de reconhecimento de padrões: quantificar o crescimento de algas em uma placa de petri usando a cor da imagem.
9. Uso de imagens na medicina
   1. Radiologia e diagnóstico por imagens
   2. O padrão DICOM
   3. Formato de arquivos DICOM
   4. Exames em DICOM
   5. Dia da Abreugrafia… mas o que é isso?
   6. Ultrassonografia
   7. Densidade Radiológica
   8. Detecção de fraturas por processamento de imagens
   9. Pneumonia e o diagnóstico Auxiliado por computador
10. Software livre para processamento de imagens
    1. Eu uso Gimp
    2. ImLab: software experimental para processamento de imagens
    3. Como usar o ImageJ
    4. Tutorial ImageJ: Macros
    5. ImageJ evolution!
    6. Survey no SourceForge.net – busca por software para processamento de imagens.
    7. Anima contando objetos!
11. Desenvolvimento de software
    1. Como desenvolver sistemas de software para processamento de imagens? Parte I: Entre a engenharia de software e as linhas de produção de software
    2. Quando vamos ver o potencial dos games na ciência?
    3. Como eu comecei a usar a JAI
    4. Métodos ágeis de desenvolvimento para software científico

Nada mal… podia ser um livro! OK, um livro pequeno , ainda. Vai continuar crescendo:
Assine o RSS do ImageSurvey!

Uma imagem legal…

Se quiser acompanhar o tutorial, obtenha a imagem no tamanho original.

O objetivo será separar as folhas do fundo. Dificultam a segmentação aqui a irregularidade na iluminação do primeiro plano e as cores do fundo. Quem tentar com threshold simples vai descobrir que não é possível manter todas as folhas e retirar todo o fundo ao mesmo tempo.

Vamos tentar com crescimento de regiões.

Já falei do Fiji?

Como eles dizem: “Fiji is just ImageJ, batteries included.”

É como se fosse uma distribuição diferente do ImageJ, que já vem com vários plugins e tem uma documentação própria.

Download em: http://pacific.mpi-cbg.de/wiki/index.php/Downloads
Para quem tem Ubuntu, use um dos links na sessão “Package for Debian/ Ubuntu”. Eu usei o de 64 bits e está funcionando bem.

Crescimento de Regiões

Crescimento de regiões, ou Region Growing, ou ainda Region Merging é um método de segmentação para imagens em tons de cinza (uma banda), que usa a variação da intensidade dos pixels e a proximidade geométrica entre eles para produzir regiões.

Ele começa em um ponto (usualmente no canto superior esquerdo) e vai “expandindo” pixel a pixel. Se unir o próximo aos já computados não modificar a média mais de um certo valor, então ele é incluído na região. Se a média mudas mais que o fixado, ele será o início de uma nova região. Algumas implementações deixam o usuário escolher este valor. A implementação usada no Fiji deixa o usuário escolher um fator de complexidade, que é usado para calcular esta diferença.

Como o projeto é de código aberto, quem tiver curiosidade pode dar uma espiadinha nele neste link.

O exemplo

Primeiro precisamos que a nossa imagem seja de uma só banda. Podemos fazer isso apenas convertendo para 8 bits ou escolhendo a banda de maior contraste. Na minha experiencia a segunda opção sempre traz vantagens, mas vamos ver aqui…

Alternativas para conversão em tons de cinza: convertido para 8bits; banda R; banda G; banda B.

A imagem em que as folhas estão mais escuras e o fundo mais claro é a banda G (verde). É com essa que eu fico.

Agora o Crescimento de Regiões: mantenha apentas a imagem escolhida aberta, para evitar confusão. No menu Plugins –> Segmentation –> Statistical Region Merging. Aparecerá um diálogo que permite escolher o valor “Q” (é o valor de complexidade de que falei antes) e a optar por “Show averages” (mostrar médias) que influencia na maneira que você vai ver o resultado – eu prefiro deixar marcado.

Quanto ao valor de Q, o default é 25, e vou tentar primeiro com este. Ele gerou mais regiões do que eu gostaria, por isso vou tentar alguns mais baixos (mais tarde vamos comparar o resultado final). Minhas outras tentativas foram 15 e 5.

Imagem após crescimento de regiões: Q = 25; Q = 15; Q = 5.

Para o resultado final ainda precisamos de um último passo: o velho threshold:

Comparação dos resultados: mesma ordem da ilustração anterior.

Imagem segmentada diretamente por threshold.

Repare no canto superior esquerdo da primeira imagem: ainda temos um pouco de fundo. Há poucas deferenças entre a segunda (Q = 15) e a terceira (Q = 5), mas a última incluiu um pouco de fundo entre algumas folhas próximas. Mas a tentativa de segmentar diretamente por threshold não chegou nem perto da primeira…

Só para terminar com uma imagem bonita, vou usar o Image Calculator (Operação transparent-zero) entre a imagem segmentada e a original.

Só as folhas...

Créditos

Imagem de Marufish.

O algoritmo de crescimento de regiões implementado no Fiji está descrito em: R. Nock, F. Nielsen: Statistical Region Merging. IEEE Trans. Pattern Anal. Mach. Intell. 26(11): 1452-1458 (2004).

O conceito de borda

Balantidium coli, por Ed Uthman, MD.

É até estranho pedir para alguém definir a palavra borda, já que é um conceito daqueles que se formam quando ainda estamos aprendendo a ver (isso é lá pelos primeiros meses de vida). A nossa visão é especialista em detectar descontinuidades, mesmo pequenas, e são estas descontinuidades que chamamos de bordas, e muitas (mas não todas) representam os limites entre os objetos.

Como cada um de nós tem lá seus anos de experiência em identificar bordas (se você pode ler, tem pelo menos 7, e se está tentando descobrir como fazer seu TCC tem pelo menos 20…), não pensamos muito sobre como identificamos descontinuidades. Na maioria das vezes processamos a informação até ela ter significado prático para nós, chagando a considerar apenas as descontinuidades que representam limites de um objeto.

Ok, agora traduza isso para uma linguagem que o computador entenda…

Aplicação do filtro Sobel diretamente sobre a imagem original, usando ImageJ

A forma mais comum de detecção de bordas é baseada em filtros. É como funciona, por exemplo, a única função de detecção de bordas do ImageJ. Ela se resume a um filtro Sobel de tamanho 3×3, aplicado por convolução em duas variações (horizontal e vertical). Depois as duas imagens são combinadas usando a raiz quadrada da soma dos quadrados.

     1  2  1     1  0 -1
     0  0  0     2  0 -2      Duas variações do filtro Sobel
    -1 -2 -1     1  0 -1

Aplicando este método diretamente na imagem original (Menu Process –> Find Edges) obtive um resultado nada útil. O filtro realçou todas as bordas, mesmo aquelas que nossa visão desconsidera. Isso acontece com muita frequência, por isso é comum usar um filtro de média, mediana, ou outro método de “borrar” a imagem, para que as bordas menos significativas desapareçam.

Para obter um resultado melhor

Sequência de imagens produzidas pelos quatro passos.

1. Borrar a imagem, diminuindo a quantidade de bordas: usei o filtro de mediana, que está em Process –> Filters –> Median.

2. Aplicar o detector de bordas na imagem borrada: Process –> Find Edges.

3. Transformar a imagem para tons de cinza (para poder aplicar o threshold no passo seguinte). Image –> Type –> 8bits.

4. Aplicar threshold, descartando o máximo as bordas inúteis e mantendo apenas a informação que interessa.

Repare que o resultado não é uma borda completa fechando o objeto de interesse. Talvez usando alguma outra técnica de suavização no início até melhore o resultado, mas ele não vai ficar perfeito. Isto porque o objeto não tem uma borda sólida que o circula! Repare bem na parte de baixo…

Entre o filtro e o olho humano

A aplicação de filtros por convolução é uma operação de processamento de imagens que considera informações de apenas alguns pixels por vêz, e realça elementos que estão presentes na imagem. Os filtros não interpretam informação. Por isso não é possível preencher a descontinuidade de uma borda usando filtros.

A visão humana, por outro lado, é especialista em preencher falhas e interpretar imagens (veja Gestalt – porque somos melhores que as máquinas?). Por isso a diferença entre o resultado atingido neste post e a nossa percepção.

Já existem métodos que se aproximam mais da nossa capacidade de encontrar bordas completas (mesmo onde elas estão incompletas) – um bom grupo deles é conhecido como snakes. E a morfologia matemática tem ferramentas para completar descontinuidades de poucos pixels. No entanto ainda não foi possível imitar totalmente a visão humana… estamos tentando!

Créditos

Impossível deixar de elogiar o Specimens Set, de Ed Uthman, MD. Fazia tempo que eu procurava por boas imagens de microscopia com licença Creative Commons para usar aqui, e em pesquisas. Espero que outros profissionais sigam o exemplo.

O trabalho do Juliano Gomes Weber tem o título ‘Técnicas de Clusterização baseadas em Características de Cor para Classificação de Imagens’ e foi orientado pelo Prof. Dr. Eng. Marcos C. d’Ornellas. O objetivo: encontrar imagens coloridas por semelhança com precisão e resposta rápida.

O método

Uma das imagens do banco de imagens.

O método que o Juliano implementou tem duas fases: a de pré-processamento e a de comparação com a imagem escolhida. Para testar o método, ele escolheu um banco de imagens mantido pela Universidade de Washington: o Ground Truth Database, que possui 1085 imagens classificadas em 20 categorias.

Ele implementou seu método e colocou em uma página web: http://www.ijui.inf.br/cbir/

Pré-processamento

Imagem após a correção de iluminação.

Esta etapa é feita uma vez só para um determinado conjunto de imagens, e não precisa ser repetida. Nela as imagens passam por 3 métodos de processamento: o Mean-Shift, para reduzir o número de cores e separar regiões homogêneas; uma correção de iluminação para descartar as sombras e um método de detecção de cantos (conhecido como Harris), que é a estrela do trabalho.

A saída desta sequência de processamentos são as coordenadas dos cantos encontrados na em cada uma das [1028] imagens. Elas são armazenadas em um banco de dados especialmente estruturado para facilitar (acelerar) a comparação destas coordenadas, entre uma imagem e outra.

Comparação

Mesma imagem, após a correção de iluminação e o Mean-shift.

Quando você entra no site do Juliano e escolhe uma imagem para encontrar outras semelhantes, o programa identifica a imagem que você escolheu (que já tem as coordenadas dos cantos calculadas e armazenadas). Os cantos das outras imagens são comparados com os da sua, e o programa exibe as imagens em ordem de semelhança (dos cantos).

Resultado!

Se eu falar de um método que identifica imagens com cantos posicionados de forma semelhante, muitas pessoas dirão: e daí?

Mas o fato é que a posição dos cantos tem a var com a forma, e com o nível de detalhes presentes em uma imagem. Em um grupo de imagens do mesmo assunto, este agrupamento por forma pode ficar bem próximo do que nós, humanos, consideramos semelhança.

É claro que não dá certo com qualquer grupo de imagens (e nem o google conseguiu isso ainda), mas tem potencial de aplicação em áreas específicas. Quais? Quaisquer áreas em que a forma dos objetos seja importante… um osso quebrado tem mais cantos que um inteiro, certo? Células têm formatos diferentes quando vistas ao microscópio, e micro-organismos também.

Ah, o resultado da defesa…

Como todo bom programador, o Juliano levou puxão de orelha porque não escreve direito, e foi aprovado [ Parabéns! ], contato que faça algumas (3254363665) modificações no texto do trabalho, que deve chegar no BDTD em dois ou três meses.

Eu propus, e ele concordou em incluir o código como anexo, ou disponibilizá-lo na internet (afinal, código deve ser o que ele escreve melhor…). Fiquei curiosa sobre como ele implementou o Mean-shift, e sobre o método de correção de iluminação que ele usou.

Quando eu tiver o código volto a falar nestes assuntos.

Para fazer mestrado…

Se você gostou o que leu, e pensa sobre fazer um mestrado nessa área, tem vaga para 2010. A continuidade deste trabalho, seja melhorando o método ou aplicando em alguma situação da vida real, é só um dos temas que você pode escolher.