Este texto aqui (baseado nos conceitos desenvolvidos em um trabalho de Rodenacker e Bengtsson (2003)) eu tenho copiado/colado em vários outros trabalhos depois que escrevi para a minha dissertação de mestrado. O alto nível de reciclagem indica que ele é extremamente útil, por isso resolvi publicá-lo aqui (com as devidas adaptações).

Extração de Características

Rodenacker e Bengtsson (2003) publicaram um estudo sobre técnicas de extração de características que, embora tenha sido motivado pela pesquisa em citologia, serve como referência para quaisquer aplicações de análise de imagens. Nele os autores apresentam um sistema de taxonomia para as características que podem ser extraídas das imagens digitais. O sistema usa padrões claros de nomenclatura e definição de características, e eu acabei adotando de modo generalizado.

As características são agrupadas em quatro grandes categorias:

a) Características Morfológicas

São as medidas da forma dos objetos que compõem a imagem. Elas não levam em conta a intensidade dos pixels e podem ser calculadas sobre imagens binárias que resultam do processamento das imagens coloridas.

Circularidade, área, largura, etc.

b) Características Cromáticas

São as que descrevem a cor, ou composição espectral da radiação emitida ou refletida dos objetos, quantificada pela intensidade dos pixels em diferentes bandas espectrais (que significa… cor).

Medidas estatísticas das intensidades, como média, mediana, desvio-padrão, e outras, são usadas para caracterizar os pixels pertencentes a cada objeto. Estas características podem ser extraídas diretamente de cada banda que compõe a imagem.

c) Características Texturais

São medidas que caracterizam a variabilidade local das intensidades dos pixels. Dentre as várias formas de medir texturas, há os métodos que utilizam a de matriz de co-ocorrência, dos quais já falei aqui no blog.

d) Características Estruturais ou Contextuais

Estes descrevem a relação entre um ou mais objetos que compõem a imagem, com por exemplo, a posição do núcleo de uma célula com relação à sua membrana. Lembro que este conceito foi o mais difícil de entender quando tive esta aula, mas pode ser que um exemplo sirva para amenizar a confusão.

No post da semana passada, que analisava um caso de segmentação em uma imagem de um pino em um dente, precisamos segmentar apenas as áreas que estavam dentro de uma camada. Para isso precisamos identificar a camada em questão e as áreas de cor branca. Eram necessários dados de duas regiões para decidir se uma delas seria incluída na amostra – isto marca uma característica estrutural.

Na prática

Na prática percebi que esta classificação não tem só o sentido semântico bem organizado – ela ajuda na implementação da classificação também.

C. Morfológicas podem ser obtidas usando só o perímetro de uma área; as Cromáticas precisam das 3 bandas da imagem; Texturais são normalmente de processamento mais lento (só use-as quando nada mais funcionar); e as Estruturais usam informações já calculadas dentro dos outros grupos de características.

Referência:

Rodenacker K, & Bengtsson E (2003). A feature set for cytometry on digitized microscopic images. Analytical cellular pathology : the journal of the European Society for Analytical Cellular Pathology, 25 (1), 1-36 PMID: 12590175

Num feed compartilhado pelo Hémerson Hernandez achei esta imagem interessantíssima, e lembrei da primeira aula do Juca sobre cores.

Ele apontou para a parede e perguntou de que cor ela era. Os homens responderam em coro: “Branca!”. As duas mulheres da turma (eu e minha colega Marlise) tiveram que pensar um pouco… “Bege claro?” “Talvez gelo… não, bege claro.”

Não vou falar aqui sobre quem sabe mais de cores – o fato de os times de futebol preferirem cores básicas não me deixa dúvidas. Vou falar sobre o motivo pelo qual as pessoas discordam sobre cores. Porque aquela cor que fica entre o verde e o azul é chamada de verde por uns e de azul por outros?

Bom, é porque, se considerarmos a cor como uma grandeza, ela é uma grandeza contínua e multidimensional. (não lembro de ter lido isso em nenhum livro, vou explicar)

Grandeza Contínua

Azul contínuo do céu.

Na matemática, dizemos que uma grandeza é algo que pode ser medido. Se é algo que só existem em intervalos definidos, é uma grandeza discreta; o que pode ter qualquer valor é uma grandeza contínua. Quantidade de pessoas, por exemplo, é uma grandeza discreta, porque não existe 0,5 pessoa. Quantidade de água é uma grandeza contínua, como a cor.

Compare duas folhas de papel de marcas diferentes e verá uma pequena variação no tom de branco.

Quando damos nomes às cores, é para facilitar a linguagem coloquial, já que na maioria das vezes não interessa qual o valor de cor específico, mas se é verde como uma planta, ou azul como o céu. Mas “azul” representa um intervalo de cor, com limites não muito bem definidos.

Quando os fabricantes de tinta dão números às cores, estão discretizando a grandeza contínua, para poder padronizar seus produtos.

Multidimensional

A maiorias das imagens coloridas com que lidamos no computador estão no modelo RGB. Isso significa que a cor é representada por três valores em cada pixel: um para R (vermelho), um para G (verde) e um para B (azul). Este é um modelo de cor, que usa três dimensões para representá-la.

A cor é representada em modelos de três a quatro dimensões desde quando Leonardo da Vinci começou a estudar as cores para pintar melhor (ou talvez antes). Nesta época eles usavam o modelo dos pintores, ou roda dos pintores, que pode ser encontrada até hoje nas aulas de pintura.

As tentativas de reduzir as cores a uma dimensão simplesmente não vingaram.

Uma boa ferramenta pra ver a cor em três dimensões é o Color Inspector 3D, do Fiji (fica no menu Analyse). Esta ferramenta localiza cada pixel da imagem no lugar que ele ocupa no espaço tridimensional de cor. Você ainda pode mudar o modelo de cor para ver como cada um deles representa a imagem de forma diferente.

Imagem das sombrinhas representada no Color Inspector 3D: nos modelos RGB, Lab e HSB (da esquerda para a direita).

So, what?

Tudo isso para concluir que:

• Os homens só discretizam as cores um pouco (hehehe) mais que as mulheres.
• Não adianta perguntar: “como eu faço para diferenciar entre a parte mais verde e a parte menos verde das minhas algas?” – mais verde e menos verde são palavras que não significam nada sem que as duas pessoas estejam olhando para a mesma imagem.
• A maiorias dos métodos de segmentação que já expliquei aqui usam apenas uma dimensão de intensidade dos pixels, dispensando parte da informação de cor. Isto funciona para muitos casos e é mais simples de entender e implementar. Existem métodos que usam toda a informação de cor para segmentar a imagem, e ainda vou falar de alguns deles, mas eles são bem mais complexos de entender e levam mais tempo para executar.

Créditos das imagens:

Cores para homens e mulheres – Eu tirei daqui; Se quiser saber o autor original vai ter que seguir os links (eu tentei, mas são muitos…).
Céu azul – de aloshbennett.
Sombrinhas coloridas – por gagilas.

1. Introdução ao Processamento de imagens
   1. Visão Computacional – extensão da visão biológica.
   2. Gestalt – porque somos melhores que as máquinas?
   3. Uso de Gestalt na pesquisa de Visão Computacional: Survey.
   4. Taxonomia de imagens digitais
   5. Resolução espacial, ou o tamanho do pixel em imagens digitais
   6. Quem usa imagens de satélite?
   7. Problema do mundo real: pinos dentários em microscopia eletrônica
   8. Falsas miniaturas em vídeo
   9. As cores
2. Captação de Imagens
   1. O que são sensores CCDs e como eles funcionam?
   2. CCD ou CMOS: qual a diferença, afinal?
   3. Como captar imagens para processamento usando sua câmera digital
   4. Câmera fotográfica Open Source
   5. Ultrassonografia
3. Armazenamento de imagens
   1. Como escolher o formato de arquivo para suas imagens
   2. TIFF – formato de imagens sob medida para aplicações científicas.
   3. Formato PNG – Web, Edição e Processamento de Imagens.
   4. JPEG – imagens para ver e enviar
   5. Qual o formato de arquivo de imagem mais usado na internet?
   6. Formato de arquivos DICOM
4. Processamento de imagens
   1. Tutorial ImageJ – agrupando imagens em pilhas.
   2. Tutorial ImageJ – Processamento em lote.
   3. Já pensou em alterar o tamanho das suas imagens sem deformá-las?
   4. Seam Carving com Gimp – tutorial parte I
   5. Seam Carving com Gimp – tutorial parte II
   6. Inversão de imagens
   7. Filtro de mediana
5. Processamento: Morfologia Matemática
   1. Um pouco de morfologia matemática
   2. Abertura e Fechamento
6. Segmentação
   1. O desafio da segmentação
   2. Objeto ou superfície?
   3. Threshold – Simples e funciona, mas não para todos…
   4. Survey para Threshold de imagens
   5. Watershed em imagens binárias, e um exemplo útil com ImageJ
   6. Survey da pesquisa sobre Segmentação por Watershed
   7. Detecção de bordas – Sobel
   8. Crescimento de Regiões usando Fiji
   9. Mean-shift: segmentação em cores
   10. Mean-shift: explicando
7. Extração de características
   1. Tipos de características das imagens
   2. Tutorial ImageJ – Como contar objetos. Parte I
   3. Tutorial ImageJ – Como contar objetos. Parte II
   4. Tutorial ImageJ – medição de área foliar
   5. Tutorial: Diâmetro de esferas, com ImageJ
   6. Tutorial ImageJ: como “medir a cor” dos objetos
   7. Matriz de co-ocorrência – o que é e como se faz.
   8. Survey para matriz de co-ocorrência – um método de caractarização de texturas em imagens digitais
8. Classificação (ou Reconhecimento de Padrões)
   1. Introdução à Classificação de Imagens
   2. Classificação de objetos por centro de classe – parte I
   3. Classificação de objetos por centro de classe – parte II
   4. Classificação/Segmentação no mundo real: florestas
   5. Recuperação de Imagens por semelhança – Dissertação de Mestrado de Juliano Weber
   6. Tutorial ImageJ – usando seleção manual e ROI Manager – exemplo de reconhecimento de padrões: quantificar o crescimento de algas em uma placa de petri usando a cor da imagem.
9. Uso de imagens na medicina
   1. Radiologia e diagnóstico por imagens
   2. O padrão DICOM
   3. Formato de arquivos DICOM
   4. Exames em DICOM
   5. Dia da Abreugrafia… mas o que é isso?
   6. Ultrassonografia
   7. Densidade Radiológica
   8. Detecção de fraturas por processamento de imagens
   9. Pneumonia e o diagnóstico Auxiliado por computador
10. Software livre para processamento de imagens
    1. Eu uso Gimp
    2. ImLab: software experimental para processamento de imagens
    3. Como usar o ImageJ
    4. Tutorial ImageJ: Macros
    5. ImageJ evolution!
    6. Survey no SourceForge.net – busca por software para processamento de imagens.
11. Desenvolvimento de software
    1. Como desenvolver sistemas de software para processamento de imagens? Parte I: Entre a engenharia de software e as linhas de produção de software
    2. Quando vamos ver o potencial dos games na ciência?
    3. Como eu comecei a usar a JAI
    4. Métodos ágeis de desenvolvimento para software científico

Nada mal… podia ser um livro! OK, um livro pequeno , ainda. Vai continuar crescendo:
Assine o RSS do ImageSurvey!

Imagem de uma superfície, em escala nanométrica.

Outro dia um leitor deste blog enviou uma imagem de uma superfície, obtida por Transmission electron microscopy, perguntando como poderia segmentar e medir as ranhuras encontradas. Como não era algo trivial, e não consegui encontrar uma solução simples em meus testes, repassei o email para o Prof. Juca, que me orientou no mestrado e coordena o Laboratório de Processamento de Imagens e Simulação Computacional.

Transcrevo aqui parte da resposta dele, porque sei que vai ser de ajuda para ampliar a visão de muitos dos que buscam uma saída para um problema semelhante:

O que todos os métodos de segmentação têm em comum é que são aplicáveis a objetos que, por sua natureza, podem ser claramente distinguidos das suas vizinhanças e/ou individualizados. Assim, por exemplo, a segmentação da imagem de uma pedra sobre uma mesa de madeira pode ser difícil devido à semelhança de cor, ou à complexidade de suas texturas e sombras. No entanto, uma pedra tem um contorno físico bem determinado, o qual pode ser sentido através do tato, e isto justifica a busca pela sua delimitação em uma imagem. Portanto, ainda que de difícil solução, este é um problema logicamente bem formulado. Uma pedra é um objeto de natureza física diferente de uma peça de madeira, que pode ser fisicamente separada da sua vizinhança momentânea.

Observe agora as fotos de nuvens contra um céu claro que envio em anexo a esta mensagem. Nenhum método de segmentação automático, como também nenhum humano usando um apontador, será capaz de traçar de forma única a fronteira entre as nuvens e o céu, pela simples razão de que elas não existem! A Wikipedia, por exemplo, define nuvem como “um conjunto visível de partículas diminutas de gelo ou água em seu estado líquido ou ainda de ambos que se encontram em suspensão na atmosfera”. Estas partículas ou gotículas são parte constituinte da atmosfera. A sua concentração varia continuamente de um lugar para outro, em função de outras condições atmosféricas como, por exemplo, pressão, temperatura e concentração de vapor d’água. Apenas acontece que, devido a estes fatores, em alguns lugares do céu a concentração de partículas de gelo e/ou gotículas de água é maior do que em outros. Por isso as nuvens tem “fronteiras” difusas, onde o branco que as identifica se mistura com o azul do céu sem que se possa dizer com precisão absoluta, em que ponto começam ou terminam. Portanto, o problema de buscar a delimitação de uma nuvem está condenado ao fracasso por estar logicamente mal formulado.

Nuvem: “um conjunto visível de partículas diminutas de gelo ou água em seu estado líquido ou ainda de ambos que se encontram em suspensão na atmosfera”.

É claro que é possível identificar o tamanho de uma nuvem desde que algum critério de resolução seja estabelecido, e que é possível inclusive identificar classes morfológicas razoavelmente bem definidas, entre as quais ocorrem nuvens com fronteiras mais abruptas, ou agudas. Mas o fato irrefutável é que, em todos os casos, se a resolução for mudada, um resultado diferente será obtido.

Até onde vai o meu conhecimento e experiência, o problema de contar e medir individualmente as “ranhuras” na superfície do material esfoliado está logicamente mal formulado, por razões análogas às que apresentei no caso das nuvens. Por isso, nenhum método de segmentação produzirá um resultado único, independente de resolução ou, por extensão, independente da subjetividade do usuário. Observe que há ranhuras de todos os “tamanhos” e “profundidades” cujo início e fim não podem ser claramente identificados nem mesmo visualmente. Há inclusive ranhuras sobrepostas. (Onde termina uma e começa outra?) A razão para essa indefinição é que as ranhuras são parte da superfície, assim como as partículas de gelo e água são parte da atmosfera. As ranhuras são rugosidades da superfície ou linhas em que a superfície está “aberta”, isto é, parcialmente desconectada (ou solta). Não é possível separar completamente essas linhas do restante da superfície porque elas são parte da superfície.

Aí está a importância de se formular um problema, que é uma etapa da pesquisa que muitos de nós encaramos como uma formalidade que precisa constar no projeto/relatório.

A técnica usada para abordar um problema sempre vai depender do problema em si, e da resposta que se espera, ou melhor, da resposta que vai ser útil no contexto do problema formulado.

Créditos

• Texto reproduzido: Prof. Dr. José Antônio Trindade Borges da Costa
• Imagem de microscopia: autor prefere não se identificar.
• Nuvens: André Felipe de Medeiros

Para discutir o que fazer com estes dados, vou começar por uma visão de onde estamos, num processo completo de reconhecimento de padrões. Por completo, eu me refiro a um processo que teve um inicio, numa imagem captada, e procura alcançar um objetivo, ou resolver um problema.

Etapas do Reconhecimento de padrões

Imagem segmentada.

Processamento: operações com ou sobre as imagens, que possibilitam a execução dos próximos passos, como correções ou obtenção de imagens processadas (como as imagens binárias que usamos para a segmentação).
Segmentação: operações que separam e identificam os objetos que serão medidos.
Análise: medição das características da imagem ou dos objetos segmentados.
Classificação: separa os objetos em grupos, identificando-os de acordo com os padrões que estão sendo pesquisados.

No exemplo dos círculos, processamos a imagem tornando-a binária para a segmentação, e separando seus canais de cor para a medição dos valores dos pixels. Depois segmentamos usando threshold e watershed, obtendo uma imagem adequada para as medições que pretendíamos fazer. Analisamos usando o Analyse Particles, do ImageJ, que forneceu os valores médios dos pixels para cada objeto: a cor.

Agora chegou a vez da próxima etapa: a classificação. Para isto, vamos ver o que conseguimos até aqui…

Dispersão das medidas de vermelho e verde.

A tabela que obtive com o ImageJ, eu importei para o calc (BrOffice.org) para poder fazer operações e gráficos com os números. Um gráfico de dispersão entre os valores de vermelho e verde para cada objeto traz alguma informação sobre como usar os dados que temos.

O gráfico separou visivelmente os dados em três grupos, ficando apenas um ponto afastado de todos os grupos. Olhando a imagem em que estamos trabalhando, percebemos que temos três cores de objetos, e que dois deles não puderam ser segmentados apropriadamente, e foram considerados um só pelo programa (o objeto de número 8 no Outline).

Outline da imagem analisada.

Classificação

Apesar de conseguirmos um gráfico em que é visível a separação, instruir o computador sobre como identificar os objetos não é tão simples como instruir uma pessoa.

Se o objetivo do seu trabalho se restringe a apenas uma imagem, como no exemplo, pode-se criar regras do tipo:

• Objetos com G maior que 80 são azuis;
• Objetos com R maior que 150 são vermelhos;
• Objetos com R e G menor que 50 são pretos.

Só que no mundo real, as coisas não são tão simples. Em pesquisas científicas, ou procedimentos laboratoriais, fala-se em lotes de imagens. Imagens do mundo real têm variações do mundo real, e os objetos nem sempre se comportam da mesma forma.

Por isso usamos métodos com validade estatística para classificar objetos em imagens. Por isso existem vários métodos diferentes, cada um com suas particularidades. A escolha do método adequado faz parte da atividade de pesquisa, e muitas vezes é decisiva para o cumprimento ou não dos objetivos.

Por isso nas próximas semanas vou abordar alguns métodos de classificação. Em geral eles podem ser divididos em dois grupos:  supervisionados e não supervisionados. Os supervisionados, como o nome sugere. necessitam de intervenção humana.

Por onde eu começo?  Bom, isso é assundo para o próximo post.

Só um exemplo...

Quem já conhece imagens digitais há tempos achou engraçado (ou trágico… pobre criança), mas a verdade é que o conceito de imagem digital não está tão claro assim para a maioria das pessoas, quando elas iniciam seus primeiros projetos com o uso de imagens.

Para quem usa microscópio, é comum [inconscientemente] pensar no zoom como um aumento a mais, mas infelizmente não é assim que funciona. O nível de detalhes que se pode ver numa imagem depende de algo que se costuma chamar de resolução espacial, ou amostragem espacial. Se você reconheceu a palavra amostragem, está no caminho certo. Vamos a um exemplo prático:

Uma linha

Digamos que eu tenha desenhado uma linha com uma caneta em um pedaço de papel. Ela seria contínua. Observá-la com um microscópio poderia revelar imperfeiçoes do papel, áreas mais grassas ou finas,… mas nunca quadradinhos. Os quadradinhos (pixels) aparecem quando se transfere para o formato digital / discreto uma informação que era analógica / contínua.

Uma imagem

No momento em que o sensor (ccd, por exemplo) captura a imagem, acontece uma discretização da informação, para que ela possa ser representada digitalmente.

Como um sensor divide a imagem em porções discretas e coleta uma cor (média) para cada uma delas.

Imagine que a borboleta é real, não uma imagem. A imagem forma-se no sensor da câmera fotográfica. Este sensor tem a tarefa de dividir a imagem (que é contínua) em porções discretas, e capturar um valor de cor (na verdade 3, um para cada canal RGB) para cada uma destas porções discretas, chamadas de pixels.

Quanto mais pixels tiver a imagem final, ou seja, quanto maior for a resolução espacial, mais detalhes do objeto real podem ser observados na imagem.

Em microscopia, isto significa que todo o aumento necessário deve ser conseguido com o microscópio, para que se capture a imagem com resolução suficiente.

E qual é a resolução suficiente? Isso depende so que se quer calcular/observar. Para quem precisa medir a área de alguns objetos com precisão de 0,001 mm quadrados, por exemplo, um píxel deve equivaler a, no máximo 0.001 mm quadrados.

E a reamostragem?

A maioria dos softwares possui um comando chamado de redimensionar ou reamostrar, ou resampling. esta ferramenta serve para alterar o temanho dos pixels. Mas ela não faz milagre. Não há como recuperar uma informação que nunca foi armazenada.

O que o resampling faz é uma interpolação dos valores dos pixels para tornar a imagem esteticamente mais aceitável. Quando se quer dobrar ou triplicar o tamanho da imagem para ilustrar um artigo ou apresantação o resultado é bom.

Reamostragem da imagem obtida no exemplo.

Já no meu exemplo com a borboleta…

As imagens de satélite

Na área de Geoprocessamento, o conceito de resolução espacial faz parte do conhecimento básico que o usuáro precisa ter sobre a imagem que vai analisar.

Satélites possuem resoluções espaciais diferentes de acordo com o escopo para o qual foram consebidos. O CBERS, por exemplo, é um satélite para monitoramento de recursos naturais, com resolução em torno de 20 m quadrados por píxel. Isto é suficiente para identificar rios, lagos, florestas, queimadas, áreas agrícolas e áreas urbanas.

O GeoEye-1, satélite comercial que deve fornecer imagens ao Google Earth em breve, é capaz de captar imagen com até 41 cm quadrados por píxel, o que significa ver casas, carros, ruas e, quem sabe o que mais. Estas imagens podem ser usadas para mepeamentos e monitoramentos urbanos específicos, para indicar o caminho da sua casa a um amigo que vem de longe, ou para ver o mundo… mas ainda não dá para ver o gabarito da prova pela janela da casa do seu professor (quem sabe daqui mais uns anos…).

Esse nível de resolução, usado em uma câmera que as pessoas não têm como saber para quem está apontada gera algumas reações nas pessoas e nos órgãos governamentais. Alguns atentam para o uso militar ou de espionagem… outros lembram que poderá ser possível localizar plantios de ervas proibidas. Indivíduos se preocupam com sua própria privacidade e segurança. O fato é que a privacidade está mesmo encolhendo… (o link é dica da Ladybug) mas esse já não é o assunto deste post. Talvez um outro dia.

Até mais!

Crédito das imagens: As imagens são todas minhas.

1. Entender o funcionamento da visão biológica e
2. Fazer com que máquinas também sejam capazes de ver.

E aqui, a palavra ver não significa apenas captar imagens, e sim compreender e usar as informações contidas nas imagens captadas.

Quero falar hoje sobre o assunto de uma das palestras mais intrigantes: seu título foi “Computational gestalt, meaningful multisegments k-gons”, era sobre a aplicação de alguns conceitos de Gestalt na visão computacional. O palestrante era Gregory Randall.

Gestalt é um conceito da psicologia, que explica a habilidade que o nosso cérebro tem de entender o que vemos e até mesmo preencher os vazios nas imagens que enxergamos. É a forma como sabemos que há uma pessoa inteira, mesmo que metade dela esteja escondida por um muro ou pilar. Você já pensou sobre isso?

Por que ninguém tem dúvidas de que tem uma criança aqui?

Crédito da imagem: woodleywonderworks.

A palavra Gestalt, em Alemão, significa forma, ou figura. A teoria reúne regras e princípios que provavelmente são seguidos por nós, de forma inconsciente, quando olhamos para algo e identificamos suas formas, mesmo que elas não estejam completamente visíveis. Estas regras fornecem pistas sobre como o cérebro humano funciona, de de como poderíamos reproduzir o nosso comportamento por máquinas e softwares. A Wikipédia de língua inglesa tem um bom artigo sobre a psicologia Gestalt.

Alguns exemplos

Podemos interpretar a mesma imagem de várias formas.

Um dos princípios básicos é o do agrupamento. Ele mostra como temos a tendência de agrupar as coisas. Ou porque são da mesma cor, ou porque estão próximas, ou porque uma linha parece a continuidade da outra, ou porque dois grupos parecem simétricos.

Também temos a tendência de corrigir ou completar as coisas, quando nos parecem incompletas como no famoso desenho dos três círculos incompletos em que nós insistimos em enxergar um triângulo.

O conceito da multiestabilidade trata de como uma mesma figura pode ter interpretações variadas. Esta nossa habilidade pode ser ilustrada pelo famoso desenho dos dois rostos que formam uma taça, e no cubo vazio.

ASCII art

Quem viveu antes do windows vai lembrar da Ascii Art! Aliás isto foi muito usado no Orkut, também… E nada mais é do que tirar vantagem do nosso vício em ver o que já conhecemos, mesmo que o objeto não esteja lá.

O desafio de ensinar as máquinas

Os exemplos que dei ilustram como nós, pessoas, interpretamos as coisas que vemos. Mas como ensinar as máquinas (software) a ver como nós? O grande desafio não passa apenas por ensinar como ver, mas também ensinar como ver o que não está lá! Como o rosto da primeira imagem deste post. Onde nós vemos um rosto, o que há são duas fatias de rosto.

O mesmo se a plica a tarefas aparentemente simples, como decidir o que é fundo e o que é objeto. Seres humanos tentem a interpretar o interior de linhas convexas como objetos e seu exterior com fundo, e dá certo na maioria das vezes. Mas esta regra não é fácil de ser descrita em código. E mais difícil ainda é reproduzir a nossa tolerância a pequenas interrupções nas linhas.

Os dois desenhos foram obtidos na Wikipédia, e estão em domínio público.

Outras Referências

• Desolneux, A.; Moisan, L.; Morel, J.M. From Gestalt Theory to Image Analysis: A Probabilistic Approach. 2006.

Foi por causa do seu início, com os Raios-X, que a área da medicina que usa imagens como meio de diagnóstico ficou conhecida como Radiologia, mas o termo Diagnóstico por imagem parece mais usado atualmente (que me corrija, quem for médico, se eu estiver errada…).

Hoje existem vários tipos de exames baseados nesta tecnologia e em outras formas de obter imagens do corpo humano. Depois de muito procurar, finalmente encontrei um site sobre radiologia com informações técnicas credíveis. Colhi estas e outras informações e organizei uma pequena introdução ao assunto. Vamos a ela:

Radiografias

Radiografia convencional – Um aparelho de radiografia inclui uma fonte de raios-X e um receptor de raios-X, que pode ser um filme parecido com filme fotográfico, ou pode ser uma placa que capta os raios de forma que se possa converter o resultado em uma imagem digital (uma opção para clínicas que já possuem um aparelho convencional, mas querem adotar as imagens digitais).

Exemplo de radiografia.

Radiografia, de Bill in Ash Vegas.

Radiografia digital – Usa os mesmos princípios físicos da radiografia convencional, mas o aparelho já é construído para a obtenção de imagens digitais, sem o uso de filme.

Radiografias contrastadas – Podem ser feitas tanto em aparelhos convencionais quanto nos novos, digitais. A diferença é o uso de alguma substância injetada no paciente para realçar os órgãos de interesse do médico.

Densitometria óssea – também usa raios-X, mas o objetivo deste exame é avaliar a quantidade de cálcio nos ossos.

Mamografia – Outra aplicação dos raios-X, mas específico para o exame da mama. Assim como as radiografias comuns, ele também existe nas duas versões (filme/ digitas).

As radiografias geram imagens em tons de cinza (o número de níveis varia de acordo com a resolução espectral do sensor).

Tomografia Computadorizada

Tomografia computadorizada – Este exame permite a visualização de vários planos (como se fossem fatias) do corpo. Ele também utiliza a tecnologia dos raios-X, mas o resultado é um conjunto de imagens, correspondendo uma a cada plano fotografado. As imagens também são em tons de cinza.

Exemplo de ultrassom.

Ultrassom de VirtualErn.

Ecografia / Ultra-sonografia

Nas ultra-sonografias, o som é usado para captar as imagens. O aparelho emite som numa frequência de 2 até 14 Mhz (dependendo do tipo de equipamento), que nós não somos capazes de ouvir. O som encontra obstáculos dentro do corpo de e faz o caminho de volta, como um eco. O aparelho capta o eco e o transforma em imagens em tons de cinza. A grande vantagem deste tipo de exame é que ele é totalmente inofensivo, e pode ser usado para acompanhar o crescimento dos futuros bebês sem risco.

Ressonância magnética

O paciente é submetido a um forte e uniforme campo magnético, que afeta principalmente os núcleos de certas moléculas. É a direção dos campos magnéticos gerados que fornece contraste à imagem. O processo todo é bem difícil de ser entendido pelos não-físicos, com eu, mas eu encontrei a explicação aqui. Se alguém quiser tentar, boa sorte!

O importante é saber que o contraste é maior para tecidos moles, e menor para tecidos duros como ossos, ao contrário do que acontece nas radiografias. A imagem formada também fica em tons de cinza.

Medicina nuclear

Imagem obtida por PET scan, uma técnica de medicina nuclear.

Imagem obtida por PET scan, uma técnica de medicina nuclear, por Reigh LeBlanc.

Esta área de diagnóstico por imagens ocupa-se do uso de marcadores radioativos para observar processos fisiológicos, ou seja, o funcionamento dos órgãos do paciente, de forma não invasiva. Os marcadores ligam-se a algumas moléculas, que são de interesse para o exame e emitem raios gama, enquanto seguem seu caminho pelo organismo do paciente. Uma câmera especial capta os raios gama e mostra todo o caminho que as moléculas estão fazendo no organismo. Apesar da palavra radioativo assustar um pouco, os médicos dizem que estes exames são menos prejudiciais que os raios-X.

Mais informações

Para quem quiser saber mais sobre a evolução do uso de imagens na medicina (e é capaz de entender inglês sem legenda), este vídeo é ótimo. Ele aborda o assunto de uma maneira bem interessante, e só leva 8 minutos.

Uma bonita curiosidade: arte em raios-X.

Inicialmente a teoria foi desenvolvida apenas para imagens binárias. Só algum tempo depois, estudos foram estendendo suas capacidades para imagens em tons de cinza.

A idéia central é testar a imagem com um elemento estruturante, e analisar de que forma este elemento cabe (hit) ou não cabe (miss) na imagem. Um exemplo vai deixar isso mil vezes mais simples! Só precisamos de mais algumas informações básicas…

As operações fundamentais da morfologia matemática são a erosão e a dilatação, mas antes de tudo é preciso conhecer os elementos estruturantes, ou, em inglês, structuring elements. É o formato destes elementos, tão simples quanto matrizes, que determina quais pixels da imagem são retirados (no caso de uma erosão) ou quais são adicionados (no caso de uma dilatação) aos objetos.

Também é preciso ter claro o que é objeto e o que é fundo, em uma imagem binária. Isto depende do software que você estiver usando. Imagens binárias são imagens em que cada pixel pode assumir dois valores: em geral o zero é representado como preto, e é o fundo; o branco é o objeto, e pode ter valor de 1 ou de 255. O ImageJ tem a opção de considerar o branco como fundo e o preto como objeto, se você souber onde está esta opção…, mas não permite que você determine o formato do elemento estruturante.

Erosão

Como eu queria ter o controle de tudo, fiz meu exemplo no Matlab. Escolhi um elemento estruturante bem simples: um quadrado de lado igual a 3 pixels, com a origem no centro. A imagem é de uma letra escrita por mim, devidamente segmentada.

Na operação de erosão, o elemento estruturante é sobreposto à imagem em todas as posições possíveis por um loop. O pixel que fica na posição da origem do elemento estruturante é modificado de acordo com uma regra simples:

Se o elemento estiver em parte sobre o objeto e em parte sobre o fundo, o pixel que está na posição da origem passa a ser fundo. Ou seja, um pixel só pode permanecer no objeto (com valor 1) se, quando a origem do elemento estruturante estiver sobre ele, todos o elemento estiver sobre o objeto.

O resultado é o que se pode ver no detalhe. Aí a imagem original está em cinza, e o resultado foi sobreposto à ela em branco. A operação de erosão eliminou uma borda de um pixel ao longo de todo o perímetro da imagem original.

Dilatação

Na dilatação o que muda é que quando o elemento está em parte sobre o fundo e em parte sobre o objeto, o seu centro passa a ser objeto. Isto aumenta o tamanho do objeto, como o nome dilatação sujere.

Onde isso tudo leva?

Esta é a base para uma infinidade de ferramentas de processamento e análise de imagens. Algumas simples como as que demonstrei aqui, outras mais elaboradas como a segmentação por Watershed, e outras técnicas de reconhecimento de padrões.

Este exemplo foi feito com um elemento estruturante muito simples, como uma forma de introduzir o assunto. Quem quiser aprofundar-se procure as referências que coloquei no final, ou ponha a mão na massa e veja o que estas ferramentas podem fazer – para isso sugiro o Matlab, pela possibilidade que ele dá de você construir seus próprios elementos estruturantes. É claro que espero também escrever mais sobre morfologia…

Até mais!

Referências

• Dougherty, E.R.; Lotufo, Roberto A. Hands-on Morphological Image Processing. SPIE Press, Washington, 2003.
• Wikipedia: (em ingles, porque em portugues só tem a introduçao):Mathematical_morphology, Erosion, Dilation

Tendo passado alguns anos lendo trabalhos de conferências e revistas especializadas, posso arriscar um palpite sobre qual é o maior desafio na área de PDI: é a segmentação. Isto é, dividir uma imagem nos objetos que compõem a cena (ou campo, no caso de microscopia). Frequentemente o objetivo de um sistema de visão ou análise de imagens é medir ou quantificar alguma coisa. Medir costuma ser o menor dos problemas, assim como contar – máquinas são essencialmente boas nisso. O obstáculo maior costuma ser a identificação dos objetos (sua localização e limites) para que então o software possa aplicar as ferramentas de medição.

Como seres humanos, fazemos isso o tempo todo sem pensarmos em como esse processo acontece. Temos um sofisticado sistema de visão, e muitas vezes não precisamos de nenhum esforço para colocá-lo em funcionamento.

Pato-real por detsang.

Olhe a imagem do pato… ninguém tem dúvidas de que é um pato. Porquê? Porque já vimos patos antes (pelo menos na TV) – conhecemos sua forma e suas cores, e esperamos encontrá-los nadando. O reflexo na água não nos confunde porque também conhecemos a água e sabemos que pode refletir assim. Ou seja, usamos nossa visão e todo o conhecimento prévio que temos do mundo que nos cerca para decifrar uma imagem. Como podemos esperar que um simples algoritmo resolva o assunto?

Quando se fala em segmentação de imagens digitais, existem algumas abordagens bastante utilizadas, que obtém sucesso dependendo do tipo de imagem e do objetivo. Neste assunto não há unanimidade sobre o que é melhor ou pior, existem experiências, idéias e resultados.

Técnicas baseadas em cores, ou intensidade de valor de píxel.

A mais comum já foi apresentada aqui – o Threshold ou Limiar. A técnica divide o histograma da imagem em duas partes ou mais (chamado threshold múltiplo). Mas também faz parte deste grupo o meu método preferido: o mean-shift. Este usa toda a informação de cor num modelo tridimensional para obter grupos de pixels de cores semelhantes, esperando que estes grupos formem objetos.

Imagem do pato-real após threshold.

Detecção de bordas:

Estas técnicas tentam imitar uma das grandes habilidades do sistema de visão humano: a detecção de descontinuidades (é como sabemos onde termina o pato e começa a água). Para encontrar bordas são usador filtros. A maioria dos programas de processamento e/ou edição de imagens oferece uma função deste grupo, com o nome de edge detection. Alguns dos filtros mais usados com esta função são sobel, prewit e canny.

Mesma imagem, após detecção de bordas usando o filtro canny.

Crescimento de regiões:

Estes métodos assumem que uma região é formada por pixels adjacentes e com algumas características estetísticas em comum, como média e desvio-padrão das intensidades (cores) dos pixels. Alguns algoritmos podem ser executados sem interação humana, mas há os que permitem que o usuário defina sementes, que são pontos por onde o crescimento deve começar.

Contornos ativos:

Também chamados de SNAKES, são linhas fechadas que se adaptam ao contorno de um objeto. Existe uma Active Countour homepage, no domínio da universidade de Bristol, na Inglaterra, com informações sobre quatro modelos de contornos ativos, incluindo algumas animações bem didáticas.

E a imagem do início do post, que técnica pode segmentá-la?

Provavelmente uma combinação de várias delas. As bordas não ajudam muito porque há muitas delas entre as penas. A cores também ficam muito próxima das cores da agua. A textura é provavelmente o elemento mais promissor neste caso. É possível usar resultados de matrizes de co-ocorrência com característica para métodos de crescimento de regiões. Alguém quer tentar?