Pesquisadores usam IA para identificar materiais semelhantes em imagens

As imagens para download no site do escritório de notícias do MIT são disponibilizadas para entidades não comerciais, imprensa e público em geral sob uma licença Creative Commons Attribution Non-Commercial No Derivatives. Você não pode alterar as imagens fornecidas, exceto cortá-las no tamanho. Uma linha de crédito deve ser utilizada na reprodução das imagens; se não houver um abaixo, credite as imagens ao "MIT".

imagem anterior imagem seguinte

Um robô manipulando objetos enquanto, digamos, trabalha em uma cozinha, se beneficiará ao entender quais itens são compostos dos mesmos materiais. Com esse conhecimento, o robô saberia exercer uma quantidade semelhante de força, seja pegando um pequeno pedaço de manteiga de um canto escuro do balcão ou um palito inteiro de dentro da geladeira bem iluminada.

Identificar objetos em uma cena que são compostos do mesmo material, conhecido como seleção de material, é um problema especialmente desafiador para máquinas porque a aparência de um material pode variar drasticamente com base na forma do objeto ou nas condições de iluminação.

Cientistas do MIT e da Adobe Research deram um passo para resolver esse desafio. Eles desenvolveram uma técnica que consegue identificar todos os pixels de uma imagem que representa um determinado material, que é mostrado em um pixel selecionado pelo usuário.

O método é preciso mesmo quando os objetos têm formas e tamanhos variados, e o modelo de aprendizado de máquina que eles desenvolveram não é enganado por sombras ou condições de iluminação que podem fazer o mesmo material parecer diferente.

Embora eles tenham treinado seu modelo usando apenas dados "sintéticos", que são criados por um computador que modifica cenas 3D para produzir muitas imagens variadas, o sistema funciona de forma eficaz em cenas internas e externas reais nunca antes vistas. A abordagem também pode ser usada para vídeos; assim que o usuário identifica um pixel no primeiro quadro, o modelo pode identificar objetos feitos do mesmo material durante o resto do vídeo.

Além de aplicações em compreensão de cena para robótica, esse método pode ser usado para edição de imagens ou incorporado a sistemas computacionais que deduzem os parâmetros de materiais em imagens. Também pode ser utilizado para sistemas de recomendação da web baseados em materiais. (Talvez um comprador esteja procurando roupas feitas de um determinado tipo de tecido, por exemplo.)

"Saber com qual material você está interagindo geralmente é muito importante. Embora dois objetos possam parecer semelhantes, eles podem ter propriedades de material diferentes. Nosso método pode facilitar a seleção de todos os outros pixels em uma imagem que são feitos do mesmo material," diz Prafull Sharma, estudante de pós-graduação em engenharia elétrica e ciência da computação e principal autor de um artigo sobre essa técnica.

Os co-autores de Sharma incluem Julien Philip e Michael Gharbi, cientistas de pesquisa da Adobe Research; e os autores seniores William T. Freeman, o professor Thomas e Gerd Perkins de Engenharia Elétrica e Ciência da Computação e membro do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL); Frédo Durand, professor de engenharia elétrica e ciência da computação e membro do CSAIL; e Valentin Deschaintre, cientista pesquisador da Adobe Research. A pesquisa será apresentada na conferência SIGGRAPH 2023.

Uma nova abordagem

Os métodos existentes para seleção de materiais lutam para identificar com precisão todos os pixels que representam o mesmo material. Por exemplo, alguns métodos se concentram em objetos inteiros, mas um objeto pode ser composto de vários materiais, como uma cadeira com braços de madeira e assento de couro. Outros métodos podem utilizar um conjunto predeterminado de materiais, mas geralmente têm rótulos amplos como "madeira", apesar do fato de haver milhares de variedades de madeira.

Em vez disso, Sharma e seus colaboradores desenvolveram uma abordagem de aprendizado de máquina que avalia dinamicamente todos os pixels em uma imagem para determinar as semelhanças materiais entre um pixel selecionado pelo usuário e todas as outras regiões da imagem. Se uma imagem contiver uma mesa e duas cadeiras, e as pernas da cadeira e o tampo da mesa forem feitos do mesmo tipo de madeira, o modelo poderá identificar com precisão essas regiões semelhantes.