Tecnologia de ampliação de imagem parece até magia

Share on facebook
Facebook
Share on twitter
Twitter
Share on pinterest
Pinterest
Share on whatsapp
WhatsApp
Share on facebook
Share on twitter
Share on pinterest
Share on whatsapp
Categorias
Night mode

Olha só esse negócio, que impressionante.

Quando se pega uma imagem de baixa resolução e você amplia, você joga um problema complicado para o computador resolver, ele precisa aumentar o nível de informação na ampliação. Mas se a imagem de baixa resolução contém  pouca informação, o que o programa faz é pegar a área da imagem, dividir por blocos de cor e tentar interpolar isso para ampliar. Isso resulta sempre em imagens borradas, porque, afinal, o computador não é nenhum gênio capaz de extrair dados do nada para completar o que falta numa ampliação.

Não era. Saca só a macumba:

Trata-se do SR3. Conforme o resumo do paper,

A pesquisa é uma abordagem à imagem S uper- R eSolution via R epeated Refinement. SR3 adapta modelos probabilísticos de difusão de redução de ruído para geração de imagem condicional e produz uma  super-resolução por meio de um processo de denoising estocástico. A inferência começa com ruído Gaussiano puro e refina iterativamente a saída ruidosa usando um modelo U-Net treinado na redução de ruído em vários níveis de ruído. SR3 exibe forte desempenho em tarefas de super-resolução em diferentes fatores de ampliação, em rostos e imagens naturais. Conduzimos a avaliação humana em uma tarefa de super-resolução facial 8 × padrão no CelebA-HQ, comparando com os métodos SOTA GAN. SR3 atinge uma taxa de confusão próxima a 50%, sugerindo saídas foto-realistas, enquanto GANs não excedem uma taxa de confusão de 34%.

Este é o resultado da ampliação simples. Ela aumenta borrando os pixels.

Como podemos ver no artigo original, quando se amplia uma imagem de baixa resolução, usando o sistema bicúbico, ela tradicionalmente fica borrada:

 

…Mas esse sistema de múltiplas varreduras chamado SR3, pode gerar um resultado surpreendente.

No SR3 os pixels ficam menos borrados e o computador parece “inferir” o detalhamento.

Observe o resultado da ampliação da imagem acima em SR3 com a imagem de alta resolução que era a de controle.

SR3 e controle

Nos testes o sistema de ampliação converteu imagens de 64X64 pixels em imagens detalhadas de 1024X1024.

Chega a parecer até um primeiro de abril esse troço.

Eu confesso que estou ainda um pouco incrédulo sobre a alegação, porque como que o computador pegou essa placa lisa de pixels de cor creme e sabe que ali tem cerca de 15 dentes e como eles devem se parecer?

Chega a ser assustador como um computador pode pegar algo de baixa resolução e ampliar no melhor estilo filme de Hollywood mal feito: “pegue o video e amplie, Scully”

O resultado da ampliação SR3 (na esquerda e a imagem de alta resolução original do controle na direita)

Observe que na imagem acima, podemos ver que o SR3, meio que “chutou” como ele achava que seria aquela pequena prega de pele sobre a pálpebra.

Com o mundo avançando para uma escalada de alta resolução, soluções de pós que podem ampliar a qualidade das imagens no futuro serão super bem vidas. Um campo sensacional para quem gosta de muita (muita mesmo) Matemática.
Como diz a lei de Clark: “Tecnologia suficientemente avançada, não se difere de magia”

Para conhecer mais profundamente que tipo de bruxaria é essa, aqui esta o paper e aqui esta o link. 

 

Comments

comments

Share on facebook
Facebook
Share on twitter
Twitter
Share on whatsapp
WhatsApp
Share on telegram
Telegram

Uma resposta

  1. Eu vejo uma aplicação pra essa tecnologia quando as placas de vídeo começarem a moer dados como se não houvesse amanhã.
    Imagina jogos de mundo aberto, ultra detalhados, com texturas em altíssima resolução mas sem custar 200GB de espaço…

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

© MUNDO GUMP – Todos os direitos reservados. Proibida a reprodução sem autorização.