Este é um pequeno vídeo de demonstração de uma rede neural que transforma fotos em filmes 3D apenas com o uso do material original, ou seja, uma fotografia comum.
Usando inteligência artificial, o sistema consegue capturar os elementos da foto e transformá-los em animados, sem perder o realismo da imagem em questão.
A criação é de Simon Niklaus, Long Mai, Jimei Yang, e Feng Liu, e na publicação deles, eles comentam sobre a tecnologia:
Experimentos com uma ampla variedade de conteúdo de imagem mostram que nosso método permite resultados de síntese realistas. Nosso estudo demonstra que o sistema permite que os usuários obtenham melhores resultados, exigindo pouco esforço em comparação com as soluções existentes para a criação do efeito 3D Ken Burns.
Eles também explicam com mais detalhes como funciona o sistema:
O efeito Ken Burns permite animar imagens estáticas com uma digitalização e zoom da câmera virtual. A adição de paralaxe, que resulta no efeito 3D Ken Burns, permite resultados significativamente mais atraentes. Criar esses efeitos manualmente consome tempo e exige habilidades sofisticadas de edição. Os métodos automáticos existentes, no entanto, exigem várias imagens de entrada de vários pontos de vista. Neste artigo, apresentamos uma estrutura que sintetiza o efeito 3D Ken Burns a partir de uma única imagem, suportando um modo totalmente automático e um modo interativo, com o usuário controlando a câmera. Nossa estrutura primeiro utiliza um pipeline de previsão de profundidade, que estima a profundidade da cena que é adequada para tarefas de síntese de exibição. Para abordar as limitações dos métodos de estimativa de profundidade existentes, como distorções geométricas, distorções semânticas e limites de profundidade imprecisos, desenvolvemos uma rede neural com percepção semântica para previsão de profundidade, associamos suas estimativas a um processo de ajuste de profundidade baseado em segmentação e empregamos um refinamento rede neural que facilita previsões precisas de profundidade nos limites dos objetos. De acordo com essa estimativa de profundidade, nossa estrutura mapeia a imagem de entrada para uma nuvem de pontos e sintetiza os quadros de vídeo resultantes renderizando a nuvem de pontos das posições correspondentes da câmera. Para resolver as oclusões e, ao mesmo tempo, manter os resultados de síntese geometricamente e temporalmente coerentes, utilizamos a pintura com cores e profundidade com reconhecimento de contexto para preencher as informações ausentes nas vistas extremas do caminho da câmera, estendendo a geometria da cena da nuvem de pontos.
Abaixo você confere o resultado:
Fotos em filmes 3D
Veja mais sobre tecnologia!
