Las imágenes se ven limpias incluso en condiciones difíciles.
Investigadores de la Universidad de Zhejiang, la Universidad China de Hong Kong y NVIDIA presentaron NeuralMarker, un marco impulsado por IA que puede ayudar a reemplazar una imagen con otra en un video. El marco parece estar funcionando bien con diferentes puntos de vista, condiciones de iluminación, deformaciones y desenfoque de movimiento.
NeuralMarker entrena una red neuronal "estimando correspondencias de marcadores densos bajo diversas condiciones desafiantes". Los investigadores notaron que los desafíos de la estimación de la correspondencia de marcadores provienen de la variación de la geometría y la variación de la apariencia y diseñaron dos componentes: el primero es un conjunto de datos sintéticos FlyingMarkers que contiene pares marcador-imagen con correspondencias densas de verdad en el suelo. Al entrenar con FlyingMarkers, se alienta a la red neuronal a capturar varios movimientos de marcadores. El segundo es la pérdida de distancia epipolar simétrica (SED), que permite aprender la correspondencia densa de las imágenes posadas.
Según los autores, el aprendizaje con pérdida de SED y las imágenes planteadas con iluminación cruzada recopiladas por Structure-from-Motion (SfM) hace que NeuralMarker sea robusto en entornos de iluminación hostiles y lo ayuda a evitar el sesgo de imagen sintética.
El código y los modelos deberían publicarse pronto, así que echa un vistazo a NeuralMarker en GitHub, lee sobre la investigación aquí y no olvides unirte a nuestra página.
Comments