Production Ready Face Re Aging for Visual Effects

El envejecimiento digital fotorrealista de rostros en video es cada vez más común en el entretenimiento y la publicidad. Pero el flujo de trabajo predominante de pintura en 2D a menudo requiere un trabajo manual cuadro por cuadro que puede tardar días en realizarse, incluso por parte de artistas expertos. Aunque la investigación sobre el envejecimiento de la imagen facial ha intentado automatizar y resolver este problema, las técnicas actuales tienen poca utilidad práctica, ya que suelen sufrir pérdida de identidad facial, resolución deficiente y resultados inestables en los cuadros de video posteriores. En este documento, presentamos el primer método práctico, totalmente automático y listo para producción para volver a envejecer rostros en imágenes de video. Nuestra primera idea clave es abordar el problema de recopilar datos de entrenamiento longitudinal para aprender a envejecer caras durante largos períodos de tiempo, una tarea que es casi imposible de lograr para una gran cantidad de personas reales. Mostramos cómo se puede construir un conjunto de datos longitudinales de este tipo aprovechando el estado actual del arte en el envejecimiento facial que, aunque falla en imágenes reales, proporciona resultados de envejecimiento fotorrealistas en rostros sintéticos. Nuestra segunda idea clave es aprovechar esos datos sintéticos y formular el envejecimiento facial como una tarea práctica de traducción de imagen a imagen que se puede realizar entrenando una arquitectura U-Net bien entendida, sin la necesidad de diseños de red más complejos. . Sorprendentemente, demostramos cómo la sencilla U-Net nos permite avanzar en el estado del arte para el envejecimiento de rostros reales en video, con una estabilidad temporal sin precedentes y la preservación de la identidad facial a través de expresiones, puntos de vista y condiciones de iluminación variables. Finalmente, nuestra nueva red de envejecimiento facial (FRAN) incorpora mecanismos simples e intuitivos que brindan a los artistas control localizado y libertad creativa para dirigir y ajustar el efecto de envejecimiento, una característica que es muy importante en las líneas de producción reales y, a menudo, pasado por alto en trabajos de investigación relacionados.