Hemos lanzado la aplicación FaceHero. Crea un avatar 3D a partir de una sola foto

Hola a todos, me llamo Alexander y soy uno de los desarrolladores de itSeez3Ddonde hacemos algoritmos geniales de visión por ordenador. Nuestro primer producto fue una aplicación para el iPad, que utiliza un sensor 3D externo para escanear personas, objetos y habitaciones.

Obtuvimos muy buenos resultados: texturas RGB de alta calidad, pocos errores en la geometría de los modelos. Pero estábamos limitados por el número de sensores 3D existentes en el mercado, ya que no podíamos trabajar sin ellos.

Queríamos ampliar el mercado de usuarios potenciales. Así nació la idea de una nueva aplicación…

Conoce FaceHero, una app para crear avatares 3D a partir de fotos

Hizo una aplicación capaz de generar un avatar en 3D usando sólo una foto de tu cara. Y no necesariamente con los datos de la cámara TrueDepth del iPhone X/Xs/XR.

Para ello, hemos desarrollado redes neuronales que pueden convertir los selfies en bustos tridimensionales de personas con gran textura. Un ejemplo del trabajo es Keanu Reeves basado en una foto de Google:

¡Eres impresionante!

No nos quedamos ahí. En primer lugar, hemos hecho posible que el avatar sea animado. Nuestros artistas 3D crearon varias animaciones de diferentes emociones: por ejemplo, el avatar puede enviar un beso al aire o enfadarse mucho.

Y también puedes animar avatares en tiempo real: guiñas un ojo o dices algo y se repite después de ti (como en Animoji y Memoji).

También tenemos Modo AR: puedes, por ejemplo, poner un avatar animado en tu escritorio.

Los datos personales están protegidos por tu propio dispositivo

Cuando ya habíamos hecho un par de versiones, apple se negó rotundamente a aprobar la nueva versión y dijo que ahora debíamos hacer todos los cálculos localmente, sin utilizar un servidor.

Para nosotros, eso significó trasladar todos nuestros algoritmos, incluidas las grandes redes neuronales, y los recursos de generación de modelos del servidor al teléfono.

Además, queríamos que la aplicación tuviera un tamaño inferior a 150Mb para que los usuarios pudieran descargarla sin utilizar el WiFi.

Al final, su exigencia no hizo más que mejorar nuestra aplicación. Los datos del usuario ahora no salen del dispositivo y los cálculos han sido altamente optimizados, por lo que funciona en el iPhone X más rápido que 25 segundosy antes eran unos 40 por el envío de la foto y la descarga del modelo.

Además, todo el proceso de portabilidad al dispositivo nos llevó bastante menos tiempo del que habíamos previsto.

Los avatares pueden incluso convertirse en pegatinas

Observamos cómo utiliza la gente nuestro producto y nos dimos cuenta de que los usuarios suelen manipular las emociones, por ejemplo en los mensajes.

Así que nosotros mismos generamos bonitas pegatinas de avatares, que son fáciles de manipular en diferentes aplicaciones, y separamos esta funcionalidad en una aplicación separada Pegatinas FaceHero.

Para iMessage, hemos creado un complemento con el que puedes enviar una pegatina con un solo toque. También hemos añadido un teclado de pegatinas a iOS para todas las demás aplicaciones, y en la próxima versión podremos importar todo el conjunto de pegatinas a WhatsApp.

Nuestros planes para el futuro son seguir mejorando las texturas y el renderizado de los modelos y añadir más animaciones y pegatinas geniales.

Todas las aplicaciones funcionan sin Internet y no envían tus datos a ninguna parte. Y es gratis. Y sin anuncios. Y no hay registro.

Aquí están los enlaces a ellos: FaceHero, Pegatinas FaceHero.

Agradecería cualquier comentario y sugerencia sobre nuevas funciones o mejoras de las antiguas.

P.D. Haz las fotos con buena luz, los avatares serán mucho mejores 😉

Este post fue escrito por por en Hangoutdonde cualquiera puede publicar un artículo. Comienza en en este enlace. Los mejores mensajes aparecerán en ik4.es.

P.D. Asegúrate de leer las instruccioneste ayudará.