Une nouvelle ère dans l'animation pour enfants !

Au menu aujourd’hui :

🧑‍🎨 Quel avis sur l’utilisation de l’IA dans l’art?

📠 Comment réduire le temps de fabrication d’un contenu d’animation 3D grâce à l’IA?

💡 Les futures pistes en cours d’exploration

👀 Où se renseigner - les sources recommandées par Antoine

‍

🍰 MF : hello Antoine, que penses-tu de l’utilisation de l’IA dans le cadre de la création artistique ?

👉 Antoine :

Salut ! Merci de m'inviter à partager mes pensées sur ce sujet passionnant. L'utilisation de l'IA dans le cadre de la création artistique est un sujet qui engendre une forte polarisation. Personnellement, je vois cela sous un angle assez pragmatique. Il y a ceux qui considèrent l'IA comme une menace pour la créativité humaine, une intrusion de la machine dans un domaine régi par l'émotion et l'intuition. D'un autre côté, il y a ceux qui, comme moi, voient l'IA comme une opportunité pour repousser les limites de ce que nous pouvons créer.

Prenons l'exemple de grands artistes comme Man Ray, qui a utilisé la solarisation en photographie, ou Refik Anadol, qui intègre des algorithmes de machine learning dans l'art visuel. Et n'oublions pas des groupes révolutionnaires comme Kraftwerk, qui ont fait des merveilles avec les synthétiseurs en musique. Ces artistes ont adopté la technologie pour enrichir et transformer leur travail.

En animation, l’émergence de la CGI au début années 90 avait entrainé un vent de scepticisme auprès d’une partie des artistes dessinateurs. Puis il y a eu la révolution Pixar, en commençant par Toy Story, au succès commercial impressionnant et entièrement produit en image de synthèses.

Aujourd'hui, l'IA offre des possibilités fascinantes, en particulier dans le monde de l'animation. Elle permet aux créateurs d'explorer rapidement des concepts visuels et narratifs, de générer des dialogues et des scénarios innovants, et même de composer des morceaux de musique. Pour moi, l'IA n'est pas une menace, mais un outil supplémentaire, un allié qui nous permet d'explorer de nouveaux horizons artistiques et de repousser les frontières de notre créativité.

🍰 MF : Qu’es-tu en train de développer chez Animaj pour accélérer la fabrication de contenu d’animation 3D?

👉 Antoine :

Actuellement chez Animaj, nous travaillons sur des innovations majeures pour accélérer la fabrication de contenu d’animation 3D. Nous nous sommes concentrés sur l'animation des personnages, une étape chronophage et coûteuse dans la fabrication d’une série ou d’un film d’animation.

Aujourd’hui plusieurs techno qui permettent d’animer un modèle 3D d’un personnage humain standard : la capture de mouvement (mocap), via des capteurs ou des flux video, le text-to-motion, à partir d’un prompt ou encore l’audio-to-motion, à partir de pistes musicales.

Mais les personnages de dessins animés ont des proportions corporelles très différentes de celles d'un être humain standard (typiquement la tête et le ventre sont plus gros, les jambes et les bras plus petits). En utilisant les approches classiques de transfert de mouvement, qui se basent sur des correspondance entre squelettes, on se heurte à des problèmes d’interpénétrations qui rendent l’animation obtenue inexploitable.

Nous avons entraîné un GNN sur des téraoctets de données propriétaires pour lui apprendre à transférer correctement une animation source d’un personnage humanoïde standard vers n'importe quel personnage, quelle que soit sa morphologie. Notre modèle, en prédisant la position de l’enveloppe du personnage cible, et non de son squelette, peut gérer les inter-pénétrations et donc produire une animation exploitable dans la suite du workflow de fabrication.

Grâce à cet outil, nous sommes capables de diviser par 5 le temps nécessaire pour animer un personnage et par 2.5 le coût de fabrication d’une scène entière, par rapport au workflow traditionnel. Cette économie nous permet :

• de proposer des contenus originaux de meilleure qualité en la réinvestissant dans les phases amont de conception et design
• d’augmenter notre capacité de production et ainsi assurer la cadence de sortie de nouveaux contenus imposées par des plateformes comme Netflix ou YouTube

Et voici en image sur ce trailer 😎

🍰 MF : Comment conçois-tu les prochaines étapes de R&D à ce sujet?

👉 Antoine :

Récemment nous avons intégré dans notre pipeline de fabrication un modèle de text-to-motion, qui à partir d’un prompt permet de générer des mouvements sur un personnage générique.

Par ailleurs, nous avons identifié des axes d'amélioration pour notre modèle de transfert de mouvement. Nous nous concentrons sur l'amélioration de la gestion des interactions entre personnages, l'animation des visages et la correction des contacts des pieds avec le sol pour rendre les animations produites encore plus précises.

Parallèlement, nous explorons d’autres pistes technologiques pour réduire les temps de fabrication, notamment en optimisant la transition du storyboard au layout ou en automatisant le doublage. Chaque amélioration vise à accélérer la production tout en élevant la qualité de nos animations.

On est super enthousiastes à l'idée des possibilités que ces innovations vont ouvrir pour la création de nos nouveaux contenus.

🍰 MF : merci Antoine ! Est-ce que tu peux nous laisser les sources que tu recommandes pour aller plus loin sur le sujet ?

👉 Antoine :

• GitHub Trending - on y trouve régulièrement les implémentations de modèles proposés dans des publications académiques sur les LLMs, l’IA générative et la vision par ordinateur.
• Chaine YouTube Two Minutes Papers - updates fréquentes sur l'IA, très souvent en lien avec les images de synthèse (VFX, gaming, animation)
• Conférences (ICCV, Siggraph) - beaucoup de publications sur les sujets 3D graphics récemment

‍

Très belle semaine à tous !

‍

— l’équipe millefeuille.ai

‍