keys construct kirell
< < Articles

Quand les algorithmes se mettent à l’art

18/06/2019

Le Style Transfer, une expérience menée par Dimitri Unimon, Ingénieur R&D à l’Atelier d’ekino

styletransfer

Oeuvre réalisée par un réseau de neurones (inspirée d’une pièce de Kirell Benzi)

Nos professeurs nous ont toujours dit que les mathématiques permettent d’expliquer le monde. Pour les moins attentifs d’entre nous (moi y compris...), fonctions linéaires et dérivées n’étaient qu’une flopée de nombres et de lettres qui, mis bout à bout, constituaient une équation à résoudre. Mais par moment, une question me venait. Que signifie résoudre une équation ? Et surtout, pourquoi résoudre une équation ? Je vous rassure, cet article n’a pas pour but de vous donner un cours de mathématiques sur l’optimisation de fonctions objectifs. Mais plutôt de vous donner une raison artistique de faire des maths.

Imaginez un peintre amateur capable d’apprendre très vite de ses erreurs. Donnez-lui la photo d’un paysage et d’un tableau de Picasso. Demandez lui ensuite de peindre une nouvelle oeuvre qui ressemble à un paysage mais dans le style cubiste initié par le peintre espagnol.

Notre artiste pourrait commencer par réaliser un premier jet qui serait examiné par un grand peintre comme Bob Ross. Étant de très bon conseil, Bob lui indiquera les différences qu’il y a entre le premier essai et le résultat souhaité. Sur ses conseils, notre peintre recommencera à peindre une autre toile qui sera une nouvelle fois expertisée par le maître du “Wet painting”. Cet exercice sera répété autant de fois que nécessaire jusqu’à ce que les différences de style entre le maître et le disciple soit imperceptibles.

Et si maintenant, on vous disait que l’artiste amateur n’est pas fait de chair et d’os, mais de neurones artificiels. L’apprenti peintre n’est autre qu’une intelligence artificielle qui utilise le procédé de deep learning qui apprend perpétuellement à partir de données.

Nous n'avons pas tous le talent d'un artiste renommé, mais les technologies actuelles nous permettent aujourd'hui de nous improviser peintre amateur ou du moins de nous faciliter le travail. Popularisée par des applications comme Prisma ou encore certains filtres Snapchat, ce sujet a été introduit par des chercheurs du Bethge Lab en 2015.

La règle du jeu était simple :

  • Prendre une image A
  • Prendre une image B, oeuvre d’un artiste connu (par exemple Picasso ou Kirell Benzi ;) )
  • Obtenir une image C qui aura comme contenu l’image A, avec le style de l’image B.

Il s’agit donc d’entraîner un algorithmeà reproduire le plus fidèlement possible le tracé, la texture, l’interprétation et presque le sens artistique de n’importe quel grand maître.

Mais quelle est donc cette sorcellerie ?!

Cette technique est ce que l’on appelle le « style transfer » ou transfert de style. Comme son nom l’indique, cela consiste à transférer le style d’une image sur une autre.

roots

Les mascottes de l'Atelier redessinées d’après “Roots” de Kirell Benzi

Pour réaliser une nouvelle œuvre, il nous faut combiner ces deux images en fonction des informations qui les définissent. Ces informations seront appelées caractéristiques puisqu’elles constituent les attributs distinctifs ou spécifiques d’une image. Elles peuvent décrire les couleurs spécifiques d’une image ou bien la définition des formes.

Il existe de nombreuses méthodes permettant d’effectuer le transfert de style, mais voici par exemple, le fonctionnement global des modèles dit “feedforward”. Appelés ainsi car ils sont entrainés pour cette tâche et peuvent être réutilisés. Explications :

  1. Nous utilisons un réseau de neurones qui va avoir comme tâche de générer une nouvelle image à partir de l’image dont on souhaite retrouver les formes principales. (Notre peintre amateur).
  2. Nous utilisons alors un autre réseau de neurones, qui lui, est entraîné à reconnaître des objets (notre grand peintre). La particularité de ce réseau de neurones savant est qu’il est capable d’extraire les caractéristiques des images qui lui sont soumises. Il va donc pouvoir nous fournir les éléments spécifiques de l’image dont on souhaite retrouver le style, ainsi que ceux de l’image dont on souhaite retrouver l’aspect.
  3. Avec ces informations, le réseau générateur d’image va pouvoir prendre en compte d’une part les différences entre l’image générée et l’image de style et d’autre part les différences entre l’image générée et l’image de contenu. Il va donc pouvoir établir les changements à effectuer afin de réduire au maximum ces différences et donc améliorer la qualité de l’image finale.

Designed by ekino

Au cours de mes recherches à l’Atelier (Pôle recherche et prospective d’ekino), je suis tombé sur un article très intéressant nommé « Universal Style Transfer via Feature Transforms ».

Publié en novembre 2017 par une équipe de l’université californienne Merced, ce document décrit comment mettre en place un modèle capable de recréer le style de n’importe quelle peinture, œuvre ou design en un temps très réduit.

En nous inspirant de ce travail, nous avons pu développer une nouvelle expérience de photobooth, qui permet de plonger dans l’œuvre d’un artiste en devenant soi-même le personnage principal.

vivatech 0

Présentée en partenariat avec Artify à VivaTech 2019, le visiteur se présente devant une caméra et peut observer sa transformation en œuvre d’art sur un écran de très haute résolution (4K). Nous avons pu recréer des centaines d’oeuvres inspirées de « la Joconde » de Léonard De Vinci ou encore « Les formes circulaires » de Robert Delaunay, permettant ainsi aux visiteurs de plonger dans n’importe quel tableau.

0033 0031

Qu’il s’agisse d’un algorithme d’aide à la décision pour une entreprise du CAC 40 ou d’un assistant vocal à qui l’on confie sa liste de courses, l’intelligence artificielle fait désormais partie de notre langage commun. Très connue pour ses performances dans le monde de la data science, ce type d’expérience prouve que l’IA peut également faire ses preuves dans le domaine artistique et surprendre l’utilisateur en créant de l’émotion. A l’instar du Data Art de Kirell Benzi, le Style Transfer permet une nouvelle fois de mêler la technologie et l’art. Un mouvement rendu possible grâce à la progression des technologies et la grande place accordée au digital. Une opportunité déjà saisie par les professionnels de l’événementiel qui voient dans le Style Transfer ou le Data Art un moyen de proposer des expériences inédites à leurs visiteurs.

Qui a dit que les mathématiques n’étaient qu’une flopée de nombres et de lettres ?!