Un bestiaire nocturne imaginaire, participatif, en réalités augmentée et virtuelle

MonstrAR est un outil de modélisation 3D et d’animation dérivé de Monster Mash Zone. Esquissez un personnage, donnez-lui du volume grâce à la 3D IAssistée, et animez-le tout simplement. Chaque étape est à réaliser dans la zone de dessin et aucune manipulation 3D n’est nécessaire.

Pour hybrider les thèmes étudiés par le projet de recherche-action Smart Noz avec des dimensions inédites entres sciences, arts et création, Les Chats Cosmiques et leur partenaire u2042 proposent MonstrAR, une expérience participative mêlant 2D/3D et AR/VR.

Le public est convié à explorer son rapport à la nuit et aux lumières artificielles par le biais de la création 2D/3D.
Objectif : concevoir une exposition participative expérimentale déambulatoire, diffusée en premier lieu du 20 au 23 mars 2024 sur le campus de l’UBO dans le cadre du Festival RESSAC et du colloque international qui clôture le projet Smart Noz.

Pour contribuer, vous avez le choix entre plusieurs solutions :

Prendre MonstrAR en main

Familiarisez-vous avec les fonctionnalités de base de MonstrAR en parcourant les trois courtes vidéos ci-dessous. Et consultez l’ensemble de cette page pour plus d’informations.

Nos modèles

Cliquez sur l'icône   pour Ouvrir un modèle préparé par nos soins et l'animer par vous-même.

Guide complet

1. Prise en main

Tout comme la version démo de Monster Mash, cette plateforme est en lien avec l’article de Dvorožňák et al. : Monster Mash : A Single-View Approach to Casual 3D Modeling and Animation publié sur ACM Transactions on Graphics 39(6):214 et présenté lors de la conférence SIGGRAPH Asia 2020. Le code source de la démo originale est disponible sous licence Apache-2.0. La démo est proposée gratuitement à des fins d’évaluation et de recherche.

1.1. Prérequis

MonstrAR est prévue pour fonctionner sur n’importe quelle plateforme, quel que soit le navigateur à condition qu’il soit récent, compatible avec WebAssembly & WebGL 1.0, et que votre appareil ait suffisamment de ressources. Si la démo se ferme brusquement, vérifiez les mises à jour de votre système d’exploitation et votre navigateur.

MonstrAR est prévu pour fonctionner sur les smartphones les plus récents, mais nous vous conseillons d’utiliser une tablette dotée d’un écran plus grand, l’interface actuelle n’ayant pas été optimisée pour les petits écrans.

Nous recommandons d’utiliser un stylet et une tablette pour une expérience optimale, mais vous pouvez aussi utiliser votre doigt ou votre souris d’ordinateur.

2. Les modes de création

L’outil propose quatre modes de création : Dessiner, Convertir en 3D, Animer et Transformer un modèle préexistant.

2.1. Mode Dessiner

Grâce au mode 1Dessiner, esquissez progressivement un personnage, une partie du corps après l’autre, en délimitant des zones individuelles. L’ordre dans lequel vous créez ces zones détermine leur profondeur respective dans l’espace 3D (à la manière des calques). Chaque délimitation est représentée par une seule courbe (ouverte ou fermée), créée avec votre stylet, votre doigt ou le bouton gauche de votre souris grâce à la séquence suivante : cliquer, glisser, relâcher. Les traits fermés délimitent des zones qui correspondent à la forme du corps du personnage. Les traits ouverts délimitent des zones reliées à d’autres (des membres, par exemple). L’espace vide est automatiquement fermé par une ligne droite, représentant une jointure le long de laquelle la zone nouvellement créée est attachée à une autre.

En plus de pouvoir dessiner des courbes, vous pouvez cliquer une fois dans la zone pour la sélectionner ou double cliquer dessus pour en faire une copie. Elle sera placée automatiquement en miroir derrière la zone dessinée. Les zones sélectionnées peuvent être supprimées à l’aide du bouton   situé dans le menu. Plusieurs zones peuvent être sélectionnées simultanément : cliquez et faites glisser le curseur jusqu’à ce que le rectangle de sélection recouvre les zones souhaitées.

Créons ensemble une créature simple. Commencez par esquisser la forme de base, puis ajoutez les membres et les yeux. Les membres doivent être reliés au corps. Il faut donc dessiner une courbe ouverte que MonstrAR fermera automatiquement. Pour obtenir des membres et des yeux de chaque côté du corps de votre créature, vous pouvez les dupliquer en double cliquant sur chacun d’eux.

2.2. Mode Convertir en 3D

Le mode 2Convertir en 3D vous permet de découvrir rapidement votre dessin en 3D. Faites-le pivoter en maintenant la molette de votre souris enfoncée ou déplacez-le en maintenant la touche Shift enfoncée. Si vous utilisez un stylet ou votre doigt ou si vous n’avez pas de molette de souris, il vous faudra activer le bouton   dans le menu. Vous pourrez alors utiliser la séquence cliquer-glisser-relâcher (avec le stylet, doigt ou bouton gauche de la souris) pour faire pivoter le personnage. Lorsque le bouton   est désactivé, vous pouvez jouer avec le modèle 3D : cliquez sur un membre afin de le sélectionner et faites-le bouger dans n’importe quelle direction.

2.3. Mode Animer

Après avoir sélectionné le bouton 3Animer, le modèle peut être animé en plaçant et déplaçant des points d’ancrage. Appuyez avec votre stylet, votre doigt ou le bouton gauche de votre souris pour créer un point d’ancrage. Faites glisser le curseur pour déplacer le point nouvellement créé. Un point d’ancrage peut être sélectionné en appuyant une fois dessus. Supprimez-le grâce au bouton   du menu. Vous pouvez créer un rectangle de sélection qui recouvre plusieurs points d’ancrage en cliquant puis en faisant glisser le curseur par-dessus.

Le mouvement d’anciens points d’ancrage peut être sauvegardé pour être répété conjointement à un nouveau mouvement et ainsi proposer une animation plus complexe. Pour lancer l’enregistrement, appuyez sur le bouton   (ce dernier devient rouge). L’enregistrement commence dès que vous appuyez avec votre stylet, votre doigt ou le bouton gauche de votre souris et s’arrête dès que vous relâchez. L’animation peut être mise en pause ou relue en appuyant sur les boutons   et  .

Le système fait appel à une stratégie simplifiée permettant la synchronisation des mouvements. Le premier mouvement enregistré détermine la longueur du cycle d’animation de votre création. Le point d’ancrage correspondant à ce mouvement, appelé point d’ancrage principal, est vert. Un point noir indique la position de la première image du mouvement principal sur la trajectoire de chaque mouvement enregistré. Lorsque vous commencez l’enregistrement du mouvement d’un nouveau point d'ancrage, ce mouvement commencera à l’image d’animation du mouvement du point d’ancrage principal. Vous pouvez ajuster la position relative d’un point d’ancrage grâce aux touches + et - de votre clavier.

3. Créer/Ouvrir/Sauvegarder/Exporter un projet

La démo s’ouvre avec un projet vierge. Vous pouvez toujours revenir à un projet vierge en appuyant sur le bouton   du menu principal. Pour ouvrir un projet préparé par nos soins, appuyez sur le bouton   ce qui vous permet d'ouvrir l'un des modèles situés en haut de cette page d’aide.

Vous pouvez également sélectionner une Texture (à l'aide de l'option   du bouton ), sur laquelle vous pourrez ensuite effectuer des tracés.

Exporter l’animation Vous pouvez exporter l’intégralité de votre animation texturée au format glTF (fichier .glb). Ce format vous permet d'importer vos créations 3D dans différents logiciels de modélisation 3D, notamment Blender. Pour utiliser cette fonctionnalité, cliquez sur le bouton  Télécharger. Exporter une animation trop volumineuse depuis MonstrAR risque de surcharger la mémoire du logiciel et de le faire planter. Ensuite, vous pouvez importer votre fichier exporté dans une version récente de Blender. Une fois votre fichier importé, assurez-vous d'activer l'affichage de la texture dans le menu Viewport Shading de Blender. Chaque image d’animation est exportée en tant que Morph Targets, convertie ensuite en Shape Keys dans Blender. Remarque : l'animation obtenue est basée sur les sommets, c'est-à-dire qu'il s'agit d'une animation par images clés dont les sommets correspondent individuellement à un maillage (contrairement à une animation traditionnellement basée sur un squelette).

4. Visualiser votre créature en AR/VR

En cliquant sur le bouton  Exporter AR/VR, vous pouvez directement visionner votre créature en réalité augmentée ou en réalité virtuelle pour peu que vous ayiez utilisé un terminal compatible avec l'une ou l'autre.

5. Touches de la souris

		Mode Dessiner : Cliquer puis déplacer : Tracer le contour de la forme de base ou d’un élément placé devant celle-ci. Clic simple : Sélectionner l’élément le plus proche du curseur de la souris et en profondeur. Maj enfoncée + Clic : Ajouter un élément à la sélection ou retirer un élément de la sélection. Double clic : Dupliquer et faire reculer un élément afin qu’il se trouve derrière les autres éléments dessinés. Mode Convertir en 3D : Cliquer puis déplacer : Déplacer l’élément le plus proche du curseur de la souris et en profondeur. Mode Animer : Clic simple : (a) Créer un point d'ancrage sur l’élément le plus proche du curseur de la souris et en profondeur, ou (b) sélectionner un point d'ancrage existant sur l’élément le plus proche du curseur de la souris et en profondeur. Maj enfoncée + Clic : Ajouter un point d’encrage existant à la sélection ou retirer un point d’encrage existant de la sélection. Cliquer puis déplacer : Créer un nouveau point d’encrage et l’animer, ou sélectionner et animer un point d'ancrage existant.
		Mode Convertir en 3D et Animer : Appuyer sur la molette puis déplacer : Pivoter le modèle 3D (ou rotation 360° en maintenant la touche Shift enfoncée).
		Le clic droit de la souris exécute les mêmes actions que le clic gauche, à quelques exceptions près : Il permet de tracer derrière des éléments déjà dessinés. Il permet de sélectionner l'élément le plus éloigné en profondeur. Il permet de créer un nouveau point d'ancrage ou d’en sélectionner un déjà existant sur l’élément le plus éloigné en profondeur. Il permet de dupliquer et faire avancer un élément afin qu’il se trouve devant les autres éléments dessinés.

6. Raccourcis clavier

N		Lancer un nouveau projet.
1		Basculer en Mode Dessiner.
2		Basculer en Mode Gonfler.
3		Basculer en Mode Animer.
E		Débuter ou arrêter l’enregistrement de l’animation. L'enregistrement de la position d'un point d'ancrage débute dès que vous cliquez sur celui-ci et se termine lorsque vous le relâchez.
Espace		Lire ou mettre en pause l’animation.
Ctrl + C		Copier une animation sélectionnée.
Ctrl + V		Coller une animation sur tous les points d’ancrage sélectionnés.
Échap		Désélectionner tous les éléments ou tous les points d'ancrage.
Suppr ou Retour arrière		Retirer un élément, une animation ou un point d’ancrage sélectionné.
+		Démarrer l'animation du point d'ancrage plus tard dans le temps.
−		Démarrer l'animation du point d'ancrage plus tôt dans le temps.
Pg Suiv		Faire avancer d’un cran les calques sélectionnés en termes de profondeur.
Pg Préc		Faire reculer d’un cran les calques sélectionnés en termes de profondeur.
Début		Avancer les calques sélectionnés au premier plan.
Fin		Reculer les calques sélectionnés à l’arrière-plan.

Faites-nous un retour

Les créateurs de Monstermash Zone, application dont est tirée MonstrAR, ont créé un forum pour permettre aux utilisateurs de discuter des fonctionnalités, et de partager leur avis sur l’outil ainsi que leurs créations. Pour rejoindre leur communauté, suivez le lien forum.monstermash.zone. Le code pour rejoindre le forum est .

Vous pouvez également contacter l'association Les Chats Cosmiques pour proposer des implémentations ou des améliorations sur l'application MonstrAR elle-même.

Différences entre MonstrAR et MonsterMash Zone

Récupération du code source	u2042 a récupéré le code source de la plateforme Monstermash.zone depuis le github des auteurs. La version proposée ici après modifications est la V. 230913 et non pas la dernière en date (v. 230112). Par conséquent, deux fonctionnalités manquent dans notre version : l'import de fichiers sources pour la création de masques 2D > 3D et l'optimisation des calculs liés aux “trous” dans les masques 2D importés.
Suppression d'autres fonctionnalités	MonstrAR étant 100% réservé à la collecte d'un bestiaire nocturne imaginaire IAnimé dans le cadre de travaux expérimentaux, nous nous sommes permis de supprimer certaines fonctionnalités proposées par Monstermash Zone : enregistrement de projets et réimport de projets déjà enregistrés ; import d'images en arrière-plans ; redessiner pour corriger un dessin ; configurer certaines options.
Intégration de modèles 2D préparés	Pour encourager la création avec des publics moins rôdés au dessin et les premiers contacts avec MonstrAR, nous avons créé une fonctionnalité permettant de récupérer des modèles de créatures "types". L'objectif ici est entre autres de faciliter l’animation auprès des jeunes publics ou en temps contraint.
Intégration de textures préparées	Pour vous encourager à personnaliser votre créature et à vous projeter sur son histoire et le narratif qui lui serait associé, nous vous proposons des textures “émotionnelles”, des camouflages et des tests expérimentaux pour mieux habiller vos créatures et leur permettre de se fondre, ou au contraire de briller la nuit.
Export vers un viewer compatible AR/VR	u2042 a également modifié le code source pour ajouter une fonction d’export permettant de visualiser directement les créations sur un “web viewer”, avec une gestion de la transparence des textures, à la fois : en 3D “de base” (avec contrôles de base : tourner, zoomer) ; en réalité augmentée (sous réserve de terminaux compatibles nativement ou d’applicatifs permettant auparavant la visualisation comme l’app WebXR pour iOS (deprecated), vigilance sur l’obsolescence des terminaux Android) ; en réalité virtuelle (au travers de navigateurs Web compatibles comme Firefox Reality ou Oculus Browser).
Autres modifications diverses	Afin d'améliorer la compatibilité des exports glTF/glb avec d'autres applications (Blender, Sketchfab, etc.) et la gestion de la transparence des textures, u2042 a renormalisé les specs natives de l’export glTF de Monstermash Zone. Cela nous permet notamment une meilleure intégration directe dans des applicatifs tiers comme BavAR[t], partenaire de l'expérimentation.
Récupération de vos modèles (avec votre consentement)	Vous pouvez librement télécharger votre modèle 3D en format glTF/glb pour le récupérer et l'envoyer vers d'autres applications. Si vous souhaitez visualiser votre modèle en 3D par l'intermédiaire de notre Web viewer, vous acceptez toutefois que votre création bascule sur un serveur dédié qui a été configuré pour cela et que nous portions la responsabilité de l'héberger (quitte à devoir le modérer). u2042 a en effet créé un espace de stockage dédié afin de conserver une trace des créations des utilisateurs et de les récupérer si besoin est, l'objectif étant de pouvoir les partager au travers d'expositions à certains moments clés du projet MonstrAR.
Intégration d'un formulaire de collecte d'informations concernant vos créations	Au moment de visualiser votre créature, un questionnaire vous est donc proposé afin de faciliter des passerelles avec ces expositions, y compris pour de la réalité augmentée géoréférencée. Si vous acceptez de nous envoyer vos réponses à ce questionnaire, vous nous accordez votre consentement pour ces applications et la diffusion de votre création sous une licence de partage non privative (CC-BY-SA).
Intégration d'un formulaire de collecte d'informations concernant vos créations	Au moment de visualiser votre créature, un questionnaire vous est donc proposé afin de faciliter des passerelles avec ces expositions. Si vous acceptez de nous l'envoyer, vous nous accordez votre consentement pour ces applications avec une licence de partage non privative (CC-BY-SA). SI vous acceptez de nous laisser votre adresse mail, il n'en sera fait aucun usage commercial, il s'agit de vous informer d'éventuelles expositions intégrant votre création.
Création de thumbnails (vignettes) et d'un mode galerie	Enfin, u2042 a facilité la valorisation directe des créations des utilisateurs par la création automatisée de vignettes et leur mise en galerie. Vous pourrez les retrouver depuis la page d'accueil du projet, sous réserve de ne pas avoir fait l'objet d'une modération pour des motifs éthiques.

Anciennes versions

• 2103192337

Source originale : Monster Mash v.