**Traitement de géométrie en espace texture**
# Objectifs du stage
En modélisation géométrique, une approche efficace pour la
représentation d'objets complexes est de se baser sur une
paramétrisation d'une géométrie simple à laquelle différentes
modifications géométriques locales sont appliquées lors du rendu via
des textures (*normal map*, *displacement map*...), en plus des
textures liés à l'apparence de matière (couleur, *roughness*...).
Rapidement, la paramétrisation d'un objet associe à chacun de ses
triangles $T$ des coordonnées $(u,v)\in [0,1)^2$ à chacun de ses
sommets. L'enjeu lorsque l'on calcule une telle paramétrisation est
d'obtenir la transformation avec le moins de distorsion géométrique et
le moins de découpes possible (*e.g.* une paramétrisation $[0,1)^2$ de
la sphère nécessite au moins une découpe). La littérature est large sur
ce sujet, voir par exemple [#Springborn08] [#Soliman18]. Notez que
lors de la production de contenu 3D, la surface n'est pas
nécessairement simple topologiquement et plusieurs patchs de surfaces
peuvent être utilisées sur un même espace de paramétrisation.
Récemment, une approche générique permet de reformuler certains
opérateurs de traitement d'images (par exemple pour du débruitage) que
l'on appliquerait sur les textures de manière à obtenir un résultat
cohérent sur la surface [#Prada18]. Intrinsèquement, ces opérateurs corrige la
déformation métrique et opèrent de manière *seamless* au niveau des
découpes. La généricité des opérateurs permet de résoudre des
problèmes (variationnels) au-delà du simple traitement de l'image de
texture comme de la propagation en distance :
Dans l'équipe, nous avons proposé quelques approches variationnelles
permettant le traitement de géométrie en utilisant une formulation de
Mumford-Shah [#Coeurjolly16] [#Bonneel18]. Les objectifs du stage
sont les suivants :
* Reprendre les opérateurs génériques de [#Prada18] dans les cas d'usages précisés par les auteurs (code disponible https://github.com/mkazhdan/TextureSignalProcessing ).
* Utiliser ces opérateurs dans le contexte de la fonctionnelle de Mumford-Shah pour du débruitage lisse par morceaux dans l'espace des textures (cf [#Bonneel18]).
* Étendre ces outils pour le traitement des textures non-scalaires comme la *normal map* et la *displacement map* (cartes vectorielles plutôt que couleur par canal RGB).
Ce dernier point est clairement la partie la plus exploratoire du
sujet. Cela permettrait d'avoir des outils de traitement de champs de
vecteurs (tangents ou non) sur des surfaces uniquement sur la base de
l'espace des textures sans distorsion ni discontinuité sur les
découpes, et surtout sur des surfaces définies par une union de
patchs.
Alternativement, on pourra également s'intéresser aux approches
*self-prior* [#Ulyanov18] pour résoudre des problèmes inverses en
traitement d'images. Plus spécifiquement, on pourra chercher à adapter
ces outils au cas des textures (avec déformation et découpe).
# Détails
Le stage se déroulera au sein du laboratoire LIRIS (bat. Nautibus).
**Encadrant** : [David Coeurjolly](http://perso.liris.cnrs.fr/david.coeurjolly) (LIRIS), [Jacques-Olivier Lachaud](http://www.lama.univ-savoie.fr/pagesmembres/lachaud/People/LACHAUD-JO/person.html) (LAMA)
**Compétences requises** : C++, cmake, git, UEs d'image, d'analyse et
de modélisation géométrique.
**Période** : février-juillet.
# Références
[#Springborn08]: Springborn, Boris, Peter Schröder, and Ulrich
Pinkall. "Conformal equivalence of triangle meshes." ACM Transactions
on Graphics (TOG). Vol. 27. No. 3. ACM, 2008.
[#Soliman18]: Soliman, Yousuf, Dejan Slepčev, and Keenan Crane. "Optimal cone singularities for conformal flattening." ACM Transactions on Graphics (TOG) 37.4 (2018): 105.
[#Prada18]: Prada, Fabián, et al. "Gradient-domain processing within a texture atlas." ACM Transactions on Graphics (TOG) 37.4 (2018): 154.
[#Bonneel18]: Nicolas Bonneel, David Coeurjolly, Pierre Gueth,
Jacques-Olivier Lachaud. Mumford-Shah Mesh Processing using the
Ambrosio-Tortorelli Functional. Computer Graphics Forum (Proceedings
of Pacific Graphics), 37(10), October 2018. https://perso.liris.cnrs.fr/david.coeurjolly/publications/bonneel18AT.html
[#Coeurjolly16]: David Coeurjolly, Marion Foare, Pierre Gueth,
Jacques-Olivier Lachaud. Piecewise smooth reconstruction of normal
vector field on digital data. Computer Graphics Forum (Proceedings of
Pacific Graphics), 35(7), September 2016. https://perso.liris.cnrs.fr/david.coeurjolly/publications/coeurjolly16pg.html
[#Ulyanov18]: Dmitry Ulyanov, Andrea Vedaldi, Victor Lempitsky,
Deep Image Prior
CVPR 2018