**Outils d’édition de nuages de points basés patchs** # Contexte du stage De nombreuses méthodes de traitement d'image s'appuient sur des notions de voisinages dans les images: des imagettes (*patches*) centrées autour d'un pixel de l'image qui permettent de calculer des statistiques sur le voisinage d'un point et de comparer des voisinages entre eux. Pour l'édition interactive d'images ou de vidéo, de nombreux outils basés sur ces patchs ont été proposés [#Criminisi2003],[#Barnes2009]. Ces méthodes permettent, par exemple, d'effacer des objets de l'image et d'inférer le contenu de l'image dans la zone effacée: c'est le problème de l'*inpainting* illustré dans la Figure ci dessous. Les méthodes d'inpainting basées patches utilisent des patchs existants dans l'image pour remplir itérativement la zone à reconstruire. L'idée sous-jacente est que l'ensemble des patchs d'une image naturelle est redondant: il existe de nombreux patchs très similaires. Cette idée a été vérifiée expérimentalement sur une base de données d'image [#Glasner09]. Au-delà de cette problématique d'*inpainting*, de nombreux outils de transformation d'images sont construits sur cette notion de mise en correspondance de patchs (voir [Barnes](http://gfx.cs.princeton.edu/pubs/Barnes_2009_PAR/index.php)).  En informatique géométrique et informatique graphique, une problématique récurrente est de fournir des outils d'édition et de manipulation de formes 3D (surfaces triangulaires, nuages de points). Au laboratoire, nous nous intéressons plus particulièrement à des outils mathématiques caractérisant localement des surfaces ou nuages de points [#Digne][#Bearzi2018] ou à traiter leur géométrie (débruitage, régularisation, reconstruction...) par des approches variationnelles [#Coeurjolly16] [#Bonneel18] ou des approches basées patches pour le débruitage [#Digne12] ou la compression [#Digne14]. ![Caractérisation locale d'un nuage de points sur une base de *wavejets* [#Bearzi2018]](img/wavejet.png)![Inpainting de triangulations par une formulation énergétique issue de [#Bonneel18]](img/ATinpainting.png) # Objectif du stage L'objectif du stage est d'étendre aux nuages de points, des outils de modélisation basés patchs. Plus spécifiquement, il s'agira : * de reprendre les descripteurs locaux de nuages de points (*e.g. wavejets*) pour la représentation compacte de patchs ; * de mettre en place les outils de ré-échantillonnage guidé par des caractéristiques de patchs ; * sans doute de mettre en place des outils de régularisation permettant le recollement de patchs lors de tâches *d'inpainting* ; * la mise en place d'outils d'interaction avec des nuages de points (sélection de région d'intérêt, de zone à ré-échantillonner,...) permettant d'évaluer les outils développés dans des contextes d'édition. # Informations complémentaires Le stage se déroulera au sein des équipes GeoMod et M2Disco du laboratoire LIRIS (bâtiment Nautibus, Villeurbanne), sous la direction de Julie Digne (julie.digne@liris.cnrs.fr) et David Coeurjolly (david.coeurjolly@liris.cnrs.fr). # Références [#Bearzi2018]: Yohann Béarzi, Julie Digne, and Raphaëlle Chaine. Wavejets: A local frequency framework for shape details amplification. Computer Graphics Forum, Proc. Eurographics 2018, 2018. https://liris.cnrs.fr/julie.digne/articles/wavejets.html. [#Barnes2009]: Connelly Barnes, Eli Shechtman, Adam Finkelstein, and Dan B Goldman. Patchmatch: A randomized correspondence algorithm for structural image editing. ACM Transactions on Graphics-TOG, 28(3):24, 2009. [#Bonneel18]: Nicolas Bonneel, David Coeurjolly, Pierre Gueth, Jacques-Olivier Lachaud. Mumford-Shah Mesh Processing using the Ambrosio-Tortorelli Functional. Computer Graphics Forum (Proceedings of Pacific Graphics), 37(10), October 2018. [#Coeurjolly16]: David Coeurjolly, Marion Foare, Pierre Gueth, Jacques-Olivier Lachaud. Piecewise smooth reconstruction of normal vector field on digital data. Computer Graphics Forum (Proceedings of Pacific Graphics), 35(7), September 2016. [#Criminisi2003]: Antonio Criminisi, Patrick Perez, and Kentaro Toyama. Object re- moval by exemplar-based inpainting. In Computer Vision and Pat- tern Recognition, 2003. Proceedings. 2003 IEEE Computer Society Conference on, volume 2, pages II–II. IEEE, 2003. [#Digne14]: Julie Digne, Raphëlle Chaine, and Sébastien Valette. Self-similarity for accurate compression of point sampled surfaces. Computer Graphics Forum, 33(2):155–164, 2014. Proceedings of Eurographics 2014. [#Digne12]: Julie Digne. Similarity based filtering of point clouds. In CVPR Workshops, pages 73–79. IEEE, 2012. [#Digne17]: Julie Digne, Sébastien Valette, and Raphaëlle Chaine. Sparse geometric representation through local shape probing. IEEE Transactions on Visualization and Computer Graphics, 2017. [#Glasner2009]: Daniel Glasner, Shai Bagon, and Michal Irani. Super-resolution from a single image. In IEEE ICCV, 2009.