Open the black box: exploration de réseaux de neurones à l'aide de règles robustes

Thèmes : XAI, Machine Learning, Data Mining, Deep Learning

Encadrant(s) : Marc Plantevit

Laboratoire : LIRIS

Equipe : DM2L

Les réseaux de neurones profonds (DNN) offrent dans bien des contextes applicatifs les meilleures performances de l'état de l'art. Cependant de nombreuses questions restent largement éludées : Comment perçoivent-ils le monde (e.g., les données) ? Comment les neurones fonctionnent de concert ? Bien qu'il existe une pléthore de méthodes pour expliquer les réseaux de neurones, la plupart se concentrent sur des liens entre l'entrée et la sortie (e.g., distillation) ou ne caractérisent que les neurones individuellement au sein du réseau (e.g. prototyping)

L'objectif de ce projet est développer une méthode expliquant comment les neurones dans le réseaux interagissent. Pour cela, nous nous interesserons à l'activation des neurones sur un (ou plusieurs) jeu de données et caractériserons ces activations en terme de règles.

* Étude de l'existant;
* Proposition et implémentation d'une méthode;
* Étude expérimentale de la méthode

Selon l'avancée du projet, on pourra essayer de comparer différents modèles

• Amina Adadi and Mohammed Berrada. Peeking inside the black-box: A survey on explainable artificial intelligence (xai). IEEE Access, 6:52138–52160, 2018.
• Lingyang Chu, Xia Hu, Juhua Hu, Lanjun Wang, and Jian Pei. Exact and consistent interpretation for piecewise linear neural networks: A closed form solution. CoRR, abs/1802.06259, 2018. URL http://arxiv.org/abs/1802.06259.
• Nicholas Frosst and Geoffrey Hinton. Distilling a neural network into a soft decision tree. arXiv preprint arXiv:1711.09784, 2017.
• Wilhelmiina Hämäläinen. Kingfisher: an efficient algorithm for searching for both positive and negative dependency rules with statistical significance measures. Knowledge and information systems, 32(2):383–414, 2012.
• Jonas Fischer and Jilles Vreeken. Sets of robust rules, and how to find them. In Proceedings of the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD), Würzburg, Germany. Springer, 2019.

Ce projet est pertinent pour les étudiants désirant s'orienter vers les parcours de masters 2 DS, TIW, IA et éventuellement Image.