Un agent, biologique ou artificiel, capte son état interne ainsi que celui de son environnement grâce à des senseurs. Ces derniers fournissent des informations relevant de plusieurs sens (proprioception, vision, audition, ...). Au sein de chaque sens, plusieurs types d'informations modales peuvent être transmises (par exemple la couleur, la vitesse ou encore la forme pour la vision). Dans mon travail, l'unification de différentes informations modales artificielles s'inspire des expériences psychologiques et des théories sensori motrices. Elle se fonde sur la détection de corrélations dans le stimulus multimodal courant. Une corrélation est un motif spatial apparaissant régulièrement dans le flux d'entrée. Une corrélation est dite monomodale (respectivement multimodale) si le motif est inclus dans une (respectivement plusieurs) modalité(s).
Cette thèse propose des principes fonctionnels pour le traitement multimodal de l'information qui ont aboutit à l'architecture connexionniste, générique, modulaire et cortico-inspirée SOMMA (Self-Organizing Maps for Multimodal Association). Dans ce modèle, le traitement de chaque modalité s'effectue au sein d'une carte corticale. L'unification multimodale de l'information est obtenue par la mise en relation réciproque de ces cartes. L'apprentissage de l'espace des corrélation du flux d'entrée s'appuie sur un échantillonnage de cet espace et sur la généralisation de ces échantillons. Cet échantillonnage et cette généralisation reposent sur une auto-organisation contrainte des cartes.
Le modèle SOMMA est caractérisé par un apprentissage progressif de ces propriétés fonctionnelles: les propriétés monomodales amorcent l'émergence des propriétés multimodales et, dans le même temps, l'apprentissage de certaines corrélations par chaque carte est un préalable à l'auto-organisation de ces cartes. Par ailleurs, l'utilisation d'une architecture connexionniste et d'un apprentissage continu et non supervisé fournit au modèle des propriétés de robustesse et d'adaptabilité qui sont généralement absentes des approches informatiques classiques.