Empowering Ambivalence

Supporting multiple interpretations in knowledge-based systems

Pierre-Antoine Champin

Habilitation à diriger des recherches

Université Claude Bernard Lyon 1

defended on 13/06/2017, before

• Deborah Estrin (Cornell Tech, USA)

• Fabien Gandon (INRIA Sophia Antipolis, FR)

• Dame Wendy Hall (University of Southampton, UK)

• Erik Mannens (Ghent Univsrity, BE)

• Alain Mille (Université Claude Bernard Lyon 1, FR)

• Barry Smyth (University College Dublin, IE)

Table of contents

• 1. Introduction
  • 1.1. Dynamics and ambivalence
  • 1.2. Structure of the dissertation
• 2. Experiential knowledge and trace-based systems
  • 2.1. Motivation
  • 2.2. A knowledge based approach for modeling and transforming digital traces
  • 2.3. Modeled-trace based systems
  • 2.4. Trace based reasoning
• 3. Trace based user assistance
  • 3.1. Trace based redocumentation
  • 3.2. Curating noisy experience
  • 3.3. Pro-active user assistance
• 4. Web and Semantic Web
  • 4.1. Putting Web traces to good use
  • 4.2. Ambivalence on the Web
  • 4.3. Rethinking Web application design
• 5. Multimedia annotation and hypervideo
  • 5.1. Advene and the Cinelab Data Model
  • 5.2. Videos and annotations as traces
  • 5.3. Hypervideos on the Web
• 6. A proposal for ambivalent semantics
  • 6.1. Terminology
  • 6.2. Syntax and semantics
  • 6.3. Congruence
  • 6.4. Ambivalence
• 7. Perspectives and conclusion
  • 7.1. Convergences
  • 7.2. Towards ambivalence-aware intelligent applications
  • 7.3. Re-decentralizing the Web
  • 7.4. Conclusion

• Annexes

• Index

Abstract

Building intelligent systems out of computers has been a continuous challenge for many computer scientists and developers. Among different paths to that goal, one that has been largely studied involves the explicit representation of knowledge, and the processing of those representations by generic reasoning engines. The advent of the Web, and then of mobile computing, has however dramatically changed the way we use computers, and with it our expectations of what such intelligent systems should be. It has also changed the means available to build them. The goal of this dissertation is to show how, in my work in the last ten years, I have been aiming at novel approaches to knowledge engineering, intending to tackle the new challenges and opportunities brought by the Web.

Knowledge-based AI has mostly developed on the premise that knowledge was rare, and as such should be made as stable as possible. A large part of our work has been trying to leverage the problems faced by any knowledge-based system when its context changes. Indeed, is not adaptability a core aspect of intelligence? But adaptive reasoning mechanisms must take into account, from the ground up, the dynamics of their knowledge base. It requires to embrace the fact that information is inherently ambivalent, that it acquires meaning (and hence becomes knowledge) only in the context of a particular problem or task. We have been pursuing a user-centered approach, where data collection and reasoning processes are as transparent as possible, and where meaning is not a pre-defined property of information, but negotiated and co-constructed with users.

I first present the theoretical framework that we have proposed to build knowledge-based systems exploiting activity traces. By capturing the inherent complexitiy of the user’s task, this kind of knowledge allows for multiple interpretations, and hence requires a special kind of reasoning as well. Then I present a number of our works focusing on assisting a users in her task. One way is to simply present her with her traces in order to help her remembering them and sharing them with others. Another way is to use traces to detect failures and errors, and make helpful proposals for completing the task. The next chapter describes our activity related to Web technologies and Web standards. I show how the foundations of the Web accommodates and even encourages ambivalent information. As such, it allows to bridge the gap between documents, data and knowledge representations. In the next chapter, I focus on a specific class of Web documents, namely hypervideos. I present the models and tools we have proposed to process hypervideos, centered on the notion of annotation, and flexible enough to allow the emergence of new usages.

Finally, in the last chapter, to synthesize all the presented works, I propose the groundwork of a theoretical framework for knowledge representation, aimed to cope with, and account for multiple interpretations. In other words, it is an attempt to formalize ambivalent information and the dynamic reasoning processes that use them, allowing to build systems to adapt to the users, rather than forcing the users to adapt to them.

Résumé

La construction de systèmes intelligents a toujours été un défi important pour les chercheurs en informatique et les développeurs. Parmi les différentes voies envisagées pour atteindre ce but, celle de l’ingénierie des connaissances a été largement explorée, visant à représenter explicitement en machine les connaissances humaines, afin de pouvoir les traiter automatiquement à l’aide de moteurs de raisonnement génériques. Avec l’essor du Web, puis de l’informatique mobile, notre manière d’utiliser l’outil informatique a radicalement changé, et avec elle nos attentes à l’égard de ces systèmes intelligents. Les moyens disponibles pour construire de tels systèmes ont, eux aussi, largement évolué. L’objectif de ce mémoire est de montrer comment, au cours des dix dernières années, mon travail a visé à proposer des approches innovantes d’ingénierie des connaissances, afin de répondre aux nouveaux défis et opportunités amenés par le Web.

Les approches orientées connaissances en IA se sont principalement développées sous l’hypothèse que les connaissances sont rares, et que pour cette raison elles doivent être rendues aussi stables que possible. Une grande partie de nos travaux a consisté à répondre aux problèmes rencontrés par les systèmes à base de connaissances dont le contexte évolue. En effet, l’adaptabilité n’est-elle pas un aspect fondamental de l’intelligence ? Mais les mécanismes de raisonnement adaptatifs doivent, dès leur conception, prendre en compte la dynamique des bases de connaissances. Ceci suppose d’accepter le fait que toute information est intrinsèquement ambivalente, qu’elle n’acquiert de signification précise (et donc ne devient connaissance) que dans le contexte d’un problème ou d’une tâche spécifique. Nous avons suivi une approche centrée utilisateur, où la collecte des données et les processus de raisonnement sont aussi transparents que possible, et où la signification n’est pas une propriété pré-définie de l’information, mais au contraire négociée et co-construite avec les utilisateurs.

Je présente tout d’abord le cadre théorique que nous avons proposé pour construire des systèmes à base de connaissances exploitant les traces d’activité. En capturant la complexité inhérente aux tâches de l’utilisateur, ce type de connaissances se prête à de multiple interprétations, et nécessite donc de nouveaux types de raisonnement. Je présente ensuite un certain nombre de nos travaux visant à assister un utilisateur dans sa tâche. Une manière de le faire consiste à simplement lui présenter ses traces, afin de l’aider à se les remémorer ou à les partager avec d’autres. Une autre manière consiste à utiliser les traces pour détecter les échecs et les erreurs, afin de lui suggérer comment mener la tâche à bien. Le chapitre suivant décrit nos activités autour des technologies et des standards du Web. Je montre comment les fondations du Web supportent, voire même favorisent, l’ambivalence de l’information. À ce titre, elles permettent de créer un continuum entre documents, données, et représentations des connaissances. Dans le chapitre suivant, je m’attache à une classe particulière de documents Web, à savoir les hypervidéos. Je présente les modèles et outils que nous avons proposés pour traiter les hypervidéos, centrés sur la notion d’annotation, et suffisamment flexibles pour permettre l’émergence de nouveaux usages.

Pour finir, en vue de synthétiser tous les travaux présentés, le dernier chapitre propose les fondations d’un cadre théorique pour la représentation des connaissances, permettant de prendre en compte et de gérer de multiples interprétations. En d’autres termes, cette proposition tente de formaliser les informations ambivalentes et les processus de raisonnement dynamiques qui les utilisent, afin de permettre la construction de systèmes s’adaptant aux utilisateurs, plutôt que de forcer les utilisateurs à s’adapter à eux.

Acknowledgments

I would first like to thank the members of my jury, for accepting to make space in their schedule, which I know to be more than very busy, and honoring me with their names on the cover of this thesis. Their trust and recognition is an invaluable encouragement to carry on.

The work presented here spans over a decade and a half, during which I had the pleasure to collaborate with many people from various institutions and backgrounds. Hopefully, all of them are duly mentioned in the following chapters. I would like to thank in particular Erik Wilde, who inadvertently helped me realize that the concept of ambivalence was the cornerstone which could hold this thesis together. Alain Mille and Yannick Prié have been long term companions, and I am immensely grateful for all the work done together. Their influence in these pages is tangible. I also want to thank Amélie Cordier, Nathalie Guin and Stéphanie Jean-Daubias, for fruitful and friendly collaborations, their help in coordinating the SILEX and TWEAK research groups over the years, and finally for their precious feedback on this document.

There are the people who contributed to the work presented in these pages; there are also the people who had nothing to do with it, and still had to endure my long endeavor of putting it in words. Marie-Pierre, Camil and Salomé, but also my parents and my parents in law, deserve much credit for their endless patience, understanding and support.

I is not another

Altough it is customary in a dissertation to ban “I” in favour of “we”, the reasons to do so are at best ambivalent, at worse ambiguous.

Many people were involved in the works related here and it was natural for me to use the plural to report the results produced with them. However, I didn’t want to bind them by more personal claims or interpretations, for which I saw no reason to avoid the use of “I”. In the last chapter, on the other hand, the use of “we” is more an invitation for the reader to follow me in my reasoning. Still, although the proposal in that last chapter is a more personal one, it owes a lot to a many people, probably more than I even realize.