D'une IA américaine à une IA européenne

Dans la suite, j'utilise le terme "IA" pour désigner les recherches basées sur le deep learning. En général, l'IA inclut d'autres approches symboliques et en apprentissage statistique, mais ces approches sont bien implantées en Europe depuis de nombreuses années, et il n'existe pas de différence importante en terme de développement de ces approches entre les Etats-Unis et l'Europe. Par contre, les recherches en deep learning sont nettement dominées par les Etats-Unis et la Chine. On pourrait bien sûr se demander s'il est utile de développer ces méthodes en Europe, ou s'il n'est pas trop tard. Toutefois, au vu des performances et des succès récents du deep learning, nous devons faire un effort important pour, non pas "rattraper notre retard", car il serait vain de courir après l'état de l'art, mais pour viser directement la prochaine étape, les évolutions futures du deep learning.

Un changement de conviction nécessaire

De nombreux travaux théoriques sont menés aujourd'hui pour expliquer les bonnes performances du deep learning et tenter de mieux comprendre ce domaine: Tishby, Kawaguchi... Mais le deep learning est avant tout une science expérimentale: presque tous les progrès majeurs de ces dernières années ont été obtenus grâce à des efforts considérables menés en terme d'expérimentations. Or, une tradition française en recherche relègue les aspects expérimentaux à des considérations d'ingénierie qui ne méritent pas que l'on y dédie l'essentiel de nos efforts. Cette tradition constitue un frein important, car en deep learning, la théorie suit presque toujours la pratique; d'une certaine manière, le deep learning est une science qui dépasse nos capacités de formalisation actuelles, et une revalorisation des efforts expérimentaux par nos tutelles me semble indispensable. Mais ce n'est pas la transformation la plus importante à réaliser à mon avis.

Abaisser la barrière expérimentale

Débuter un nouveau sujet de recherche, accueillir un nouveau chercheur, former un nouvel étudiant en deep learning, est toujours très coûteux, difficile et chronophage, à cause de cette "barrière expérimentale" qu'il faut franchir. Il faut en effet, comme dans toute science expérimentale, mettre en place le "codebase" qui permette d'entraîner un modèle adapté au problème et aux données visés. Mais l'état de l'art avançant à une vitesse fulgurante, il ne suffit de "construire un code qui marche", mais il faut améliorer ce code jusqu'à l'amener au niveau de l'état de l'art, ce qui peut être extrêmement difficile, surtout lorsque cet état de l'art implique de combiner des ensembles de modèles entraînés sur des corpus de données gigantesques, comme c'est presque toujours le cas. Heureusement, les grandes entreprises qui ont conçu ces modèles ont l'habitude de les distribuer gratuitement, avec des examples de scripts pour les utiliser. Mais même ainsi, la tâche est titanesque car il existe plusieurs versions de chaque modèle disponibles, qui marchent plus ou moins bien selon les situations, et les scripts doivent toujours être adaptés aux conditions expérimentales particulières qui sont disponibles dans chaque Université (type de GPU, contraintes de calcul, règles de réservation, etc.). Il faut donc choisir certains modèles, les télécharger, réussir à les faire fonctionner dans chaque conditions particulières, tenter d'adapter les scripts lorsque les résultats ne sont pas à la hauteur, et souvent repartir à zéro avec un nouveau modèle. Et tout cela avant même de pouvoir implémenter nos propres recherches. Ce travail préliminaire, insupportablement long et difficile, constitue aujourd'hui le frein principal au développement de la recherche en IA dans le monde académique, qui ne dispose pas d'une armée d'ingénieurs pour le faire.

Pour abaisser cette barrière, la meilleure solution est de rationaliser ce travail préliminaire, en rassemblant et en partageant les connaissances et les bonnes pratiques accumulées dans chaque centre de recherche. Le partage doit être hiérarchique, sur deux niveaux: un niveau global, inter-université afin de s'échanger les "recettes" génériques qui marchent le mieux et accumuler le maximum de connaissances dans autant de contextes que possibles; et un niveau local, intra-université afin de proposer des solutions concrètes précises adaptées à chaque contexte. La solution est donc la constitution d'un réseau d'échange fédéré et dédié au deep learning.

Les réseaux européens existants

Aucun de ces réseaux n'offre actuellement de solution de bas niveau, telle que celle suggérée, pour les chercheurs en deep learning.