Apprentissage par renforcement : de la modélisation des processus neuraux aux applications robotiques by Medhi Khamassi (l’Institut des Systèmes Intelligents et de Robotique (UPMC))
L'activité phasique des neurones dopaminergiques est considérée depuis une quinzaine d'années comme le substrat neural de signaux d'erreur de prédiction de la récompense (RPE). Ces signaux se sont avérés très proches des signaux d'erreurs générés par les algorithmes d'apprentissage par renforcement (RL). De plus, de nombreuses études ont montré que les algorithmes RL permettaient de bien décrire l'apprentissage animal et humain pendant des tâches de conditionnement pavlovien. Ceci a conduit au développement d'un nombre croissant de modèles computationnels d'apprentissage par renforcement pour décrire les processus neuraux sous-jacents à ces apprentissages. La première partie de l'intervention présentera une introduction à ces modèles, à leur formalisme, et aux données montrant qu'ils permettent de bien décrire certaines activités cérébrales liées à l'apprentissage.
Toutefois, ces modèles d'apprentissage par renforcement commencent à montrer leurs limites, dont l'une est celle du passage à l'échelle, dans le monde réel. Lorsque l'on sort du cadre des simulations parfaites et simplifiées des tâches de laboratoire et que l'on se place dans le cadre de l'interaction réaliste d'un robot avec son environnement, on se rend compte que ces algorithmes ont beaucoup de mal à faire face au bruit, à l'incertitude, aux délais. L'application de ces modèles d'apprentissage au contrôle d'un robot montre que pour réussir à obtenir une bonne performance du robot, il faut faire en plus des hypothèses sur l'interaction de ces modèles avec d'autres systèmes d'apprentissage et avec d'autres processus cognitifs tels que la perception, la cartographie, la navigation. Je montrerai en particulier comment des algorithmes combinant deux types d'apprentissage, dits model-free et model-based, permettent de donner une meilleure performance comportementale au robot et d'expliquer également un plus grand nombre de données expérimentales, en particulier dans des tâches de navigation.
