Géométrie et vision

Géométrie et vision

26-31 octobre 1993

par Bernard Teissier

Participants :

Elie Bienenstock (Brown University, Providence, USA), Olivier Faugeras (INRIA, Sophia-Antipolis, France), Stéphane Mallat (New York University, USA), Jean-Michel Morel (Centre de recherches en mathématiques de la decision, Université Parix IX Dauphine, France), Jean Petitot (EHESS, Paris), Bernard Teissier (ENS Paris), Gérard Toulouse (ENS Paris), Yves-Marie Visetti (CNRS, Paris)

 

Compte rendu

Depuis une dizaine d’années, de grands progrès ont été accomplis dans la modélisation des processus cognitifs. Les sciences cognitives, qui étaient naguère préférentiellement liées aux disciplines psychologiques et biologiques, se sont de plus en plus rapprochées des sciences physiques et mathématiques.

Ces nouvelles orientations posent à la fois des problèmes techniques (de physique statistique, de géométrie, de théorie des systèmes dynamiques, entre autres) et des problèmes épistémologiques, qui sont des formes contemporaines de la question traditionnelle des liens entre esprit et matière.

Le but de l’atelier était d’essayer de dégager un certain nombre d’axes pour clarifier et favoriser l’implication des sciences dures. La réflexion devait porter de façon privilégiée sur les modèles de la perception visuelle et la comptabilité des différents modèles de cognition avec les données expérimentales des neurosciences.

Selon les conclusions de ce groupe de travail, une réunion plus formelle, par exemple sous forme de cours donnés à des doctorants en sciences cognitives, aura lieu ultérieurement.

Déroulement du colloque

Mardi : Vision (exposés : S. Mallat et J.-M. Morel).

Mercredi : Perception, linguistique (f. Petitot, Y.-M. Visetti).

Jeudi : Géométrie et vision (O. Faugeras, B. Teissier).

Vendredi : Réseaux de neurones (E. Bienenstock, G. Toulouse).

Samedi : Synthèse.

(Exposés le matin, discussions en fin d’après-midi)

 

Exposé d’Elie Bienenstock

Première partie : Le problème de la compositionalité dans les réseaux de neurones

En sciences cognitives, le terme de compositionnalité désigne notre faculté de construire des représentations de façon hiérarchique, à partir d’objets et de relations entre ces objets. Le langage est la fonction compositionnelle par excellence, mais la perception fournit également de nombreux exemples de compositionnalité.

La représentation neurale d’une entité composite doit en principe inclure les représentations des constituants de cette entité, ainsi qu’une représentation explicite de la façon dont ces constituants sont liés entre eux. Il est, par conséquent, nécessaire d’imaginer un mécanisme neuronal de liage entre les états d’activité d’un réseau de neurones et il est souhaitable que ce mécanisme soit compatible avec les modèles habituels de mémoire associative.

Certains auteurs (par exemple Fodor et Pylyshyn, 1988) considèrent qu’il y a une difficulté de principe à résoudre le problème de la compositionnalité en termes de mécanismes neuronaux. Pourtant, certains éléments de solution existent. La plupart des travaux récents sur ce sujet s’inspirent des idées de von der Malsburg (1981) sur l’utilisation des corrélations temporelles fines entre neurones.

Ainsi, le mécanisme de liage peut prendre la forme d’une synchronisation entre oscillateurs neuronaux, comme dans le modèle de raisonnement réflexif de Shastri et Ajjanagadde (1993) ou dans le modèle de reconnaissance de formes de Hummel et Biederman (1992).

Cependant, ces modèles restent assez limités : leur architecture est rigide et ils apportent peu de réponses aux questions concernant le développement et l’apprentissage. Dans une approche épigénétique, plus conforme aux idées de von der Malsburg, on peut s’intéresser aux développements de configurations d’activités spatio-temporelles susceptibles de fournir un support à un comportement compositionnel.

Les circuits en chaînes (synfire chains) proposés par Abeles (1991) constituent un excellent candidat (Bienenstoek, 1991). Ces chaînes sont le siège d’ondes qui se reproduisent avec une précision de l’ordre de la milliseconde. Les données recueillies par Abeles dans le cortex frontal de primates éveillés suggèrent que ces événements neuronaux sont effectivement utilisés par le cerveau. De telles structures pourraient être liées par des couplages synaptiques faibles, qui induiraient une synchronisation de leur activité, à l’instar d’une synchronisation entre oscillateurs couplés. Cette hypothèse fait actuellement l’objet de travaux analytiques et numériques.

Bibliographie pour la première partie

– Abeles, M. (1991), Corticonics: Neuronal circuits of the cerebral cortex, Cambridge University Press.

– Bienenstoek, E. (1991), Notes on the growth of a composition machine, in Proceedings of the Royaumont Interdisciplinary Workshop on Compositionality in Cognition and Neural Networks (D. Andler, E. Bienenstoek and B. Laks, Eds.), p. 25-43.

– Fodor, J.A. and Pylyshyn, Z. W. (1988), Connectionism and cognitive architecture: a critical analysis, Cognition, 28 : 3-71.

– Hummel, J. E. and Biederman, I. (1992), Dynamic binding in a neural network for shape recognition, Psychological Review, 99 :480-517.

– Shastri, L. and Ajjanagadde, V. (1993), From simple associations to systematic reasoning: A connectionist representation of rules, variables and dynamic bindings, Behavioral and Brain Sciences, 16 :4l7-494.

– von der Malsburg, C. (1981), The correlation theory of brain function, Technical Report, Max Planck Institute of Biophysical chemistry, Department of Neurobiology, Goettingen, Germany.

 

Seconde partie : comportement critique dans un réseau de neurones autorégulé

Le développement ontogénétique de notre appareil cognitif se traduit en particulier par un processus permanent d’émergence et de différentiation de catégories. La modélisation de ce processus peut être abordée en faisant l’hypothèse qu’une régulation neuronale maintiendrait la dynamique du système nerveux au voisinage d’une criticalité, ou transition de phase. Un tel comportement critique peut être induit par une règle de plasticité synaptique du type covariance, dans un réseau constitué d’une population de neurones excitateurs et d’une population de neurones inhibiteurs. De tels réseaux, avec poids synaptiques uniformes, possèdent deux catégories d’attracteurs : points fixes et cycles limites ; la règle de covariance conduit et maintient le système au voisinage d’un point de transition entre ces deux régimes. Les paramètres du système s’ajustent de façon à produire un comportement hautement sensible à certaines perturbations ; en particulier, un champ extérieur très faible suffit à découpler, de façon arbitraire, la population de neurones excitateurs en deux sous-populations, l’une active, l’autre inactive.

Exposé d’Olivier Faugeras

Cet exposé a porté sur la stratification des problèmes de vision tridimensionnelle au travers des géométries projective, affine et euclidienne. Il a montré comment des correspondances entre deux images permettent de construire une représentation projective de la scène observée, c’est-à-dire définie à une homographie de P3 près. L‘apprentissage du plan à l’infini, par exemple, en translatant les caméras, permet de passer ensuite à une représentation affine. La métrique peut enfin être estimée en effectuant des mouvements quelconques et en utilisant le fait que l’image de l’ombilic est invariante. Il a ensuite présenté, dans le même ordre d’idées, des résultats préliminaires afin d’élaborer un espace d’échelle projectif pour des courbes planes. L’idée est de déformer les courbes en utilisant une équation de la chaleur intrinsèque définie à partir de l’abscisse curviligne projective.

Exposé de Stéphane Mallat

Pour une large catégorie de signaux, l’information importante est contenue dans les phénomènes transitoires et les singularités. Il est souvent suffisant de dessiner les contours correspondant aux discontinuités d’intensité d’une image pour reconnaître les structures principales. La transformée en ondelettes permet de détecter et de caractériser localement les singularités et les propriétés des phénomènes transitoires. De nombreuses applications ont déjà été développées en traitement de la parole et de la vision par ordinateur. Lorsque le signal comporte des structures très diverses et complexes, il n’est cependant pas suffisant de le décomposer dans une base bien choisie, pour facilement analyser l’information qu’il contient. Il est alors nécessaire d’utiliser des dictionnaires de fonctions beaucoup plus redondants que des bases, permettant d’adapter la représentation du signal aux structures internes qu’il contient. Les non-linéarités de ce type de transformée adaptives soulèvent de nombreux problèmes mathématiques et numériques qui sont actuellement étudiés pour le traitement de la parole et de l’image.

Exposé de Jean-Michel Morel

L’exposé a montré comment l’analyse mathématique et axiomatique permettait d’unifier les modèles de perception visuelle et de traitement d’images connus sous le nom de scale spaces ou modèles multi-échelles. Cette analyse fournit des modèles nouveaux et conduit à un unique modèle optimal. Ce modèle a permis à Christian Lopez et à Jean-Michel Morel de discuter l’analyse axiomatique de la discrimination de textures proposée il y a plusieurs années par le psycho-physicien Bela Julesz. Ils ont montré que la théorie de Julesz, appliquée à la lettre, fournit un algorithme avec des propriétés hyperdiscriminantes. Il a esquissé la relation entre les modèles multi-échelles et les modèles neuronaux multicouches en discutant quelles propriétés de localité et de non-localité devait posséder un tel réseau pour rendre compte de la capacité humaine de discrimination préattentive de texture. Le résultat est que tout se passe comme si la non-localité du réseau n’était utilisée qu’à des fins inhibitrices.

Jean-Michel Morel a déclaré à propos du colloque : ‘J’ai été passionné par toutes les autres interventions : quand un mathématicien explique pour un mathématicien une autre discipline qu’il connaît bien, c’est beaucoup plus évident que lorsque l’explication provient d’un spécialiste, et l’information utile pour élaborer des modèles ressort clairement. J’ai obtenu des éléments d’informations importants sur les modes de transmission dans le cerveau ; on m’a présenté des problèmes classiques de géométrie liés à la théorie de la vision, et les exposés et discussions sur les modes d’activité neuronale et leur interprétation ont été très suggestifs. Des réunions de ce type avec un public de jeunes chercheurs seraient d’une extrême utilité.”

Exposé de Jean Petitot

La contribution a porté sur la généralisation d’algorithmes perceptifs au problème de la constituance syntaxique.

Les grammaires cognitives (R. Langacker, L. Talmy, R. Jackendoff, G. Lakoff, etc.) ont montré que les structures syntaxiques des langues naturelles (et en particulier les universaux casuels qui sont à la base des conceptions actancielles de la grammaire) sont profondément enracinées dans la structure de la perception visuelle. Elles en constituent un niveau supérieur de schématisation et d’abstraction.

Cela conduit à une thèse – celle de l’hypothèse dite localiste — qui affirme que les structures actancielles s’enracinent dans une syntaxe topologique de relations entre positions spatiales. Cette thèse rejoint une idée fondamentale de René Thom. Elle est confirmée linguistiquement, perceptivement et cognitivement par de très nombreux résultats.

Le problème est alors de savoir comment on peut généraliser des algorithmes d’analyse de structures spatiales, qui sont bien attestés au niveau de la perception, de façon à en faire des analyseurs syntaxiques. L’idée est de traiter des configurations de positions comme des formes et de montrer qu’une analyse morphologique peut se prolonger en une analyse syntaxique i.e., en une analyse de la constituance des configurations et de son évolution temporelle.

L’exposé est parti d’algorithmes perceptifs, en insistant sur la théorie des réseaux d’oscillateurs sur laquelle reposent actuellement certaines des meilleures conceptions neurophysiologiques des problèmes de constituance en général. Il a montré que l’analyse des singularités de processus de propagation de contours permettait (au moyen de la théorie de Morse) d’effectuer une analyse syntaxique des scènes perceptives.

Exposé de Bernard Teissier

Sur l’élimination des singularités de fonctions analytiques par déformation

Dans le but de marquer un contraste avec l’étude des déformations de fonctions par lissage gaussien, qui donne une déformation par choix de méthodes de lissage, Bernard Teissier a choisi d’exposer, dans un cas particulier, la construction de la déformation universelle d’une fonction à point critique isolé, qui contient à isomorphisme près toutes les petites déformations possibles de la fonction. Il a expliqué comment se présente dans ce cadre le problème de l’élimination des points critiques et montré comment une hypothèse topologique sur la fonction conduit conjecturalement, en dimension 2, à la possibilité d’éliminer ses points critiques par une déformation. Enfin, il a expliqué quelques-unes des difficultés que présente le raccord de ce point de vue avec celui du lissage.

Exposé de Gérard Toulouse

Dans son introduction, Gérard Toulouse a fait état d’une distinction que l’on applique dans les composantes de l’intelligence, à savoir : le traitement des données (deviner juste) et l’apprentissage (découvrir des régularités et des corrélations nouvelles).

Son exposé a porté sur les grandes lignes de la théorie des réseaux de neurones, dans l’esprit de l’ouvrage de H. Gutfreund et G. Toulouse, Biology and Computation: a Physicist’s choice, World Scientific, 1994.

Les principaux chapitres de son intervention ont été les suivants :

— Généralités sur les neurones biologiques et formels, les principales étapes de la théorie des réseaux de neurones depuis cinquante ans et, en particulier, le regain d’intérêt dans les années 1980 causé par l’intervention de physiciens venus de la mécanique statistique des systèmes désordonnés, d’une part, et par l’invention de l’algorithme de rétropropagation permettant de travailler avec des perceptions multicouches, d’autre part.

— Structures de réseaux : il en existe deux types extrêmes, les perceptrons multicouches, sans rétroaction, et les réseaux autocouplés avec forte rétroaction. Ces derniers sont les plus novateurs conceptuellement.

— Deux grands problèmes d’apprentissage : mise en mémoire de données et généralisation, apprentissage d’une règle à partir d’exemples.

— Apprentissage vu comme problème inverse de la mécanique statistique usuelle ; grâce à la formulation d’Elisabeth Gardner, un nouveau champ est ouvert à la mécanique statistique.

— Présentation de données biologiques sur l’anatomie du cerveau des primates et de quelques grandes questions non résolues sur la nature du codage neuronal

Exposé de Yves-Marie Visetti

Sur l’apprentissage non supervisé

Dans la littérature des réseaux de neurones, un apprentissage est dit non supervisé s’il ne repose pas sur la connaissance a priori d’une loi entrées-sorties bien déterminée ; les réactions du système ne sont pas préassignées, mais seulement des contraintes très générales sur le type de fonctions entrées-sorties à construire ou sur l’intérêt relatif de telle ou telle valeur de sortie pour la viabilité du système (c’est la notion de renforcement).

L’apprentissage non supervisé se rattache au thème central de cette réunion parce que :

— Les apprentissages non supervisés de type hebbien permettent de retrouver et de généraliser les concepts classiques d’analyse des données couramment utilisés en reconnaissance des formes (par exemple, les composantes principales : travaux de Oja, Sanger). Ils permettent aussi de modéliser la formation progressive de certains champs récepteurs dans le système visuel des mammifères (Bienenstock, Linsker).

— Quand on ajoute à ces algorithmes des modalités compétitives, on obtient les modèles de classification ou de partition de l’espace des données ; du côté neurobiologique, on obtient par des moyens analogues les modèles de formation des cartes corticales remontant aux travaux pionniers de Malsburg et Willshaw.

— Les algorithmes de renforcement interviennent de façon essentielle dans la modélisation de boucles sensorimotrices, certes rudimentaires, mais à la fois robustes sur le plan de l’ingénierie et éclairantes sur le plan des neurosciences computationnelles.

La conception et la mise en œuvre de ces algorithmes d’apprentissage non supervisé posent des problèmes mathématiques intéressants, dont certains ont été abordés au cours de l’exposé, en particulier, une partie des travaux de Benaïm.

 

Quelques références bibliographiques

– Benaïm, M. (1993), A Dynamical System Approach to Stochastic Approximations, manuscrit non publié, Berkeley.

– Benaïm, M. (1993), The “Off-line Learning Approximation” in Continuous Time Neural Networks: An adiabatic theorem, Neural Networks, 6, 655-665.

– Benaïm, M. (1993), Sur la nature des ensembles limites des trajectoires des algorithmes d’approximation stochastiques de type Robbins Monro, CRAS Paris, t. 317, série 1, 195-200.

– Benveniste, A., Metivier, M. Priouret, P. (1987), Algorithmes adaptatifs et approximations stochastiques, Masson, Paris.

– Booker, L.B., Goldberg, D.E., Holland, J.H. (1989), Classifier Systems and Genetic Algorithms, Artificial Intelligence, 40, 235-282.

– Boucheron, S. (1992), Théorie de l’apprentissage, Hermès.

– Dayan, P., Sejnowski, T. (1993), TD (λ) converges with probability 1, papier non publié.

– Duda, R.O., Hart, P.E. (1973), Pattern classification and scene analysis, J. Wiley.

– Machine Learning (1992), 8, numéro spécial consacré au renforcement (éd. R. Sutton).

– Hertz, J., Krogh, A., Palmer, R. (1991), Introduction to the theory of neural computation, Addison Wesley.

– Kushner, H.J., Clark, D.S. (1978), Stochastic approximation methods for constrained and unconstrained systems, Springer.

– Linsker, R. (1988), Self-Organization in a perceptual Network, IEEE Computer, 88, p. 105-117.

– Sanger, T. (1989), Optimal unsupervised learning in a single-layer linear feedforward neural network, Neural Networks, vol. 2, p. 459-473.

– Maes, P. ed. (1991), Designing Autonomous Agents: Theory and Practice from Biology to Engineering and Back, A Bradford Book, MIT Press.

– Marroquin, J., Girosi, F. (1993), Some extensions of the K-means algorithm for image segmentation and pattern classification, A.I. Memo 1390, M.I.T.

– Ritter, H., Martinetz, T., Schulten, K. (1992), Neural computation and self-organizing maps: an introduction, Addison-Weslay.

 

Ce contenu a été publié dans Activités, Archives mises en ligne, Comptes rendus, avec comme mot(s)-clé(s) , , , , , , . Vous pouvez le mettre en favoris avec ce permalien.