Université Paris Cité

Vendredi 14 février 2025, 9h30-16h30

En présentiel : Bât. Olympe de Gouges (8 place Paul Ricoeur, 75013 Paris), Salle 628

Et sur Zoom

PROGRAMME

Matinée

9h30-10h30

Benoît Crabbé, « Généralisations structurelles et compositionnelles dans les grands modèles de langage »

La famille des modèles de langage transformateurs a contribué à renouveler le domaine du traitement automatique du langage naturel, particulièrement en termes de problèmes appliqués.

Ces modèles peuvent-ils contribuer à renouveler notre connaissance de la structure du langage ?

Nous proposons une brève introduction aux modèles de langage neuronaux et nous décrirons quelques expériences qui cherchent à démontrer la capacité des modèles neuronaux à abstraire des généralisations structurelles sur le cas de l’accord en genre et en nombre en français. Deuxièmement, nous illustrons quelques limitations très marquées de ces mêmes modèles sur des cas de généralisation structurelle et nous discutons des perspectives pour proposer des méthodes de généralisation alternatives.

10h30-11h30 – Brice Halimi, « Dépendance contextuelle et théorie de la descente »

Le phénomène de dépendance contextuelle couvre tous les cas en langage naturel où le contenu sémantique d’une expression dépend du contexte de son énonciation. La dépendance contextuelle explicite des indexicaux (comme « je » ou « ici ») est une illustration de base de ce phénomène. La dépendance contextuelle est supposée échapper à toute représentation formelle (ce diagnostic définit le « contextualisme »), à moins qu’elle ne soit modelée sur la dépendance contextuelle indexicale (« indexicalisme »), ou réduite à celle-ci (« minimalisme »). Dans mon exposé, je soutiendrai que ces positions logico-philosophiques sont basées sur une vision trop étroite de ce qu’une représentation formelle peut être ; que la dépendance contextuelle, une fois qu’elle est approchée comme un processus radicalement dynamique basé sur le changement de contexte, est susceptible d’une représentation formelle ; mais que de nouveaux concepts mathématiques, appartenant à la théorie de la descente de Grothendieck, doivent être appelés à cette fin. Je soutiendrai que cette perspective aide à mieux comprendre la signification linguistique : non pas comme une abstraction (de cas particuliers), mais plutôt comme un amalgame (d’usages locaux).

11h30-11h45 : pause

11h45-12h45

Boban Velickovic, « Logique et Jeux »

Nous montrons que les concepts logiques de base comme la vérité, la cohérence et l’équivalence élémentaire peuvent tous être caractérisés en termes de jeux, à savoir le jeu d’évaluation, le jeu d’existence de modèle, et le jeu d’Ehrenfeucht-Fraïsse. Ces jeux sont étroitement liés et représentent quelque chose qui peut être appelé l’équilibre stratégique en logique. En particulier, on peut donner des traductions explicites de stratégies gagnantes d’un jeu à l’autre.

Après-midi

14h-15h

Jonathan Ginzburg, « Contexte conversationnel pour la cognition humaine »

Dans cet exposé, je considérerai l’évolution de la notion de contexte en sémantique formelle du langage parlé destinée à modéliser la conversation multimodale. Je présenterai brièvement un formalisme inspiré de la théorie des types constructive et de la sémantique situationnelle qui peut fournir une fondation appropriée, qui a également été utilisée dans la conception de systèmes de dialogue. Je soutiendrai ensuite (contre entre autres Frege et Fodor) que si nous nous intéressons à la modélisation de la cognition *humaine*, nous devons combiner une telle approche avec une approche neuralement fondée et je pointerai vers les architectures symboliques vectorielles comme moyen de le faire.

15h-16h

Michel de Rougemont, « Algorithmes et Jeux »

Nous examinons quelques problèmes algorithmiques pour les jeux. Nous considérons d’abord les jeux utilisés pour l’équivalence élémentaire en logique, et montrons le lien entre définissabilité et complexité algorithmique. Les jeux classiques d’Ehrenfeucht-Fraisse peuvent être étendus aux jeux d’Ajtai-Fagin avec la méthode probabiliste dans ce contexte.

Nous considérons ensuite les jeux non-coopératifs où les joueurs prennent des décisions indépendantes et obtiennent une récompense basée sur les décisions des autres joueurs. Dans ce cas, les équilibres de Nash sont difficiles à calculer mais peuvent être approximés dans certains cas. Ces résultats mènent à l’étude d’algorithmes qui fonctionnent bien pour des entrées de certaines classes mais pas pour les entrées du pire cas.

Les grands modèles de langage (LLM) sont de nouveaux modèles computationnels qui capturent des distributions spécifiques des entrées et fournissent de bonnes heuristiques pour de nombreuses tâches. Les distributions sur les entrées sont définies par les paramètres des matrices d’attention (Q,K,V) et par les coefficients du MLP (perceptron multicouche) quand nous leur donnons un grand ensemble d’entrées, typiquement tout le Web écrit. Supposons que nous alimentions un LLM avec les parties d’un jeu stratégique (Dames, Échecs, Go), dans une notation classique e5,f2,g3,…… qui indique chaque coup des joueurs. Étant donné un préfixe d’une partie, nous pouvons échantillonner le prochain token et obtenir une stratégie pour un joueur du jeu. Nous discutons à quel point ces stratégies peuvent être bonnes et les concepts de compétences émergentes.

16h-16h30

Q/A

Lien zoom

Sujet: Workshop « Logos »

Heure: 14 févr. 2025 09:30 AM Paris

Participer à la réunion Zoom

https://u-paris.zoom.us/j/88309758149?pwd=eHNUTvNsKnA9c9Omww8nzsET2UiDPI.1

ID de réunion: 883 0975 8149

Code secret: 981347