UE 5.1.4. La communication multimodale : théories interdisciplinaires [Duboisdindien_2020]

Transcript

1. INFORMATION AUTORAT, esprit critique et contenu intellectuel * Cher.e.s Etudiant.e.s, Chères lectrices, Chers lecteurs, Ces cours proposés dans le cadre d’un enseignement effectué à l’UFR de Médecine et Santé de Lille, sont le fruit de plusieurs années de travail de recherche et de pratiques cliniques. Les appréciations et expertises qui en découlent sont miennes. Elles sont de fait, ouvertement promises à une critique argumentée et référencée pour faire avancer la science et l’accès aux connaissances pour le plus grand nombre. Merci de m’informer d’éventuels ajustements à apporter et de diffuser ces contenus avec précaution et respect, en demandant mon autorisation préalable via : duboisdindien@hotmail.com et en citant comme suit : Duboisdindien,G. (2020) UE 5.1.4. – Langage oral et Aides Spécifiques (Cours Magistraux) – Centre de Formation Universitaire en Orthophonie de Lille – (niveau M1)- open access on : HAL, ResearchGate En vous souhaitant un agréable cours, Restez curieux.ses ! Guillaume Duboisdindien ** loi no 92-597 du 1er juillet 1992 relative au code de la propriété intellectuelle, renforcée le 22 décembre 2014
2. UE 5.1.4. L A N G A G E O R A L & A I D E S S P É C I F I Q U E S CONNAISSANCES FONDAMENTALES ET INTERDISCIPLINAIRES DANS LE DOMAINE DES COMMUNICATIONS ALTERNATIVES ET/OU AUGMENTATIVES 2. La communication multimodale : interface geste-parole Guillaume Duboisdindien I UFR Santé & CFUO de Lille I Janvier 2020
3. Cours 1/2 : La communication multimodale. Introduction Fondements épigénétiques, neurobiologiques et linguistiques de l’interface geste-parole Apports des données développementales chez l’enfant, chez l’adulte, en clinique Intégrations cliniques
5. DON’T HUG THE DOG ! 81.6% of the photographs researchers scored showed dogs who were giving off at least one sign of discomfort, stress, or anxiety. Only 7.6% of the photographs could rate as showing dogs that were comfortable with being hugged. The remaining 10.8% of the dogs either were showing neutral or ambiguous responses to this form of physical contact How To Speak Dog: Mastering the Art of Dog-Human Communication Stanley Coren Ph.D FRSC U British Columbia
6. Bases évolutionnistes
7. 1.1. Bases évolutionnistes et cognitives de la communication multimodale • le langage revêt deux particularités : i) permettre la communication entre les individus ; ii) attester de l’intelligence humaine et de sa progression à travers l’évolution de sa cognition et de sa physiologie (Corballis, 2009; Habib, Joanette, & Lecours, 2000). • L’étude de la multimodalité a pris initialement racine au sein de l’anthropologie, avec E.T.Hall (1971) et R. Birdwhistell (1968). • lorsque la parole est en action, elle s’accompagne souvent de gestes communicationnels (gestes impliqués au contenu verbal), porteurs de sens mais également d’éléments prosodiques qui viennent soutenir les intentions, la syntaxe, et les attitudes du locuteur (Lacheret, 2011; Overstreet, 1999; Yoo & Delais-Roussarie, 2011).
8. 1.1. Bases évolutionnistes et cognitives de la communication multimodale • Caractère ontogénétique (Capirci & Volterra, 2008) -Cortex moteur des deux espèces : aire cérébrale F5 Chimpanzés / aire de Broca pour les humains - Implication des neurones miroirs - Analogie fonctionnelle / source commune geste/parole (Fadiga & Craighero, 2006; Courson, Frak & Nazir, 2014).
9. 1.1. Bases évolutionnistes et cognitives de la communication multimodale • D’autres grands singes : gorille, orang-outang, bonobo (Corballis, 2009; Liebal, Pika & Tomasello, 2006). • L’exemple de Koko la gorille (attention : prise de recul nécessaire sur la méthodo scientifique) • Transition s’est opérée graduellement. • Augmentation des besoins interactionnels et donc de son répertoire Moteur (Brunet & Jaeger, 2017) ➢Origine de l’émergence du langage (bimodalité)
10. 1.1. Bases évolutionnistes et cognitives de la communication multimodale • Fondements cognitifs • scissure de Sylvius qui divise d’avant en arrière la face latérale de l’hémisphère gauche. Ancien modèle localisationniste. • zones de passages (modèles connexionnistes) et réseaux spécialisés aux traitements sensoriels, moteurs et langagiers (Bisley et al., 2003). [Pour une revue complète, consulter : (Houdé, Mazoyer, & Tzourio- Mazoyer, 2010). ]
11. 1.1. Bases évolutionnistes et cognitives de la communication multimodale - les zones dédiées aux activités sensori-motrices partagent les mêmes réseaux d’activation que celles qui activent les relations lexico- sémantiques. - Étude de Fadiga et al., 2002 - La parole et les gestes reposent sur un support neuronal plus étendu que l’aire de Broca. - Ces descriptions ne permettent pas encore selon Andric & Small (2012) de déterminer exactement la manière dont le cerveau traite les informations sémantiques à travers les gestes.
12. 1.1. Bases évolutionnistes et cognitives de la communication multimodale • parole et geste se combinaient, on observait un ralentissement significatif du débit de parole et de l’élaboration du geste. • cortex frontal inférieur gauche + gyrus temporal supérieur participent fortement à l’intégration par le locuteur des informations sémantiques provenant à la fois des gestes et de la parole de son interlocuteur (A. B. Hostetter & Alibali, 2008; Skipper, Goldin-Meadow, Nusbaum, & Small, 2007). • Des processus sémantiques comparables s’activeraient dans la perception des gestes et des mots (Willems, Özyürek, & Hagoort, 2007
13. Formes et fonctions des gestes
14. 1.2. Aspects formels et fonctionnels de la gestualité https://www.rtbf.be/pure/article/detail_enfin-une-version-sous-titree-de-l-incroyable-monologue-de-ricky-gervais-aux- golden-globes?id=10401531
15. 1.2. Aspects formels et fonctionnels de la gestualité Le geste est un mouvement d’un ou de plusieurs segments du corps : bras, tête, épaules, mains, pieds (Ferré, 2011). Ces mouvements sont relativement faciles à distinguer du reste des schèmes moteurs (D McNeill, 2005). Dans sa définition, Kendon (1997) considère le geste comme l’expression d’une pensée ou d’une émotion. Pour l’auteur, un geste est porteur d’une action volontaire qui est nécessairement visible et porteuse de sens. La gestualité possède plusieurs fonctions intra- et interpersonnelles, ainsi que le formulent Morsella & Krauss (2004: 421).
16. 1.2. Aspects formels et fonctionnels de la gestualité • sont à considérer comme gestes : ceux de la langue des signes et les gestes co-verbaux. Ces derniers participent aux Actes de langage (Austin, 1962; S Goldin-Meadow, 2003) • En parallèle de ces entités gestuelles, il existe également deux types de gestes non verbaux : (i) les gestes d’auto-contact ou adaptateurs, décrits par McNeill ( 1992, 2005) et ii) les gestes-action / activités (McNeill, 1992 ;Bolly, 2014).
17. 1.2. Aspects formels et fonctionnels de la gestualité Autorat : Duboisdindien (2014) from VIntAGE To cite : Duboisdindien, G., Grandin, C., Boutet, D., & Lacheret-Dujour, A. (2019). A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people. Corpus, (19).
18. 1.2. Aspects formels et fonctionnels de la gestualité (vision classique) La phase de préparation (preparation phase) : Il s’agit de la phase gestuelle réalisée de manière isolée qui précède (mais c’est optionnel) la phase d’exécution. Cette phase préparatoire part généralement d’une position de repos ou de tenue (rest position/ hold position). Le changement depuis la phase préparatoire vers la phase d’exécution se caractérise systématiquement par un changement de direction ou de configuration de la main.
19. 1.2. Aspects formels et fonctionnels de la gestualité Autorat : Duboisdindien (2014) from VIntAGE To cite : Duboisdindien, G., Grandin, C., Boutet, D., & Lacheret-Dujour, A. (2019). A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people. Corpus, (19).
20. 1.2. Aspects formels et fonctionnels de la gestualité La phase d’exécution (stroke) : Les phases d’exécution gestuelle regroupent tous les mouvements potentiellement significatifs (sur le plan sémantique) dans le discours du locuteur. Cela inclut tous mouvements externes (mouvement manuel dans son ensemble d’un endroit à un autre) ou internes (changement de la forme de la main et de sa position dans l’espace, ou un mouvement des doigts au sein d’une même forme de la main), exceptés les phases de préparation et de retour. Ainsi deux gestes sous l’étiquette phase d’exécution - stroke peuvent être produits sur une même séquence en s’enchaînant. Par ailleurs, la phase d’exécution est toujours inscrite au sein d’un seul mouvement.
21. 1.2. Aspects formels et fonctionnels de la gestualité Autorat : Duboisdindien (2014) from VIntAGE To cite : Duboisdindien, G., Grandin, C., Boutet, D., & Lacheret-Dujour, A. (2019). A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people. Corpus, (19).
22. 1.2. Aspects formels et fonctionnels de la gestualité La phase de tenue ou de repos (hold/post-stroke hold/ rest position) : correspond à l’absence de mouvement manuel ou à une position de repos de la main. En étude sur corpus vidéo, il est couramment admis que l’identification de cette phase se fasse lorsque la main est tenue de manière statique durant deux images ou lors de deux phases en mouvement.
23. 1.2. Aspects formels et fonctionnels de la gestualité Le retour partiel désigne les segments de rétractation pendant l’échange également mais qui restent incomplets, en suspend ou non aboutis, par exemple lorsque la main ne retrouve pas sa position de repos initial ou lorsque le locuteur est en situation d’écoute. La phase de transition (chain/transition) : est une phase optionnelle et ambigüe se caractérisant par un enchaînement de petits mouvements entre deux phases de réalisation/exécution ou entre deux phases gestuelles qu’on ne peut classifier comme des phases de préparation ou de retour (Allwood, 2010; Bolly, 2014).
24. 1.2. Aspects formels et fonctionnels de la gestualité Autorat : Duboisdindien (2014) from VIntAGE To cite : Duboisdindien, G., Grandin, C., Boutet, D., & Lacheret-Dujour, A. (2019). A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people. Corpus, (19).
25. 1.2. Aspects formels et fonctionnels de la gestualité • Ces phases gestuelles sont dépendantes d’unités supérieures, Kendon (2004 : 111-124) sous l’appellation d’unités gestuelles. • Cette hiérarchisation facilite pour le chercheur et le clinicien, l’analyse des étiquettes apposées pour chaque phase gestuelle. • Les gestes peuvent apparaître ensemble ou séparément et ainsi indiquer si ces phases sont regroupées sous une unité gestuelle symétrique ou asymétrique.
26. 1.2. Aspects formels et fonctionnels de la gestualité Caractéristiques et restitution des informations dans la littérature : • Le geste est un mouvement qu’on peut segmenter en phases de positions en configurations différentes sur la chaîne temporelle. • Le geste est clairement délimité par un début et une fin de mouvement au sein desquels on observe un point culminant, pendant lequel l'information sémantique est délivrée : la phase de réalisation du geste. • Les études sur corpus décrivent plus souvent d’unités gestuelles à caractère symétrique qu’asymétrique. • L’ensemble de ces gestes, selon Kendon (cité par McNeill, 2005 : 5), s’inscrit dans un continuum allant du moins au plus conventionnel.
27. 1.2. Aspects formels et fonctionnels de la gestualité
28. • Du caractère interactif au caractère adaptatif du geste dans le discours oral : • Gestes adaptateurs :comme des gestes de confort, sans relation directe avec la production verbale, tournés vers soi (comme ajuster une mèche de cheveux) ou vers un objet, un élément extérieur à l’individu (comme tourner son alliance) (Ekman & Friesen, 1972; Bolly & Boutet, 2017; Duboisdindien, Grandin, Boutet, & Lacheret-Dujour, 2019). 1.2. Aspects formels et fonctionnels de la gestualité
29. 1.2. Aspects formels et fonctionnels de la gestualité La densité d’adaptateurs tend à augmenter dans trois situations : • 1. Les situations de recherche lexicale ou de recherche de formulation ou encore d’inconfort/anxiété due à la situation de communication. (Ekman, 1972; Valenzeno, Alibali, & Klatzky, 2003) ; • 2. Lorsque l’interlocuteur se met en position d’écoute quand le locuteur prend son tour de parole. Ces gestes sont donc révélateurs de l’intention de prise de parole. (Ekman & Friesen, 1972: 362) ; • 3. En situation intime quand la personne est seule (Ekman, 1972).
30. 1.2. Aspects formels et fonctionnels de la gestualité
31. 1.2. Aspects formels et fonctionnels de la gestualité Autorat : Duboisdindien (2014) from VIntAGE To cite : Duboisdindien, G., Grandin, C., Boutet, D., & Lacheret-Dujour, A. (2019). A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people. Corpus, (19).
32. 1.2. Aspects formels et fonctionnels de la gestualité Autorat : Duboisdindien (2014) from VIntAGE To cite : Duboisdindien, G., Grandin, C., Boutet, D., & Lacheret-Dujour, A. (2019). A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people. Corpus, (19).
33. 1.2. Aspects formels et fonctionnels de la gestualité Autorat : Duboisdindien (2014) from VIntAGE To cite : Duboisdindien, G., Grandin, C., Boutet, D., & Lacheret-Dujour, A. (2019). A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people. Corpus, (19).
34. 1.2. Aspects formels et fonctionnels de la gestualité Autorat : Duboisdindien (2014) from VIntAGE To cite : Duboisdindien, G., Grandin, C., Boutet, D., & Lacheret-Dujour, A. (2019). A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people. Corpus, (19).
35. Synchronisation geste-parole (hypothèses)
36. 1.3. Hypothèses de la synchronisation geste- parole. Plusieurs hypothèses interprétatives. chez l’enfant de 0 à 3 ans des fonctions analogues à l’âge adulte (Alibali, Kita, & Young, 2000; R. L. Cohen & Borsoi, 1996; J.-M. Colletta, Kunene, Venouil, Kaufmann, & Simon, 2009; Tellier, 2009) et sont d’un recours sensiblement proche en situation de troubles phasiques liés à un déficit acquis (aphasie non-fluente post-traumatique ou post-AVC) ou encore neurodégénératif (MA, Aphasie Primaire Progressive) par rétrogenèse** du langage (Reisberg et al., 2002). ** hypothèse toujours à l’étude
37. 1.3. Hypothèses de la synchronisation geste- parole. L’hypothèse de la fonction sociale • études chez l’enfant > les gestes référentiels auraient une fonction sociale (Fasolo & D’Odorico, 2012; Susan Goldin-Meadow, Goodrich, Sauer, & Iverson, 2007; Goodwyn, Acredolo, & Brown, 2000). • Les gestes induiraient surtout des temps d’interactions de plus en plus longs (temporellement) et de qualité dans le lien mère-enfant. • C’est également ce qu’ont relevé Butterworth et Hadar (1989) ou encore Krauss, Morrel- Samuels, et Colasante (1991)dans leurs études chez l’adulte, geste = potentiel d’augmenter l’appétence à la communication en incitant les interlocuteurs à partager leurs idées.
38. 1.3. Hypothèses de la synchronisation geste- parole. L’hypothèse de la fonction sociale • L’usage de gestes et également d’expression faciales adaptées > signes d’empathie, d’écoute qui engagent aux relations intersubjectives (Butterworth & Hadar, 1989; Robert M. Krauss et al., 1991; Neal & Chartrand, 2011). • Geste redondant avec l’énoncé verbal, valeur illocutoire de l’acte de langage. • hypothèse sociale de la synchronisation geste-parole, ce n’est pas tant l’acquisition du lexique qui prime chez l’enfant ou la diversité lexicale dans le discours chez les adultes, mais plutôt l’intensification de l’interaction que le geste engendre.
39. 1.3. Hypothèses de la synchronisation geste- parole. L’hypothèse de la préservation de la surcharge cognitive • réduire la charge cognitive durant le développement des capacités verbales et son investissement (Jana M. Iverson, Capirci, & Caselli, 1994). (mémoire de travail, attention divisée, recherche lexicale, etcetera). • stratégie d’étayage par le geste associé à la parole permet à l’enfant de rester au plus proche des caractéristiques concrètes du référent tout en évitant la surcharge cognitive (Sweller, Ayres, & Kalyuga, 2011). • Utiles dans les apprentissages • « When gesture conveys information that complements the information conveyed in speech, a two-modality communication can be highly effective » (Goldin-Meadow, 2005 : 112).
40. 1.3. Hypothèses de la synchronisation geste- parole. L’hypothèse de la préservation de la surcharge cognitive • Dans les descriptions adultes, on parle du phénomène gestuel sous l’appellation anglo-saxonne de language-like (McNeill, 1992) : « Language-like gestures are similar in form and appearance to gesticulation but differ in that they are grammaticaly integrated into the utterance. » (McNeill, 1992 : 37). • Ce sont essentiellement des gestes qui ont une fonction compensatoire lorsqu’un mot n’est pas prononcé ou lorsque la parole est gênée. • patients cérébrolésés, en particulier aphasiques, convergent vers l’idée de l’existence d’interactions facilitatrices lorsque le locuteur s’aide de gestes en situation de manque du mot (Hadar, Wenkert-Olenik, Krauss, & Soroker, 1998; Hadar & Yadlin-Gedassy, 1994).
41. 1.3. Hypothèses de la synchronisation geste- parole. L’hypothèse transitionnelle. • Iverson et collaborateurs en acquisition (Jana M. Iverson et al.,1994) • déclin de l’utilisation des gestes à partir de 20 mois > habiletés lexicales et expressives en production orale, au détriment de l’utilisation desgestes. • Capirci et Volterra, (2008) > trois stades dans le développement de l’enfant. • Ainsi,avant 16 mois, le jeune enfant est dans le stade de l’avantage gestuel • A partir de 16 mois, gestes et parole sont combinés c’est le stade intermodal. • Au-delà de 20 mois l’enfant combine des mots simples entre eux pour exprimer ce qu’il voit, interagir surson environnement. • Les auteurs relient cette perspective ontogénétique au développement phylogénétique du langage chez l’être humain ( Corballis & Corballis, 2002).
42. 1.3. Hypothèses de la synchronisation geste- parole. L’hypothèse associative. • selon Courson et al., 2014 ces trois hypothèses : sociale, cognitive, transitionnelle, ne se désolidarisent pas forcément et convergeraient vers l’hypothèse associative. • Cette hypothèse permettrait d’orienter le point de vue dans une perspective neurofonctionnelle de la communication
43. Approches cliniques
44. 1.4. Limites et variabilités observées en clinique • Di Pastena, Schiaratura et Askevis-Leherpeux (2015) > Le geste est-il facilitateur ou compétiteur du discours oral ? (théories scientifiques) • Compétition = principe qu’une habileté peut prendre le dessus – de manière passagère ou permanente – sur une autre habileté, dès lors qu’une modification du système ou une réorganisation s’engage. • Ainsi, indépendamment de l’origine commune de la parole et des gestes et indépendamment du niveau auquel ils interagissent, il est primordial de prendre en compte les gestes dans la communication (Beukelman & Mirenda, 2017; Feyereisen et al., 1988).
45. 1.4. Limites et variabilités observées en clinique • Dans la conception de McNeill (1985, 2005) et plus tard de Goldin-Meadow (2003, 2010) geste et parole apparaissent simultanément au cours du développement et sont activés ensemble dans le discours cette zone de « rencontre » = the Growth Point
46. 1.4. Limites et variabilités observées en clinique • La production langagière engagerait plutôt deux modes de communication aux mécanismes cognitifs distincts et aux réseaux neuronaux partagés. Ceci expliquerait pourquoi les gestes accompagnant la description d’objets augmentent dès lors qu’on augmente la complexité de la tâche (Kita & Özyürek, 2003). • La synchronisation s’opère lors de l’articulation d’un mot ou lorsque des gestes se lient aux caractéristiques prosodiques via l’intensité verbale et l’amplitude gestuelle (Butterworth & Hadar, 1989; Hadar et al., 1998; Hadar & Yadlin-Gedassy, 1994).
47. 1.4. Limites observées en clinique • 1. Limite au domaine des pathologies du langage, ou plus simplement en amont de difficultés cognitives gênant le traitement exécutif du message verbal (par exemple, situation d’apprentissage d’une nouvelle langue ou fatigabilité engendrant des accrocs langagiers) ( Feyereisen, 1997; Feyereisen, Berrewaerts, & Hupet, 2007; Melinger & Levelt, 2005). • 2. des personnes peuvent parler sans gestualiser et gestualiser sans prononcer un mot.
48. Des transpositions ont partiellement été réalisées dans le domaine des C.A.A.
49. Tableau Moyens et procédés – systèmes augmentatifs et alternatifs - étayage » tiré de Coquet (2004 : 438, 439)
50. Tableau Moyens et procédés– systèmes augmentatifs et alternatifs - étayage » tiré de Coquet (2004 : 438, 439)
53. Mythes et intérêts des CAA
54. 2. Mythes et Intérêts CAA • efficacité dans le développement du langage oral et de la communication (Millar 2006; Goldin-Meadow 2009). • n'empêchent pas le développement du langage vers le canal verbal (Weist et coll 1997). • facilite l'accès à la structuration du discours et permet à d'autres compétences d'émerger en compensation. • GO TO SPEECHBITE to know more
55. 2. Mythes et Intérêts des CAA (EBP) Romski & Sevcik (2005) : - Ne pas attendre pour le proposer. - Niveau de compétence cognitive minimum (à nuancer, Duboisdindien, 2014). - EBP sur un usage précoce (Goldin-Meadow, 2005; Murcier et al., 2013). - Niveau de symbolisation plus élevé possible > l’accès à l’écrit. Il semble clairement opportun que les orthophonistes proposent des moyens alternatifs : gestes, LSF, procédés de visualisation de la parole tels que les pictogrammes afin d'encourager cette multimodalité au sein de l'expression et de la communication.
56. «c'est dans l'échange avec l'autre, et notamment dans un échange structuré et élaboré, que l'on devient soi-même ». Rondal (1987 : 10) Spécificité de l’orthophoniste Mais alors, qu'en est-il de la personne qui présente un langage déficitaire ? Quelles alternatives lui sont proposées pour affiner ses ressources ou du moins compenser ses troubles, surtout s’ils nuisent à sa qualité de vie ? Observation et évaluation clinique; communication multimodale et étayage thérapeutique/parental; CAA
57. .Merci de votre attention. be proud of yourself !
58. La bibliographie a été intégrée au fichier annexe de présentation du cours à destination des étudiants. Dans l'attente d'un nouvel échange, je me tiens à votre disposition pour toute demande d'information ou précision complémentaire dont vous pourriez avoir besoin. Guillaume Duboisdindien, Orthophoniste (PhD). Référent UE 5.1.4. Langage Oral & Communication – Aides Spécifiques (Master 1). Centre de Formation Universitaire en Orthophonie de Lille-Santé. Courriel : duboisdindien@hotmail.com