depuis 1988
Les activités de recherche traitent de l’analyse du signal vocal pour la détection et la mesure de variabilités dues à des facteurs psychophysiologiques. Ces dernières sont provoquées en laboratoire ou existent naturellement dans certaines situations de travail. Les pilotes d’avion constituent une population de locuteurs soumis à des charges de travail à risques et parfois de longues durées. Le contexte aéronautique fournit des situations réelles (enregistrements en vol ou exploitation des enregistreurs de vol) et offre la possibilité d’utiliser des simulateurs fixes ou mobiles. Dans tous les cas, des perturbations vocales sont possibles consécutivement à l’apparition de dysfonctionnements mais aussi résultant de la charge de travail ou de la fatigue. Certaines expérimentations relevant du domaine de la Psychologie sont également susceptibles d’engendrer une expression vocale aux propriétés singulières.
Contexte Aéronautique
– analyse d’enregistreur des conversations en vol ou « Cockpit Voice Recorder » (CVR) d’avions accidentés (partenaire : Bureau d’Enquêtes et d’Analyses BEA).
Un enregistrement a été sélectionné car les dysfonctionnements constatés avant l’accident ont provoqué de longues discussions entre les membres d’équipage offrant ainsi une matière sonore riche pour l’étude des conséquences vocales de l’émotion.
– analyses vocales en vol long courrier avec incidents provoqués (partenaires : Services Technique de la Navigation Aérienne S.T.N.A – Airbus). Pour la certification en vol avec un équipage réduit à deux pilotes au lieu de trois personnels navigants, des vols réels long-courriers ont eu lieu avec création de pannes par les ingénieurs à bord. Les conversations de l’équipage ont été enregistrées pour étudier la corrélation entre le stress provoqué, les caractéristiques acoustiques de la voix et l’estimation de la charge de travail par des indicateurs médicaux mesurés par les partenaires de l’étude.
– enregistrements en simulateur d’avion avec pannes provoquées (partenaires : Aéroformation, Base Opérationnelle Mobile AéroPortée). Le simulateur a permis de construire un protocole expérimental pour provoquer en situation contrôlée divers incidents de vol et en analyser les conséquences vocales.
– enregistrements couplés avec le protocole expérimental de laboratoire mis en place pour étudier l’inertie du sommeil (partenaires Laboratoire d’Anthropologie Appliquée LAA, hôpital Henri Mondor et BEA). Pour l’étude du sommeil et de la vigilance des équipages, le LAA a développé un protocole expérimental de laboratoire pour contrôler le sommeil et à partir duquel il a été possible d’enregistrer la voix d’un pilote à son réveil lors de l’exécution de tâches aéronautiques. L’étude poursuivait le but d’identifier les caractéristiques non médicales, donc vocales, modifiées par l’inertie du sommeil. 
– fatigue d’un équipage en vol court-courrier (partenaires : Bureau d’Enquêtes et d’Analyses, Air France). L’expérimentation avait pour objectif d’estimer la fatigue d’un équipage au cours d’une journée de vols court-courriers avec plusieurs rotations sur le territoire français et de comparer les résultats avec ceux obtenus après le dépouillement de l’enregistreur phonique.
– fatigue d’un conducteur automobile (partenaire : Bureau d’Enquêtes et d’Analyses). L’objectif était de mettre en place une expérimentation de conduite automobile pour laquelle la charge de travail pouvait être comparable avec celle des pilotes et plus facile à mettre en œuvre afin de tester les paramètres acoustiques de l’analyse de la voix.
– Privation de Sommeil et Charge de Travail : (Partenaires : ENAC-SEFA et BEA). Des élèves-pilotes, en cours de formation à l’E.N.A.C, ont été enregistrés pendant leurs exercices de vol en simulateur d’Airbus A320 (AirbusTraining Center). 
Deux séances de vol de quatre heures sont programmées dans leur formation au vol en équipage. Elles sont particulièrement riches en évènements et engendrent une charge de travail importante. Elles ont lieu en tout début de matinée occasionnant probablement une privation de sommeil. Les conversations de chaque équipage (pilote et copilote) ont été enregistrées au cours de chaque type de séance. Les élèves pilotes complétaient, en début et en fin, des questionnaires destinés à l’auto-évaluation de leur charge de travail et à renseigner les expérimentateurs sur leur état de vigilance.
Contexte Expérimental de la Psychologie – Test de Stroop (partenaires : laboratoires de Phonétique de l’Université de Mons-Hainaut (Belgique) et de l’Université de Barcelone (Espagne)). Ce test nommé également test Mot-Couleur provoque un effet d’interférence de la lecture d’un mot sur la dénomination de sa couleur. Par exemple lorsqu’il s’agit de dénommer la couleur du mot « rouge » alors qu’il est écrit en vert : le mot « rouge » est écrit à l’encre verte et le locuteur doit prononcer « vert ». L’objectif des analyses acoustiques était de rechercher des modifications du signal par rapport à une prononciation sans interférence.
– Banque d’images (partenaire : R. Da Silva Neves, enseignant-chercheur en Psychologie Cognitive et soutien du Conseil Scientifique de l’Université Toulouse 2 dans le cadre des Programmes Ponctuels de Recherche P.P.R). Cette banque (International Affective Picture System IAPS) mise au point par le « Center for Emotion and Attention » de l’Université de Floride présente l’avantage de classer et de noter les images selon le degré émotionnel qu’elles induisent. L’expérimentation de laboratoire a conduit les spectateurs à parler en regardant les images selon un discours contrôlé afin de tenter d’établir un lien entre les notes respectives et les valeurs des grandeurs acoustiques mesurées. 
Fatigue Physique (hors contexte aéronautique) – expérimentation du laboratoire. Elle a été provoquée à l’aide d’un vélo d’appartement selon un protocole d’effort évitant un essoufflement excessif du locuteur et avec une mesure simultanée du rythme cardiaque.
Somnolence et Charge Mentale (partenaire: laboratoire LLCE de l’Université Toulouse Jean Jaurès: Agnès Daurat et Radouane El Yagoubi; soutien de l’Ecole Doctorale Aéronautique et Astronautique de l’Université de Toulouse). Résumé de la thèse de Doctorat de Stanislas Boyer (dir de thèse R.Ruiz et A.Daurat):
Les exigences opérationnelles du métier de pilote sont susceptibles d’engendrer de la somnolence et des niveaux de charge mentale inadéquats (i. e., trop faible ou trop élevé) au cours des vols. Les dettes de sommeil et les perturbations circadiennes liées à divers facteurs (e. g.,longues périodes de services, horaires de travail irrégulier, etc.) demandent aux pilotes de repousser sans cesse leurs limites biologiques. Par ailleurs, la charge de travail mentale des pilotes présente de fortes variations au cours d’un vol : élevée au cours des phases critiques (i. e.,décollage et atterrissage), elle devient très réduite pendant les phases de croisière. Lorsque la charge mentale devient trop élevée ou, à l’inverse, trop faible, les performances se dégradent et des erreurs de pilotage peuvent apparaître. La mise en œuvre de méthodes de détection de l’état de somnolence et du niveau de charge mentale en temps quasi réel est un défi majeur pour le suivi et le contrôle de l’activité de pilotage. L’objectif de la thèse est de déterminer si la voix humaine peut permettre de détecter d’une part, l’état de somnolence et d’autre part, le niveau de charge mentale d’un individu.
Dans une première étude, la voix de participants a été enregistrée lors d’une tâche de lecture avant et après une nuit de privation totale de sommeil (PTS). Les variations de l’état de somnolence consécutives à la PTS ont été évaluées au moyen de mesures auto-évaluatives et électrophysiologiques (ÉlectroEncéphaloGraphie [EEG] et Potentiels Évoqués [PEs]). Les résultats ont montré une variation significative après la PTS de plusieurs paramètres acoustiques liés : (a) à l’amplitude des impulsions glottiques (fréquence de modulation d’amplitude), (b) à la forme du signal acoustique (longueur euclidienne du signal et ses caractéristiques associées) et (c) au spectre du signal des voyelles (rapport harmonique sur bruit, fréquence du second formant, coefficient d’asymétrie, centre de gravité spectral, différences d’énergie, pente spectrale et coefficients cepstraux à échelle Mel). La plupart des caractéristiques spectrales ont montré une sensibilité différente à la privation de sommeil en fonction du type de voyelles. Des corrélations significatives ont été mises en évidence entre plusieurs paramètres acoustiques et plusieurs indicateurs objectifs (EEG et PEs) de l’état de somnolence.
Dans une seconde étude, le signal vocal a été enregistré durant une tâche de rappel de listes de mots. La difficulté de la tâche était manipulée en faisant varier le nombre de mots dans chaque liste (i. e., entre un et sept, correspondant à sept conditions de charge mentale). Le diamètre pupillaire – qui est un indicateur objectif pertinent du niveau de charge mentale – a été mesuré simultanément avec l’enregistrement de la voix afin d’attester de la variation du niveau de charge mentale durant la tâche expérimentale. Les résultats ont montré que des paramètres acoustiques classiques (fréquence fondamentale et son écart type, shimmer, nombre de périodes et rapport harmonique sur bruit) et originaux (fréquence de modulation d’amplitude et variations à court-terme de la longueur euclidienne du signal) ont été particulièrement sensibles aux variations de la charge mentale. Les variations de ces paramètres acoustiques étaient corrélées à celles du diamètre pupillaire.
L’ensemble des résultats suggère que les paramètres acoustiques de la voix humaine identifiés lors des expérimentations pourraient représenter des indicateurs pertinents pour la détection de l’état de somnolence et du niveau de charge mentale d’un individu. Les résultats ouvrent de nombreuses perspectives de recherche et d’applications dans le domaine de la sécurité des transports, notamment dans le secteur aéronautique.
MESURES ACOUSTIQUES: Les analyses acoustiques ont porté sur les signaux des voyelles orales du Français par la mesure des principaux paramètres suivants :
– fréquence fondamentale : moyenne, écart-type, par période de vocalisation, jitters, coefficient de variation ;
– micro-tremblements des cordes vocales ;
– shimmer ;
– spectre: formants, coefficients L.P.C, modélisation du conduit vocal, centre de gravité spectral, fréquence d’équilibre énergétique, distributions cumulées du niveau sonore et fréquence d’équilibre spectral, pente de la droite de régression, rapports d’énergie, skewness, kurtosis, distances spectrales (coefficients M.F.C.C) ;
– débit phonatoire ;
– exposant maximal de Lyapunov et portrait de phase ;
– « distance » parcourue par le signal (D.A.L) et de ses paramètres dérivés ;
– modulation d’amplitude des maxima du signal temporel.
Les mesures sont effectuées à l’aide de programmes développés dans l’environnement Matlab® mais aussi à l’aide de scripts du logiciel Praat.
Parmi les grandeurs mesurées trois d’entre elles sont originales : la fréquence d’équilibre spectral issue de distributions cumulées du niveau sonore dans le spectre, le « Digital Amplitude Length » comme mesure de longueur du signal temporel et la fréquence de modulation d’amplitude des maxima de ce signal. Leur présentation respective est examinée dans le manuscrit de Synthèse des travaux de même que le détail des principaux résultats obtenus pour les principales expérimentations précédentes et les éléments d’une modélisation acoustique des effets d’agents perturbateurs.
