La machine comprend ma voix

Présentation effectuée au Capitole du libre 2022 par Christophe Villeneuve sur "La machine comprend ma voix".
Cette session montrera les progrès de ce projet et ceux de Deep Speech qui permet de contrôler le matériel par la voix.
Par ailleurs, une démo sur un Raspberry Pi permet d'illustrer différentes fonctionnalités de la voix sans Internet.

Transcript

1. La machine comprend ma voix Christophe Villeneuve @hellosct1 @hellosct1@mamot.fr Capitole du Libre 2022
2. Atos open source - afup – lemug.fr – mariadb – drupal – mozilla - firefox – lemugfr - sumo – webextensions – VR – AR – XR - Cause commune 93.1 FM - TechSpeaker - Lizard - eyrolles – editions eni – programmez – linux pratique – webriver – elephpant - CommonVoice – Sécurité - Cybersécurité Christophe Villeneuve • Consultant Open Source • Dresseur animaux
3. @hellosct1 – Capitole Du Libre 2022 Aujourd’hui • Rappels des Assistants • Construire son Assistant • La qualité
4. @hellosct1 – Capitole Du Libre 2022 Parle moi !!! - Animation stand - Translation FR -> EN - Traduction en temps réél - Raspberry PI 3+
5. @hellosct1 – Capitole Du Libre 2022 Assistants vocaux Construire son Assistant La qualité
6. @hellosct1 – Capitole Du Libre 2022 Assistant numérique : au service de l’utilisateur • Smartphone • Enceinte connectée • Mixed Reality Souvent utilisé dans des contextes où la voix est plus efficace pour communiquer Que faire avec ?
7. @hellosct1 – Capitole Du Libre 2022 Matériels disponible
8. @hellosct1 – Capitole Du Libre 2022 Traitement de la voix • Obligation d’un réseau – Connecter aux internets • Accès aux services cloud pour pouvoir fonctionner – Entrainement et transcription gourmands en calculs • Contraintes – Souvent laissé à des services tiers en-ligne – Nécessite beaucoup de données audio avec texte associé – Voix personnelle, mais enregistrement parfois constant
9. @hellosct1 – Capitole Du Libre 2022 L’utilisation de la recherche vocale aujourd’hui 2016 2020 2016 2020
10. @hellosct1 – Capitole Du Libre 2022 Common Voice • But – Aider à apprendre aux machines comment les humains parlent vraiment • Destiné à rendre la reconnaissance vocale ouverte et accessible à tout le monde • Objectifs – 10 000 heures de données validées par langue – Mini 2 000 heures → Assistant numérique et voix Common Voice & Deep Speech
11. @hellosct1 – Capitole Du Libre 2022 Objectifs (1/2) • Cassons les barrières de la voix – Accès : peu de gros jeux de données publiquement accessibles – Coût : ticket d’entrée important pour les jeux de données commerciaux, avec des complexités légales – Biais : seuls certains marchés sont bien pourvus
12. @hellosct1 – Capitole Du Libre 2022 Objectifs (2/2) • Collecte de données ouvertes pour l’apprentissage machine • Données : audio et texte correspondant • Diversité – Langues – Accents – Ages – Genres – Qualité sonore • Nous visons 10 000 heures de données validées par langue : https://voice.mozilla.org
13. @hellosct1 – Capitole Du Libre 2022 Ingredients
14. @hellosct1 – Capitole Du Libre 2022 Assistants vocaux Construire son Assistant La qualité
15. @hellosct1 – Capitole Du Libre 2022 Construire son assistant Import CC0 Sentence Collector Saisie CCO
16. @hellosct1 – Capitole Du Libre 2022 Proposer et valider de nouvelles phrases • Posséder un compte sur Common Voice. • Identifiez-vous sur le Collecteur de phrases – Avec vos identifiants de Common Voice. Validation des phrases Page → page de validation. Ajouter de nouvelle phrases Page → Ajouter une nouvelle phrase
17. @hellosct1 – Capitole Du Libre 2022 Collecteur de phrases : Ajouter https://commonvoice.mozilla.org/sentence-collector/#/fr/add
18. @hellosct1 – Capitole Du Libre 2022 Collecteur de phrases : Valider https://commonvoice.mozilla.org/sentence-collector/#/fr/review/fr
19. @hellosct1 – Capitole Du Libre 2022 Voice.mozilla.org → Parler https://voice.mozilla.org/speak
20. @hellosct1 – Capitole Du Libre 2022 Voice.mozilla.org → Ecouter https://voice.mozilla.org/listen
21. @hellosct1 – Capitole Du Libre 2022
22. @hellosct1 – Capitole Du Libre 2022 • Heures enregistrées / Heures validées Qualité ?
23. @hellosct1 – Capitole Du Libre 2022 Mots ajoutés • Les mots ajoutés quand on parle • L’erreur est le mot ‘de’ qui a été ajouté Elle est située dans la zec Louise- Gosford, une aire publique de chasse et de pêche
24. @hellosct1 – Capitole Du Libre 2022 Mots oubliés • Les mots qu’on oublie • L’erreur est le mot ‘de’ qui a été oublié Angel est sur le point de l’interroger mais Wo-Pang se suicide
25. @hellosct1 – Capitole Du Libre 2022 Mots accrochés • Les mots qu’on accroche • La première syllabe du mot ‘Phénicie’ a été accrochée Elle relie le nord de l’égypte à la Phé Phénicie, l’Assyrie et la Mésopotamie
26. @hellosct1 – Capitole Du Libre 2022 Lettre(s) oubliée(s) • Les lettres oubliées qui modifient le sens de la phrase • La lettre ‘s’ a été oubliée → la phrase ne veut plus rien dire En conséquence, Durant Motors perdit des parts de marché et des revendeurs.
27. @hellosct1 – Capitole Du Libre 2022 Inversion de syllabe • Une syllabe inversée dans un mot • Le môt ‘évêché’ est prononcé « échevé » → qui est une erreur Selon l’échevé de Liège, l’abbé Schoonbroodt ne dispose d’aucun recours.
28. @hellosct1 – Capitole Du Libre 2022 Matériels
29. @hellosct1 – Capitole Du Libre 2022 Mauvaise compréhension de l’échantillon • Le matériel « Micro » de mauvaise qualité • Un « brouhaha » empêche la compression
30. @hellosct1 – Capitole Du Libre 2022 Bruit de souffle • Le réglage du micro est mal réglé ou trop élevé → Nous obtenons un bruit de souffle
31. @hellosct1 – Capitole Du Libre 2022 Volume faible • Le volume du micro est faible → rend l’échantillon incompréhensible
32. @hellosct1 – Capitole Du Libre 2022 Début coupé • le ou les premiers mots ne sont pas enregistrés • L’enregistrement est déclenché trop tard • Les deux premiers ne sont enregistrés → Clavier ou souris appuyé trop tard Puis il affine son plumage et replie les ailes.
33. @hellosct1 – Capitole Du Libre 2022 Echantillon coupé • l’enregistrement de l’échantillon est stoppé avant la fin → Il manque une partie de la phrase Les droits de Gielow sont ensuite rachetés au moment de la Réforme protestante.
34. @hellosct1 – Capitole Du Libre 2022 Le dernier mot a été coupé • le ou les derniers mots sont coupés avant la fin de l’enregistrement • La dernière syllabe du mot ‘Montgeroult’ est coupé L’ensemble du groupe scolaire se situe à Montgeroult.
35. @hellosct1 – Capitole Du Libre 2022 Envoyez un rapport • Bouton « signaler »
36. @hellosct1 – Capitole Du Libre 2022 Construire son assistant : dataset
37. @hellosct1 – Capitole Du Libre 2022 Données ouvertes • Décentraliser les données : plus de pouvoir aux utilisateurs et contributeurs – Facile à obtenir, exploiter – Partage des données – Intégration dans d’autres jeux de données – Outiller les communautés https://voice.mozilla.org/fr/datasets
38. @hellosct1 – Capitole Du Libre 2022 Quelques chiffres (Nov. 2022) • 100 langues actives – l’anglais, le français, l’allemand, le Kabyle, l’espéranto, le catalan, le breton, le basque… • + 100000 contributeurs individuels Enregistré / validé • + 200 développeurs
39. @hellosct1 – Capitole Du Libre 2022 Construire son assistant : DeepSpeech
40. @hellosct1 – Capitole Du Libre 2022 DeepSpeech • Speech To Text – Voix vers le texte • Text To Speech – Texte vers la Voix
41. @hellosct1 – Capitole Du Libre 2022 Projets • NVIDIA Nemo – https://github.com/NVIDIA/NeMo • DeepSpeech – https://github.com/mozilla/DeepSpeech • Coqui – https://coqui.ai/ – https://github.com/coqui-ai/stt
42. @hellosct1 – Capitole Du Libre 2022 Comment fait on ? • Modèles – https://github.com/mozilla/deepspeech • Languages – Python / Rust / NodeJS / .Net • Projets locals – Pas de dépendance aux réseaux • Compatilibité Navigateurs – Firefox et les autres
43. @hellosct1 – Capitole Du Libre 2022 Demo : coqui.ai • Coqui STT et TTS • Start https://stt.readthedocs.io/en/latest/TRAINING_INTRO.html $ git clone --recurse-submodules https://github.com/coqui-ai/STT $ cd STT $ docker build -f Dockerfile.train . -t stt-train:latest $ docker run -it stt-train:latest python -m coqui_stt_training.train --train_files train.csv --dev_files dev.csv --test_files test.csv
44. @hellosct1 – Capitole Du Libre 2022 Raspberry PI : spchcat (1/ • Dépendance – Pulseaudio libpulse0 libsox3 – Spchcat • https://github.com/petewarden/spchcat • Modèle – curl -LO https://github.com/coqui-ai/STT/releases/download/v0.9.3/coq ui-stt-0.9.3-models.pbmm – curl -LO https://github.com/coqui-ai/STT/releases/download/v0.9.3/coq ui-stt-0.9.3-models.scorer – sudo wget https://coqui.gateway.scarf.sh/french/commonvoice-fr/v0.8/mo del.tflite
45. @hellosct1 – Capitole Du Libre 2022 Raspberry PI : spchcat (2/ • Start spchcat --language=fr_FR pi@demo-gf-2:~ $ spchcat --source file --language en_US audio/4507-16021-0012.wav TensorFlow: v2.3.0-14-g4bdd3955115 Coqui STT: v1.1.0-0-gf3605e23 why should one halt on the way https://github.com/petewarden/spchcat
46. @hellosct1 – Capitole Du Libre 2022 https://voice.mozilla.org
47. @hellosct1 – Capitole Du Libre 2022 Alors • Pensez à faire des pauses • Changez vous l’esprit • Un peu de détente
48. @hellosct1 – Capitole Du Libre 2022 Allez plus loin ! • Site officiel Common Voice – https://voice.mozilla.org/ • Common Voice – DeepSpeech Français – https://github.com/Common-Voice/commonvoice-fr • Guide de la communauté – https://github.com/common-voice/community-play book • Nous contacter – Forum Discourse Francophone • https://discourse.mozilla.org/c/voice/fr
49. @hellosct1 – Capitole Du Libre 2022
50. @hellosct1 – Capitole Du Libre 2022 Merci Christophe Villeneuve @hellosct1 @hellosct1@mamot.fr