Voix et machines

Présentation effectuée à la VIP (Very important party) (29 juin 2019) par Christophe Villeneuve sur "Voix & machines".
Vous allez voir l'avancé de ces appareils, des projets libres comme Common Voice et DeepSpeech, le moyen de participer et de contribuer
Consulter le site officiel https://voice.mozilla.org

Transcript

1. Voix & Machines Christophe Villeneuve @hellosct1 @hellosct1@mamot.fr Very Important Party 2019
2. Christophe Villeneuve ? • Consultant • Dresseur animaux Free Software
3. @hellosct1 - Very Important Party 2019 Aujourd’hui • Assistants vocaux • Construire son Assistant • Avec une communauté, c’est mieux
4. Assistants vocaux Construire son Assistant Avec une communauté, c’est mieux
5. @hellosct1 - Very Important Party 2019 Assistant numérique : au service de l’utilisateur • Smartphone • Enceinte connectée • Mixed Reality Souvent utilisé dans des contextes où la voix est plus efficace pour communiquer
6. @hellosct1 - Very Important Party 2019 Matériels
7. @hellosct1 - Very Important Party 2019 Traitement de la voix • Obligation d’un réseau – Connecter aux internets • Accès aux services cloud pour pouvoir fonctionner – Entrainement et transcription gourmands en calculs • Contraintes – Souvent laissé à des services tiers en-ligne – Nécessite beaucoup de données audio avec texte associé – Voix personnelle, mais enregistrement parfois constant
8. @hellosct1 - Very Important Party 2019 Fonctionnement Assistant vocaux Requêtes Résultat Traitement
9. @hellosct1 - Very Important Party 2019 L’utilisation de la recherche vocale aujourd’hui 2016 2020 2016 2020
10. @hellosct1 - Very Important Party 2019 Aujourd’hui : Un constat • Des gros acteurs (4-5) – Dominé par les géants du Web d’aujourd’hui • Difficile d’accès pour les petits acteurs – Développeurs logiciels – Langues et marchés « minoritaires » • Alternative pour outiller la communauté – Emergence d’outils vocaux → Projet Common Voice de Mozilla Verrous de l’écosystème vocal Verrous de l’écosystème vocal
11. @hellosct1 - Very Important Party 2019 Alternative • Raspberry PI – Respeaker 2 – Mics PI Hat • Arduino – Movi d’Audème – Grasp.io – Voice Recognition • Briques pour Les assistants vocaux – Common Voice – DeepSpeech de Mozilla
12. @hellosct1 - Very Important Party 2019 Ingrédients
13. Assistants vocaux Construire son Assistant Avec une communauté, c’est mieux
14. Construire son assistant Projet Common voice
15. @hellosct1 - Very Important Party 2019 Objectifs (1/2) • Cassons les barrières de la voix – Accès : peu de gros jeux de données publiquement accessibles – Coût : ticket d’entrée important pour les jeux de données commerciaux, avec des complexités légales – Biais : seuls certains marchés sont bien pourvus
16. @hellosct1 - Very Important Party 2019 Objectifs (2/2) • Collecte de données ouvertes pour l’apprentissage machine • Données : audio et texte correspondant • Diversité – Langues – Accents – Ages – Genres – Qualité sonore • Nous visons 10 000 heures de données validées par langue : https://voice.mozilla.org
17. @hellosct1 - Very Important Party 2019 Voice.mozilla.org → Parler https://voice.mozilla.org/speak
18. @hellosct1 - Very Important Party 2019 Voice.mozilla.org → Ecouter https://voice.mozilla.org/listen
19. @hellosct1 - Very Important Party 2019 Proposer et valider de nouvelles phrases • Posséder un compte sur Common Voice. • Identifiez-vous sur le Collecteur de phrases – Avec vos identifiants de Common Voice. Validation des phrases Page → page de validation. Ajouter de nouvelle phrases Page → Ajouter une nouvelle phrase
20. @hellosct1 - Very Important Party 2019 Collecteur de phrases : Ajouter https://common-voice.github.io/sentence-collector/
21. @hellosct1 - Very Important Party 2019 Collecteur de phrases : Valider https://common-voice.github.io/sentence-collector/
22. Construire son assistant Projet Deep Speech
23. @hellosct1 - Very Important Party 2019 DeepSpeech • Speech To Text – Voix vers le texte • Text To Speech – Texte vers la Voix
24. @hellosct1 - Very Important Party 2019 Données ouvertes • Décentraliser les données : plus de pouvoir aux utilisateurs et contributeurs – Facile à obtenir, exploiter – Partage des données – Intégration dans d’autres jeux de données – Outiller les communautés https://voice.mozilla.org/fr/datasets
25. @hellosct1 - Very Important Party 2019 Ingrédients • Modèles – https://github.com/mozilla/deepspeech • Languages – Python / Rust / NodeJS / .Net • Projets locals – Pas de dépendance aux réseaux • Compatilibité Navigateurs – Firefox et les autres
26. @hellosct1 - Very Important Party 2019 Projets disponible • Assistants numériques – Mycroft – Snips – Université de Bangor (Pays de Galles) • Assistant personnel – Leon • Transcription des messages – FusionPBX
27. Assistants vocaux Construire son Assistant Avec une communauté, c’est mieux
28. @hellosct1 - Very Important Party 2019 Construire une communauté Mozilla ne serait rien sans sa communauté
29. @hellosct1 - Very Important Party 2019 Accompagner la communauté • Qui est un contributeur ? – Tout le monde ! • Sociétés et startups • Institutions et chercheurs • Hobbyistes individuels • Utiliser c’est déjà contribuer : télémétrie dans Firefox Commencer à contribuer est un jeu d’enfants : Enregistrez votre voix et écoutez celles des autres. Commencer à contribuer est un jeu d’enfants : Enregistrez votre voix et écoutez celles des autres.
30. @hellosct1 - Very Important Party 2019 Exemple • Le cas du kabyle – Région d’Algérie, avec sa propre langue ≈ 5M locuteurs localement (≈ 25 − 30M dans le monde) – Forte culture locale – Déjà des contributeurs qui traduisent Firefox – Implication forte : ≈ 300 contributeurs, et plus de 95 heures déjà collectées • Chercheurs et institutions – Contributions de gouvernements pour leur langue – Université de l’Illinois : Flickr30k, 130 000 phrases supplémentaires – Benchmark non biaisé : Speech Advisory Group
31. @hellosct1 - Very Important Party 2019 Contributions par les faits • Plus de 30 langues actives, dont l’anglais, l’allemand, le kabyle, le français et le catalan, le breton et le basque • En chiffre : – 2018 (novembre) : 1200 heures validées – 2019 (juin) • 2100 heures validées • 2700 heures enregistrées • 112 pays. • Plus de 110000 contributeurs individuels ont enregistré et/ou validé. • Plus de 200 développeurs ont participé. • Jeu de données téléchargé des centaines de fois tous les mois.
32. @hellosct1 - Very Important Party 2019 Répartitions Accent 64% Français de France 3% Français de Belgique 2% Français de Suisse 1% Français du Canada Âge < 19 : 4 % 19 - 29 : 24 % 30 - 39 : 21 % 40 - 49 : 17 % 50 - 59 : 5 % 60 - 69 : 6 % Genre 70 % Masculin 9 % Féminin • Jeux de données vocales disponible – Contenu officiel https://voice.mozilla.org/fr/datasets
33. @hellosct1 - Very Important Party 2019 Comment pouvez-vous aider ? • Parlez-en : partagez votre voix et validez des échantillons • Utilisez le jeu de données, et donnez nous votre point de vue • Améliorez le corpus de texte, en partageant sous licence CC-0 du texte utile • Construisez des outils innovants avec Common Voice et Deep Speech – un assistant numérique local ? – de l’identification de locuteur ? – de la domotique avec contrôle vocal 100% local ?
34. @hellosct1 - Very Important Party 2019 Allez plus loin ! • Site officiel Common Voice – https://voice.mozilla.org/ • Dépôt Github Francophone Common Voice – DeepSpeech – https://github.com/Common-Voice/commonvoice-fr • Nous contacter – Forum Discourse Francophone • https://discourse.mozilla.org/c/voice/fr
35. @hellosct1 - Very Important Party 2019 Merci Christophe Villeneuve @hellosct1 @hellosct1@mamot.fr