Share
Embed
Transcript
49 slides
-
࣍ • Իใॲཧೖʢʙ5ʣ • Իมٕज़ೖʢ20ʣ • ศརͳύοέʔδɾιϑτΣΞͷհʢΓ࣌ؒʣ ߴߍଔۀఔͷʮಈʯͷࣝલఏͱ͠·͢; ৼ෯ɺपͳͲ
ຊൃදͰԻΛྲྀ͠·͢ͷͰɺ͓खݩͷPCͷԻྔʹ͝ҙΛʂ 3 -
ԻͱԿ͔ʁ • ۭؒΛΘΔʮʯ • ۭؾࢠͷૈີ͕ΘΔʢഏ → → ޱ→ۭؒʣ •
ίϛϡχέʔγϣϯͷʮϝσΟΞʯ • ݴޠײɺऀੑͳͲΛ͑Δഔମ • จԽɾܳज़ʹ͓͚ΔʮՃՁʯ • ਓͷ৺Λಈ͔͢Վএ 5 Tokyo BISH Bash ! Tokyo BISH Bash ̇ Tokyo BISH Bash ͕ྑ͍Μͩͬͯ͞ -
Իʹؚ·ΕΔ̏ͭͷใ 6 ݴޠใ ύϥݴޠใ ඇݴޠใ ςΩετԽ͕Մೳ • ςΩετԽ͕ෆՄೳ • ऀ͕ҙਤతʹੜ
• ײଶͳͲ • ςΩετԽ͕ෆՄೳ • ऀ͕ҙਤ͠ͳ͍ • ྸੑผɺऀੑ Ի تͼͷ ײ ʮ"͞Μʯ ͱ͍͏ใ "͞Μ -
ԻใॲཧͱԿ͔ʁ Իʹؚ·ΕΔʮ̏ͭͷใʯΛՃ/ಉఆ/ॲཧ͢Δٕज़ • Ի߹ɺԻೝࣝɺऀೝࣝɺײೝࣝɺԻมɺͳͲ ⇒ ຊߨԋʮԻมʯʢಛʹऀมʣʹϑΥʔΧε • ԻมɿݴޠใΛอ࣋ͭͭ͠ऀͷಛੑΛมߋ͢Δٕज़ 7 ऀͷมߋ
͠ํɾײͷมߋ ຊߨԋͷ ओ ͬͪ͜ˠ ඇݴޠใͷΈΛมߋ ύϥݴޠใͷΈΛมߋ -
ԻใॲཧͱԿ͔ʁ Իʹؚ·ΕΔʮ̏ͭͷใʯΛՃ/ಉఆ/ॲཧ͢Δٕज़ • Ի߹ɺԻೝࣝɺऀೝࣝɺײೝࣝɺԻมɺͳͲ ⇒ ຊߨԋʮԻมʯʢಛʹऀมʣʹϑΥʔΧε • ԻมɿݴޠใΛอ࣋ͭͭ͠ऀͷಛੑΛมߋ͢Δٕज़ 8 มख๏໊
ݴޠใ ύϥݴޠ ใ ඇݴޠ ใ Իӆม ྫ Bˠ J มߋ ݻఆ ݻఆ ײม ྫ ت ˠ ౖ ݻఆ มߋ ݻఆ ऀม ྫ ঁੑ"ˠ உੑ# ݻఆ ݻఆ มߋ -
Իͷੜաఔʢͬ͘͟Γͱʣ • ָ࣮ثͱྨࣅ 12 ઉޱͷܗΛมܗ ଳͷ։ดʹΑΔ ۭؾͷৼಈ ϛοΫεʂ Ի৭ Իߴ
ʹͳͬͯग़ͯ͘Δ ์ࣹ ʮ͜Μʹͪʯ https://ahcweb01.naist.jp/lecture/2018/sp/ material/20181108_slide.pdf ࢀߟ ͜Μʹͪ -
Իͷੜաఔʢपੳͷ؍͔Βʣ • पಛੑදݱ 13 ύϫʔ प Ի৭ͷ༩ʢڞ໐ʣ ͳΊΒ͔ ύϫʔ प
ԻߴͷੜʢԻݯʣ ΪβΪβ มௐ ύϫʔ प पಛੑ ˞ͳΊΒ͔ɿεϖΫτϧแབྷ ˞ΪβΪβɿඍࡉߏ ˞มௐɿΈࠐΈૢ࡞ -
ԻੜաఔͷϞσϧԽʢʣ • εϖΫτϧแབྷԻڹͷ࿈݁Ͱදݱ • ͷͲͷܗͱͷ௨ΓಓʢಓʣΛදݱ • ͷͲͷܗͷݸਓࠩ = εϖΫτϧแབྷͷݸਓࠩ ⇒ʮ৭ʯ
18 ʮʯͷ࿈݁ ଳଆ ޱ৶ଆ प ύϫʔ εϖΫτϧแབྷ -
ԻੜաఔͷϞσϧԽʢʣ • Իݯ৴߸ΛԻڹʹ௨͢⇒ ԻੜʢϑΟϧλϦϯάʂʣ 19 ༗Ի ແԻ Իݯ Իݯ৴߸ εϖΫτϧแབྷ
Իੜ ˎ ʹ ԻڹʢεϖΫτϧแབྷʣ ߹ܗ ԻݯHTS slide ΑΓ http://hts.sp.nitech.ac.jp/?Download ݩͷԻ -
Իಛྔͷऔಘʢʣ • Իͷੜաఔʹج͍ͮͯಛྔΛநग़͠࠶߹ ⇒ ϘίʔμʔʢVocoderʣͷద༻ 20 ৭ ʢεϖΫτϧแབྷʣ ͷߴ͞ ʢجຊपʣ
͔͢Ε۩߹ ʢඇपظੑࢦඪʣ Իੳ Իੜ ʮ͜Μʹͪʯ ʮ͜Μʹͪʯ -
Իੳ͔ΒԻੜ·ͰͷྲྀΕ • 23 Իੳ εϖΫτϧ แབྷ جຊप ඇपظੑ ࢦඪ Իੜ
ᶃԻΛੳͯ͠ ಛྔϕΫτϧͷ ܥྻΛखʹೖΕΔ ʜ ʜ ੳ୯Ґ ʹϑϨʔϜ ᶅੜ͞ΕͨܗΛ ॏͶ߹ΘͤΔ ᶄ֤ϑϨʔϜͷಛྔΛ Ϙίʔμʔʹ௨͢ ᶆݩͷԻܗ͕ ࠶ߏ͞ΕΔ ʜ ੳ ੜ -
ԻมʢϘΠενΣϯδϟʔʣͷߟ͑ํ 24 Իੳ εϖΫτϧ แབྷ جຊप ඇपظੑࢦඪ Իੜ • ৴߸ॲཧͰม
• ػցֶशͰม Իಛྔͷม Իม ಛྔؒͷࣸ૾ -
ύϥϝʔλ੍ޚʹΑΔԻՃʢʣ • ղͨ͠ԻಛྔͷՃ 25 ৭ ʢεϖΫτϧแབྷʣ ͷߴ͞ ʢجຊपʣ ͔͢Ε۩߹ ʢඇपظੑࢦඪʣ
Իੳ Իಛྔʢύϥϝʔλʣ Իੜ Ͳ͔͜ͷ#͞Μ ʮ͜Μʹͪʯ มɾՃॲཧ "͞Μ ʮ͜Μʹͪʯ -
ύϥϝʔλ੍ޚʹΑΔԻՃʢʣ • جຊपͷมߋ 26 ࣌ؒ ଳԻݯʢύϧεܥྻʣ ִؒΛڱΊΔ ִؒΛ͛Δ ݩͷ ߴ͍
͍ ߴ͘͘ ͳΔ͕ ෆࣗવ͕͞Δ -
ύϥϝʔλ੍ޚʹΑΔԻՃʢʣ • ϑΥϧϚϯτγϑτ ⇒ ಓͷ৳ॖ ʹରԠ 27 प ύϫʔ ࠨʹγϑτ
ӈʹγϑτ ͬͨ͜ʁ ཧతͳղऍɿ • ಓ͕͍ 㱺 ࢠڙঁੑ • ಓ͕͍ 㱺 େਓஉੑ Ӊਓʁ ಓͷॖ ಓͷ৳ ݩͷ -
ύϥϝʔλ੍ޚʹΑΔԻՃʢʣ • पˍϑΥϧϚϯτͷมߋ ⇒ ΑΓࣗવͳΛ߹ 28 ݩͷ ࠨγϑτ ˍ ڱִ͍ؒ
ӈγϑτ ˍ ִ͍ؒ ࢠڙঁੑͷ ଠ͍ -
σϞϯετϨʔγϣϯ ݚڀࣨͷֶੜ͞Μ͕࡞ͨ͠ΞϓϦ • εϥΠμʔͰύϥϝʔλ੍ޚ • ҎԼΛϕʔεͱͯ͠࡞ • $ ൛ 803-%
˞̍ • +6$&˞̎ 29 ˞̍ɿߴ࣭Ϙίʔμʔͷ̍ͭ ˞̎ɿΦʔσΟΦܥΞϓϦͷ ։ൃʹదͨ͠$ ϑϨʔϜϫʔΫ εϥΠμʔͰ ੍ޚ εϖΫτϧ දࣔ Ӷҙ։ൃதͰ͢ʂ -
౷ܭత࣭ม • ౷ܭϞσϧΛར༻ͯ͠ԻಛྔΛม ⇒ ಛྔͷରԠؔʢࣸ૾ʣΛେྔͷσʔλͰֶश͓ͯ͘͠ඞཁ 31 Իੳ Իੜ #͞Μʮ͜Μʹͪʯ ౷ܭϞσϧ
ʹΑΔม "͞Μʮ͜Μʹͪʯ εϖΫτϧแབྷ جຊप ඇपظੑࢦඪ • Ψεࠞ߹Ϟσϧ • χϡʔϥϧωοτ ൃ༰Λอͪͭͭ ऀͷ࣭Λม https://www.slideshare.net/KentaroTachibana1/ss-94259438 ࢀߟ ϘίʔμʔʹΑΔ Իੜ -
ൃలͷํੑʢʣ • ͦͷ̍ɿϘίʔμʔͷԻ࣭Λྑͯ͘͠ੑೳ্ ⇒ χϡʔϥϧϘίʔμʔͷొʢ2017Ҏ߱ʣ ࢀߟʰԻܗੜϞσϧʮχϡʔϥϧϘίʔμʯͷൺֱʱ(2019.10) ͳͲ • ͦͷ̎ɿϘίʔμʔΛΘͣʹ࣭มʂ ࠩεϖΫτϧิਖ਼ʹج࣭ͮ͘ม
⇒ ϘίʔμʔʹΑΔԻ࣭ͷྼԽΛܰݮՄೳɺϦΞϧλΠϜࢤ 32 https://www.slideshare.net/Takuma_OKAMOTO/ss-180895505 • ཁɿߴ࣭ɺߴͳ߹ɺֶश͕༰қɺলϝϞϦԽɺɺɺ ⇒ ԻมγεςϜʹΈࠐΜͰੑೳ্Λࢦ͢ -
ൃలͷํੑʢʣ • ͦͷ̎ɿԻͷՃऩʹ͔͔ΔίετΛԼ͛Δʂ • ͦͷ̏ɿ࣭͚ͩͰͳ͘ײมʂ • ͦͷ̐ɿ͚ͩ͠Ͱͳ͘Վͷ࣭มʂ • ͦͷ̑ɿϦΞϧλΠϜ͔ͭߴ࣭ͳ࣭มʂ ʮχϡʔϥϧωοτશʯͷ࣌
• χϡʔϥϧωοτͷೖྗଆͱग़ྗଆʹԿΛ࣋ͬͯ͘Δ͔͕ΧΪ • σʔλ͑͞༻ҙͰ͖Εࣸ૾ֶ͕शͰ͖Δ͔ʢͰ͖Δͱݴͬͯͳ͍ʣ • ৴߸ॲཧʹجͮ͘ख๏͜Ε͔Β݈ࡏʢͷͣʣ 33 -
TPYQZTPY • ίϚϯυϥΠϯ͔ΒϑΥʔϚοτมͳͲΛ͓खܰʹ • ϑΥʔϚοτมʢwav to mp3 ͳͲʣ • ݁߹ϛοΫεɺτϦϛϯά
Մೳ • όονॲཧָʢγΣϧεΫϦϓτͳͲʣ • Pythonϥούʔ pysox͋Δ • Πϯετʔϧ • brew install sox ͳͲ • pip install sox ← pysox ͷΠϯετʔϧ͜Ε 35 -
MJCSPTBʢ͜ΕຊʹΦεεϝʣ • Ի/ԻָͷੳʹศརͳϞδϡʔϧ͕ଗͬͨύοέʔδ • ެࣜϚχϡΞϧɾνϡʔτϦΞϧͷॆ࣮ॿ͔Δ • ݸਓతʹΑ͘͏ػೳ • ܗදࣔɺεϖΫτϩάϥϜදࣔ •
Իಛྔநग़ʢରϝϧεϖΫτϩάϥϜʣ • Πϯετʔϧ pip install librosa • ެࣜϖʔδ https://librosa.org/librosa/index.html 36 -
1Z8PSME • Իͷੳ࠶߹Λߦ͏Ϙίʔμʔͷύοέʔδ • ԻΛʮ৭ɾͷߴ͞ɾͷ͔͢Εʯͷ֤ʹղ͠࠶߹ • C++൛ͷPythonϥούʔ • Իͷಛྔநग़ʹ͑ͯศར ⇒
PySPTKʢޙड़ʣΑΓ࣭ͷΑ͍εϖΫτϧแབྷ • Πϯετʔϧ pip install pyworld • ެࣜϖʔδ https://github.com/JeremyCCHsu/Python-Wrapper-for-World-Vocoder 37 -
1Z"VEJP • ετϦʔϜԻ / ࠶ੜʹศརͳύοέʔδ • ϦΞϧλΠϜͷԻೖྗɾԻग़ྗʹ͑Δ • ϦΞϧλΠϜԻม with
PythonͳͲՄೳ • Πϯετʔϧ • pip install pyaudio ཁportaudio (e.g., brew install portaudio) 38 -
1Z"VEJPͱ1Z8PSMEͷΈ߹Θͤ • ؆қ൛ͷϘΠενΣϯδϟʔ • ؆қϘΠενΣϯδϟʔͷεΫϦϓτΛվྑɿPyQt5ͷεϥΠμʔʹΑΓ ϐονͱϑΥϧϚϯτΛϦΞϧλΠϜௐ͢ΔػೳΛՃʢฐϒϩάʣ • banibiku • Zoom৴͚ʹ̎࣍ݩΩϟϥʹͳΓ͖Δ͜ͱΛࢦͨ͠ϓϩδΣΫτ
• scripts/voice_converter.py ͕ྑ͍ײ͡ͷϘΠενΣϯδϟʔ → ฐϒϩάͷαϯϓϧεΫϦϓτͷόάϑΟοΫεؚ͕·ΕΔ 39 https://tam5917.hatenablog.com/entry/2019/04/30/213321 https://github.com/peisuke/babiniku -
1Z415, • ԻใॲཧπʔϧΩοτSPTKͷPythonϥούʔ • SPTKࣗମLinuxίϚϯυ܈ • Իڹಛྔநग़ʹ͏ͷ͕ศར • Իੳ߹Ͱ͖Δ͕ɺ࣭ࣗମWORLDͷ΄͏্͕ •
Πϯετʔϧ pip install pysptk • ެࣜϖʔδ https://pysptk.readthedocs.io/en/latest/ 43 -
OONOLXJJ <OBOBNJO LBXBJJ> • DNNԻ߹ʹཱͭϞδϡʔϧΛूΊͨύοέʔδ • ͲͪΒ͔ͱ͍͏ͱݚڀ༻్ • લॲཧԻڹಛྔநग़ͷΫϥε͕Ұ௨Γଗ͍ͬͯΔ •
จͷ࠶ݱ࣮Λ͢Δͱ͖ͳͲʹେ͍ʹཱͭ • Πϯετʔϧ pip install nnmnkwii • ެࣜϖʔδ https://r9y9.github.io/nnmnkwii/stable/index.html 44 -
1ZEVC • Pydub • ܗฤूʹศརͳϞδϡʔϧΛूΊͨύοέʔδ • αϙʔτ͢ΔϑΝΠϧܗࣜ๛ʢwav, mp3, mp4, wma,
aac, ...ʣ • ػೳ Γग़͠ɺׂɺϛοΫεɺϑΣʔυΠϯΞτɺແԻૠೖɺͳͲͳͲ • Ұ෦ͷػೳ pysoxͷ΄͏͕ߴͱ͍͏ӟ?ʢະ֬ೝʣ • Πϯετʔϧ pip install pydub • ެࣜϖʔδ http://pydub.com/ 45 -
TQSPDLFU • ౷ܭత࣭มͷͨΊͷπʔϧΩοτ (not ύοέʔδ) • ͲͪΒ͔ͱ͍͏ͱݚڀ༻ ʢMITϥΠηϯεʣ • ݚڀͷʮϕʔεϥΠϯʯߏஙʹ࠷ద
• ެࣜϖʔδ https://github.com/k2kobayashi/sprocket • ղઆจ ʰ౷ܭత࣭มιϑτΣΞೖʱ https://www.jstage.jst.go.jp/article/isciesci/62/2/62_69/_article/-char/ja/ • νϡʔτϦΞϧ (εϥΠυ & notebook) https://github.com/kan-bayashi/INTERSPEECH19_TUTORIAL 46 -
ͦͷଞ • Voidol • ϦΞϧλΠϜ࣭มʢ༗ྉʣ • ࣗͷΛλʔήοτͷΩϟϥʹม • Realtime Yukarin
• ϦΞϧλΠϜ࣭ม • Gachikoe! Core • ϦΞϧλΠϜ࣭ม 48 https://crimsontech.jp/apps/voidol/ https://blog.hiroshiba.jp/realtime-yukarin-introduction/ https://booth.pm/ja/items/1236505 -
͓·͚ • GoogleԻ߹ɺԻೝࣝɺ༁APIͷPythonϥούʔ ⇒ gTTS, SpeechRecognition, googletrans • ͦΕͧΕΛ͓ࢼ͠ͰͬͯΈΔʹे •
ࢀߟ GoogleԻೝࣝͷ݁ՌΛGoogle༁͠ɺGoogle Text-to-SpeechͰ Իʹ͢PythonεΫϦϓτʢฐϒϩάʣ https://tam5917.hatenablog.com/entry/2019/04/28/191946 49 -
͓ΘΓʹ • Իใॲཧͷʢʣೖ Իʹؚ·ΕΔใʢݴޠɾύϥݴޠɾඇݴޠʣΛॲཧ ⇒ Ի߹Իೝࣝɺऀ/ײೝࣝɺԻม ͳͲ • Իมٕज़ͷհ ϘΠενΣϯδϟʔͷΈɿԻͷੜաఔͷϞσϧԽ͕جૅ
• ศརͳʢPythonʣύοέʔδΛհ 50 ԻใॲཧɾԻมٕज़ʹ ڵຯΛ࣋ͬͯΒ͑ͨΒ͍Ͱ͢