Share
Embed
メディアが運用すべき持続可能なVTuberをつくる技術
PyCon JP 2019 (2019/09/17) @Hirosaji
https://pycon.jp/2019/
Hirosaji
September 17, 2019
Transcript
37 slides
-
ͳͥϝσΟΞ͕75VCFSΛʁ 75VCFSӡ༻Ͱى͜Δ՝ΛղܾͰ͖ΔϦιʔε ͕͋Δ͔Β ɾಈը੍࡞ίετ ɾதͷਓͷଐਓੑ ՝ "35*$-&4 ʢςΩετσʔλʣ +063/"-*454 ʢ৭ʑͳઐՈʣ
Ϧιʔε ղܾ ʮϝσΟΞ͕75VCFSʁʯͱࢥ͏͔͠Ε·ͤΜ͕ɺҙ֎ͱ༗ޮͳΜͰ͢ɻ -
Ͳ͏ͬͯࣗಈੜ͢Δͷʁ 5FYUUP(FTUVSF 55( ίʔύεͰɺϞσϧͷϞʔγϣϯΛ ཧ͢Δ࣌ܥྻσʔλΛ࡞Δɻ 5FYUUP4QFFDI 554 Ի߹ϞσϧͰςΩετσʔλΛ Իσʔλʹม͢Δɻ 7*%&0
/-1GPS5FYU1SFQSPDFTTJOH ੜͷςΩετσʔλΛมɾΫϨϯδϯάɾߏԽ͢Δɻ ·ͨɺඞཁʹԠͯ͡ɺޙͷ55(ʹ͏ίʔύε࡞͢Δɻ "35*$-&4 ʢςΩετσʔλʣ ( ) ࣗવݴޠԻ߹ͳͲɺػցֶशͰࣗಈੜγεςϜΛߏங͠·͢ɻ -
࠷ָͳ࣮ྫὊ "NB[PO4VNFSJBOΛ͏ 65+6$- ࣗಈੜܕ75VCFSɿ۩ମྫᶄ 5FYUUP(FTUVSF 55( ɾ(FTUVSF.BQͰϞʔγϣϯཧ ɾ͖݅ͰϞσϧՃՄೳ ɾΧελϜϞʔγϣϯΛՃՄೳ ʢ.#ҎԼͷGCY
PCKʹݶΔʣ 5FYUUP4QFFDI 554 ɾ"NB[PO1PMMZ͕ར༻Մೳ ɾԻ߹ϞσϧͷՃෆՄ ɾӳޠͪΖΜຊޠʹରԠ ʢ݄ݱࡏʣ ೖ͢Δ͚ͩͳΒ͘Β͍ͰɺϊϯίʔσΟϯάͰग़དྷ·͢ɻ -
࣭มͷجૅ 7PJDF$POWFSTJPOʢ࣭มʣͷ֓ཁ "OBMZTJT ੳ $POWFSTJPO ม 4ZOUIFTJT ߹ ೖྗͨ͠Λɺಛఆͷʹม͢Δٕज़ɻ ੳɾมɾ߹ͷ̏ͭͷஈ֊Ͱม͢Δɻ
࣭มͰجຊɺ̏ͭͷஈ֊ʹ͚ͯԻΛม͠·͢ɻʢ&&Μʣ -
࣭มʹΑ͘ར༻͞ΕΔʮԻڹಛྔʯ "OBMZTJT ੳ $POWFSTJPO ม 4ZOUIFTJT ߹ جຊप' ϝϧέϓετϥϜ
ඇपظੑࢦඪ جຊप' ϝϧέϓετϥϜ ඇपظੑࢦඪ Ի͔ΒʮԻڹಛྔʯʹநग़ͯ͠ѻ͏ɻ Իͷߴ͞ɺͷ͔͢Ε۩߹ͱ͍ͬͨࢦඪΛ͏ɻ ʢجຊप' ʢඇपظੑࢦඪ Ի͔ΒԻڹಛྔΛநग़͠ɺมมϞσϧͷߏஙʹར༻͠·͢ɻ ࣭มͷجૅ -
"OBMZTJT ੳ $POWFSTJPO ม 4ZOUIFTJT ߹ جຊप' ϝϧέϓετϥϜ ඇपظੑࢦඪ
جຊप' ϝϧέϓετϥϜ ඇपظੑࢦඪ ಛʹಛతͳͷ͕ϝϧέϓετϥϜ .$&1 ɻ ͷߏΛදݱͨ͠ɺॏཁͳԻڹಛྔͰ͋Δɻ தͰ.$&1ಛʹॏཁɻػցֶशͷֶशରͱͳΔͷɺ͍ͭ.$&1ɻ ʮϝϧέϓετϥϜʯಛʹॏཁ ࣭มͷجૅ -
"OBMZTJT ੳ $POWFSTJPO ม 4ZOUIFTJT ߹ جຊप' ϝϧέϓετϥϜ ඇपظੑࢦඪ
جຊप' ϝϧέϓετϥϜ ඇपظੑࢦඪ ϝϧέϓετϥϜ .$&1 ͱɺ ϝϧईͰεέʔϧͨ͠έϓετϥϜͷ͜ͱɻ ʢˢߴ͍Իͷҧ͍ʹಷײͳɺਓͷௌ֮Λߟྀͨ͠ईʣ 㱠ϝϧपέϓετϥϜʢ.'$$ʣ ʢ ʣ ʮϝϧέϓετϥϜʯͱʁ .$&1ɺϝϧईͰਓؒͷௌ֮Λߟྀͨ͠ʮέϓετϥϜʯͰ͢ɻ ࣭มͷجૅ -
ʮέϓετϥϜʯͱʁ प<)[> ରৼ෯<E#> έϓετϥϜʢ࣍ݩʣ ରৼ෯<E#> ࣌ؒ<NT> ৼ෯ ରৼ෯<E#> प<)[> ରৼ෯<E#>
प<)[> έϓετϥϜ ରύϫʔεϖΫτϧ Իܗ εϖΫτϧแབྷ εϖΫτϧඍࡉߏ ߲࣍Λ''5 ߴ߲࣍Λ''5 J''5 ''5 ί Ϩ έϓετϥϜΛ͑ɺ࣍ݩͰʮεϖΫτϧแབྷʗඍࡉߏʯΛදݱՄೳɻ ࣭มͷجૅ -
ʮέϓετϥϜʯͱʁ प<)[> ରৼ෯<E#> έϓετϥϜʢ࣍ݩʣ ରৼ෯<E#> ࣌ؒ<NT> ৼ෯ ରৼ෯<E#> प<)[> ରৼ෯<E#>
प<)[> έϓετϥϜ ରύϫʔεϖΫτϧ Իܗ εϖΫτϧแབྷ εϖΫτϧඍࡉߏ ߲࣍Λ''5 ߴ߲࣍Λ''5 J''5 ''5 ί Ϩ έϓετϥϜΛ͑ɺ࣍ݩͰʮεϖΫτϧแབྷʗඍࡉߏʯΛදݱՄೳɻ ࣭มͷجૅ ࣍ݩʢগͳ͍ใʣͰ දݱՄೳɻ -
ʮεϖΫτϧแབྷʗඍࡉߏʯͱʁ ಓΛੜ ޱ৶ͷܗɺઉͷҐஔʹΑͬͯ ܾ·ΔԻͷใɻ ʢԻૉͳͲʣ ഏ͔ΒૹΔۭؾͷྔɺͷకΊ ۩߹ʹΑܾͬͯ·ΔԻͷใɻ ʢԻͷେ͖͞ߴ͞ͳͲʣ ଳΛੜ ੳ
εϖΫτϧแབྷ εϖΫτϧඍࡉߏ εϖΫτϧแབྷʗඍࡉߏɺಓଳͰ࡞ΒΕΔԻͷͷ͜ͱɻ ࣭มͷجૅ -
มϞσϧΛߏங͢Δݚڀಈ ࣭มϞσϧͷදతͳֶशख๏ ଓ͍ͯɺԻڹಛྔΛֶशͤ͞ΔϞσϧʹ͍ͭͯɻදతͳͷ͕ίνϥɻ "OBMZTJT ੳ 4ZOUIFTJT ߹ جຊप' ϝϧέϓετϥϜ
ඇपظੑࢦඪ جຊप' ϝϧέϓετϥϜ ඇपظੑࢦඪ ઢܗม ແม ৭ʑ ػցֶशʹΑΔਪఆɺ ϝϧέϓετϥϜͷΈͷ߹͕ଟ͍ɻ $POWFSTJPO ม -
ͪΐͬͱ͚ͩએ ຊͷൃද༰ͷ ৄ͍͠ղઆɺ དྷिͷٕज़ॻయ̓Ͱ ൦༧ఆͰ͢ɻ ʙ ାαϯγϟΠϯγςΟ' లࣔϗʔϧ$͍$
ಉ༷ͷ༰Λগ͠ৄ͘͠ॻ͍ͨهࣄΛࡌͤͨຊΛɺདྷि൦͠·͢ɻͥͻɻ -
5IBOLZPV Ҏ্ɺ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ SFMBUFEEPDT ɾAIχϡʔεΩϟελʔʮ࣮ΤϦΧʯ։ൃऀΠϯλϏϡʔ https://note.mu/nikkei_jisedai/n/n4fc1cd3fd9b5 ɾԻੳ߹αϯϓϧίʔυ https://github.com/Hirosaji/toy-codes/blob/master/handle_wav/forPyCon/ analyze_and_synthesize_wav.py ɾhujinsen /
StarGAN Voice Conversion https://github.com/hujinsen/StarGAN-Voice-Conversion ɾLearn Amazon Sumerian https://docs.sumerian.amazonaws.com/ -
5IBOLZPV Ҏ্ɺ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ SFGFSFODF ɾӋాཅҰɼେໜथɼ୩ढ़հɿԻڹֶೖϖσΟΞ, ίϩφࣾʢ2017ʣ ɾকխɿԻੳ߹, ίϩφࣾʢ2018ʣ ɾߥ ɼߴಓ ৻೭հɼԐ
༸ɿϦΞϧλΠϜDNNԻมͷ࣮ͱσʔλ ɹ֦ு๏ʹΑΔԻ࣭վળ๏, ຊԻڹֶձ2019य़قݚڀൃදձߨԋจू, ɹ1-10-4.ʢ2019ʣ ɾToda, T., Black, A. W. and Tokuda, K.: Voice conversion based on ɹmaximum-likelihood estimation of spectral parameter trajectory, IEEE T. ASLP.ʢ2007ʣ -
5IBOLZPV Ҏ্ɺ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ SFGFSFODF ɾTakuhiro, K. and Hirokazu, K.: Parallel-Data-Free Voice
Conversion ɹUsing Cycle-Consistent Adversarial Networks, arXiv.ʢ2017ʣ ɾFuming, F., Junichi Y., Isao, E., and Jaime, L. T.: High-quality ɹnonparallel voice conversion based on cycle-consistent adversarial network, ICASSP.ʢ2018ʣ ɾKameoka, H., Kaneko, T., Tanaka, K., Hojo, N.ɿStarGAN-VC: Non-parallel ɹmany-to-many voice conversion using star generative adversarial networks., In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 266-273, IEEE.ʢ2018ʣ