HDRオーディオを実装してみて思ったこと

IGDA SIG-Audio#02 (http://www.igda.jp/modules/bulletin/index.php?page=article&storyid=910) で使った資料です

スライドにある動画へのリンクは、以下になります。
41P
http://youtu.be/XBnQuLdzRNU

42P
http://youtu.be/wtw8aokE-aQ

43P
http://youtu.be/wPT76EPJFY8

Transcript

1. )%3ΦʔσΟΦΛ ࣮૷ͯ͠Θ͔ͬͨ͜ͱ ג ࣜ ձ ࣾ η Ψ ୈ Ұ $ 4 ݚ ڀ ։ ൃ ෦ ෰ ෦ ٛ ໌ IGDAɹSIG-Auido ษڧձ #2 13೥1݄20೔೔༵೔
2. ࣗݾ঺հ ෰෦ ٛ໌ʢ@tri_manʣ גࣜձࣾSEGA CS1ݚʹॴଐ ओʹα΢ϯυϓϩάϥϜΛ୲౰ ϓϩδΣΫτʹΑͬͯଞͷύʔτ΋݉೚͠· ͢ʢωοτϫʔΫͱ͔ʣ ࡉ͔͍͜ͱ͸CRI͞ΜϥΠϒϥϦʹ͓೚ͤ 13೥1݄20೔೔༵೔
3. ஫ҙʢݴ͍༁ʣ ࠓճ঺հ͢ΔHDRΦʔσΟΦ͸ɺ࣮૷͸ ͠·͕ͨ͠ϓϩδΣΫτʢBINARY DOMAINʣʹ࠾༻͠·ͤΜͰͨ͠ ͜ͷ࣮૷͸͋͘·Ͱࢲ͕GDCͷߨԋ಺༰ ͔Βਪ࡯ͨ͠΋ͷͰɺFROSTBITEΤϯδ ϯͰ࣮૷͞Ε͍ͯΔ΋ͷͱಉ͡Ͱ͋Δอূ ͸͋Γ·ͤΜ 13೥1݄20೔೔༵೔
4. ࠓ೔ͷ͓࿩ HDRΦʔσΟΦͱ͸Կ͔ʁ HDRΦʔσΟΦͷ࣮૷ํ๏ ܭࢉࣜͷઆ໌ ࣮ࡍʹ࣮૷ͯ͠ͷײ૝ 13೥1݄20೔೔༵೔
5. HDRΦʔσΟΦͱ͸ʁ DICEͷFROSTBITEΤϯδϯͰ࠾༻͞Ε͍ͯ ΔϘϦϡʔϜίϯτϩʔϧγεςϜ GDC2009ʮHow High Dynamic Audio Makes Battlefield:Bad Company GO BOOMʯͱ͍͏η ογϣϯͰ঺հ͞Ε͍ͯΔ http://www.slideshare.net/aclerwall/how-high-dynamic-range-audio- makes-battlefield-bad-company-go-boom-1292018 CryEngine3Ͱ΋αϙʔτ͞Ε͍ͯΔ 13೥1݄20೔೔༵೔
6. HRDͬͯԿʁ High Dynamic Rangeͷུ άϥϑΟοΫεͷHDRϨϯμϦϯά͕ݩωλ ௨ৗ͸ը໘ͷ৭ΛRGB8bitͷ෯Ͱදݱ͢Δ ͕ɺଠཅޫͱϩ΢ιΫͷޫͷࠩ͸8bitͰ͸ऩ ·Βͳ͍ Ұ୴΋ͬͱ෯޿͍஋Ͱܭࢉ͠ɺ࠷ޙʹ8bitʹ ऩΊΔ 13೥1݄20೔೔༵೔
7. طଘͷख๏ͷ໰୊఺ ήʔϜதͷα΢ϯυͷμΠφϛοΫϨϯδ͸ɺ μοΩϯάͳͲΛ࢖ͬͨϑΣΠΫͰ͋Δ खಈௐ੔͠ͳ͖Ό͍͚ͳ͍΋ͷ͕ଟ਺͋Δ ϚϧνϓϨΠϠʔͰ͸ɺͪ͜Β͕૝ఆ͠ͳ͍ྔ ͷSE͕࠶ੜ͞ΕΔ 13೥1݄20೔೔༵೔
8. ࠓ·Ͱͷ৔߹ 13೥1݄20೔೔༵೔
9. BANG!! 13೥1݄20೔೔༵೔
10. HDRΦʔσΟΦͷ৔߹ 13೥1݄20೔೔༵೔
11. ϚεΫ 13೥1݄20೔೔༵೔
12. HDRΦʔσΟΦͷ࣮૷ݪཧ 13೥1݄20೔೔༵೔
13. ࣮૷ݪཧ ԻʹdBsplΛઃఆ͢Δ ͜Ε͕HDRΦʔσΟΦͷΩʔ dBͳͷͰɺݱ࣮ੈքͷ๏ଇ͕࢖͑Δ ϨϯδΛ࣋ͭ஋͸͜Ε͚ͩʂ 13೥1݄20೔೔༵೔
14. ڑ཭ݮਰ Ϧεφʔ͔Βͷڑ཭Ͱܭࢉ͢Δ ௨ৗͷ3Dܭࢉͱಉ͡Α͏ʹɺ֯౓΍ڑ ཭ݮਰΛ࢖͏ ͔͠͠ɺMaxDistance͸࢖Θͳ͍ ݱ࣮ੈքͱಉ͡dBͷݮਰࣜΛద༻͢Δ 13೥1݄20೔೔༵೔
15. ܭࢉํ๏ •͢΂ͯͷԻͷԻྔΛ߹ܭ͢Δ Lcurrent = 10 ⇥ log10( X n 10 Ln 10 ) dB Ln:ͦΕͧΕͷα΢ϯυͷԻྔʢσγϕϧʣ Lcurrent:ݱࡏͷԻྔͷ߹ܭʢԻѹPaʣ 13೥1݄20೔೔༵೔
16. ܭࢉํ๏ HDR”Window”ͷҐஔΛܭࢉ͢Δ ͜Ε͕μΠφϛοΫϨϯδΛܾఆ͢Δ ઌ΄ͲٻΊͨLcurrentΛ࢖ͬͯWindowΛಈ͔ ͠·͢ Lwintop = max(Lcurrent|Lmintop) 13೥1݄20೔೔༵೔
17. ܭࢉํ๏ WintopΛ͔ͭͬͯɺ֤SEͷԻྔ ʢ0.0ʙ1.0ʣΛٻΊΔɻ Afinal = pow 10(Lperceived Lwintop 20 ) 13೥1݄20೔೔༵೔
18. ଞͷύϥϝʔλ MinTop WinTopͷ஋ͷԼݶ WindowSize WinTop͔ΒWindowͷԼ୺·ͰαΠζ ReleseTime Ҡಈͨ͠WinTop͕ݩͷҐஔʹ໭Δ·Ͱͷ 13೥1݄20೔೔༵೔
19. ਤͰઆ໌ 13೥1݄20೔೔༵೔
20. WinTop WindowSize HDRWindow ̔̕dB 65dB 48dB 13೥1݄20೔೔༵೔
21. WinTop HDRWindow ̔̕dB 65dB 48dB ̔̕dB 110 dB 13೥1݄20೔೔༵೔
22. WinTop RelaseTime HDRWindow ̔̕dB 65dB 48dB 13೥1݄20೔೔༵೔
23. Battlefield:Bad CompanyͷಈըͰ֬ೝ 13೥1݄20೔೔༵೔
24. ਺ࣜग़͞Εͯ΋Θ͔ΒͶ͐Αʂ 13೥1݄20೔೔༵೔
25. Իѹͬͯʁ WikipediaͷʮԻѹϨϕϧʯͷઆ໌ΑΓ Իѹp (୯ҐʦPaʧ)ʹରͯ͠ɺԻѹϨϕϧLp (୯Ґ ʦdBʧ)͸࣍ͷΑ͏ʹఆٛ͞ΕΔɻ Lp = 10 × log10(p2/p0 2) = 20 × log10(p/p0) ͜͜Ͱɺج४஋p0= 20 × 10-6 [Pa]Ͱ͋Γɺ͜Ε͸ ੈքڞ௨ͷఆٛͰ͋Δɻ 13೥1݄20೔೔༵೔
26. ࣜͷઆ໌ Li = 20 ⇥ log10 Pi P0 Li = 10 ⇥ log10 P2 i P2 0 10 Li 10 = P2 i P2 0 13೥1݄20೔೔༵೔
27. ࣜͷઆ໌ Lall = 10 ⇥ log10 ✓ P2 1 P2 0 + P2 2 P2 0 + . . . + P2 n P2 0 ◆ Lall = 10 ⇥ log10 ⇣ 10 L1 10 + 10 L2 10 + . . . + 10 L1 10 ⌘ Lall = 10 ⇥ log10 X n ⇣ 10 Ln 10 ⌘ ͢΂ͯͷԻͷԻѹΛ߹ܭͨ͠dBΛٻΊΔ 13೥1݄20೔೔༵೔
28. ࣜͷઆ໌ ΢Οϯυ΢ͷ্୺(Lwintop)ΛҾ͍ͯɺԻѹʹ໭͢ Pn͸0.0ʙ1.0ʹͳΔ Ln Lwintop = 20 ⇥ log10 Pn Ln Lwintop 20 = log10 Pn 10 Ln Lwintop 20 = Pn 13೥1݄20೔೔༵೔
29. ؆୯ͳܭࢉྫ 80dBͱ70dBͷSE͕ൃԻ͞Εͨ৔߹ 10 ⇥ log10 ⇣ 10 80 10 + 10 70 10 ⌘ 10 ⇥ log10 10 8 + 10 7 10 ⇥ log10 10 7 (10 + 1) 10 ⇥ log10 10 7 + log10 11 70 + 10.4 = 80.4dB = Lwintop 13೥1݄20೔೔༵೔
30. ؆୯ͳܭࢉྫ Afinal = pow 10(Lperceived Lwintop 20 ) 1070 80.4 20 = 0.30 1080 80.4 20 = 0.95 wintop͔Β֤ԻͷԻྔ(0.0ʙ1.0)ΛٻΊΔ 13೥1݄20೔೔༵೔
31. ར఺ ίϯτϩʔϧ͠΍͍͢ dBͷ஋͕͢΂ͯͳͷͰɺα΢ϯυؒͷؔ ܎͕༰қ dBͳͷͰɺݱ࣮ͷϧʔϧ͕࢖͑Δ 13೥1݄20೔೔༵೔
32. ͜ͷख๏ͷ໰୊఺ ίϯτϩʔϧͰ͖Δ͜ͱ͕গͳ͍ ݸʑͷԻ͕ฉ͑͜Δอূ͕ແ͍ ͲΕҐͷԻྔʹͳΔ͔༧૝͕͔ͭͳ͍ 13೥1݄20೔೔༵೔
33. վળํ਑ ϧʔϧΛ૿΍͢ΑΓɺྫ֎Λ࡞Δํ͕γϯ ϓϧ ϧʔϧ͕؆୯ͩͱίʔυ͕៉ྷ ΧϦϯάͷ࢓૊ΈΛ࡞Δ 13೥1݄20೔೔༵೔
34. લճͷHDRWindowͷԼ୺ҎԼͷSEΛΧ Ϧϯά͢Δ ڑ཭ݮਰޙͷdBΛ࢖͏ ΧϦϯά༻ͷܭࢉΛߦ͏Θ͚Ͱ͸ͳ͍ͷ Ͱɺίετ͕௿͍ ࣄલΧϦϯά 13೥1݄20೔೔༵೔
35. ࣄલΧϦϯά ϫϯγϣοτͷԻ͸ετοϓͤ͞Δ ϧʔϓԻ͸ϙʔζͤͯ͞ɺ࠶ͼ༗ޮʹͳͬ ͨΒ࠶։ ฉ͔͍ͤͨԻΛฉ͔ͤΔ 13೥1݄20೔೔༵೔
36. ϕετέʔε ॐͷൃ๒Ի vs ண஄Ի ൃ๒Ի͕HDR WindowͷTopΛԡ্͛͠ ͯɺண஄Ի͕ΧϦϯά͞ΕΔ Bad CompanyͰɺΑ͋ͬͨ͘ঢ়گ 13೥1݄20೔೔༵೔
37. ϫʔετέʔε ࣅͨΑ͏ͳԻ͕େྔʹ໐Δ৔߹ ͢΂ͯͷԻ͕HDRWindow಺ʹ͓͞·ͬ ͯ͠·͏ ΞΫςΟϒͳα΢ϯυͷ਺Λ੍ݶ͢Δඞ ཁ͕͋Δ 13೥1݄20೔೔༵೔
38. ௥Ճख๏ ݮਰޙͷdBʹRMSΛ଍͢ ϐʔΫΛಥग़ͤ͞ͳ͍ҝʹɺRMSΛ଍͠ ͨޙʹ3dBҾ͘ ࠷ॳͷRMS͕༗ޮʹͳΔલʹɺϓϨΧ Ϧϯά͞Εͳ͍Α͏ʹ͢ΔͨΊ 13೥1݄20೔೔༵೔
39. ༏ઌॱҐ෇͚ α΢ϯυσβΠφʔ͸Իʹରͯ͠ϓϥΠΦ ϦςΟΛઃఆͰ͖Δ None,Low,Medium,High, Permanent ࣮ߦ࣌ʹdBͱ૊Έ߹Θͤͯɺ࠷ऴతͳϓ ϥΠΦϦςΟ͕ܾ·Δ 13೥1݄20೔೔༵೔
40. ༏ઌॱҐ෇͚ ϓϥΠΦϦςΟ͸ϨϯμϦϯάͷॱ൪Λܾ ΊΔ ϨϯμϦϯά͕࣌ؒਚ͖ͨΒɺͦ͜Ͱଧ ͪ੾ΔͷͰɺখ͞ͳԻ͸࠶ੜ͞Εͳ͍ 13೥1݄20೔೔༵೔
41. ͜Μͳײ͡ʹͳΓ·ͨ͠ 13೥1݄20೔೔༵೔
42. ϘϦϡʔϜίϯτϩʔϧͳ͠ 13೥1݄20೔೔༵೔
43. μοΩϯά 13೥1݄20೔೔༵೔
44. HDRΦʔσΟΦ 13೥1݄20೔೔༵೔
45. ࣮૷ͯ͠ͷײ૝ ৘ใ͕ͱʹ͔͘গͳ͍ ॳΊͯGDCVaultͰmp3Λങͬͨ εϥΠυͷ࠷ޙͷεΫϦʔϯγϣοτ͠ ͔۩ମతͳ৘ใ͕ແ͍ ൃදऀʹϝʔϧ͚ͨ͠Ͳฦࣄ͕ແ͍… 13೥1݄20೔೔༵೔
46. ࣮૷ͯ͠ͷײ૝ ௐ੔͕େม dB਺ΛԿΛج४ʹ͢Δ͔൑Βͳ͍ ͱΓ͋͑ͣҰ൪ൃԻ͞ΕΔॐ੠Λج४ ʹͨ͠ Ͳ͏ͯ͠΋ฉ͔͍ͤͨԻʢηϦϑͳ Ͳʣ͸େ͖͘ 13೥1݄20೔೔༵೔
47. ࣮૷ͯ͠ͷײ૝ ԻͷϘϦϡʔϜͷมಈ͕ܹ͍͠ ಉ࣌ʹ໐͍ͬͯΔԻͰԻྔ͕ܾ·Δͷ Ͱɺঢ়گͰมΘΔ WindowͷReleaseTimeͷઃఆͰ΋มΘΔ ͷͰɺௐ੔͕೉͍͠ 13೥1݄20೔೔༵೔
48. ࣮૷ͯ͠ͷײ૝ ڑ཭ݮਰ͕Өڹ͕ڧ͔ͬͨͷͰิਖ਼ΛೖΕͨ Χοτγʔϯతͳ෺ʹ͸ɺԋग़ҙਤ͕͋Δͷ࢖ ͑ͳ͍ ϐʔΫฏ׈Խͷ-3dB͸͏·͘ػೳ͠ͳ͔ͬͨͷ Ͱ࢖Θͳ͔ͬͨ ϓϥΠΦϦςΟ͸ਖ਼࣮͘͠૷Ͱ͖ͳ͔ͬͨ 13೥1݄20೔೔༵೔
49. ·ͱΊ γεςϜͱͯ͠͸γϯϓϧͰΘ͔Γ΍͍͢ ௐ੔͕؆୯ͩͱߦͬͯΔ͚Ͳɺ΍ͬͺΓେ ม ͕࣌ؒ͋Ε͹࠾༻Ͱ͖͔ͨ΋ ϘϦϡʔϜ͕ΫϦοϓ͢Δ͜ͱ͕ແ͍ͷ Ͱɺଟਓ਺͕ରઓ͢ΔήʔϜʹ޲͍͍ͯΔ 13೥1݄20೔೔༵೔