小数の丸め誤差の話

Niigata5分Tech #10の発表資料です。
https://niigata-5min-tech.connpass.com/event/324842/

Transcript

1. খ਺ͷؙΊޡࠩͷ࿩ Niigata 5min Tech #10 @circled9 1
2. ࣗݾ঺հ @circled9 দҪɹਖ਼ࢤ / Matsui Masashi גࣜձࣾϞχΫϧ جຊ৘ใٕज़ऀͷࢿ֨͸͋Γ·͕͢ هԱ͸͋Γ·ͤΜ 2
3. ࠓ೔͸খ਺ͷؙΊޡࠩͷ࿩Λ͠·͢ 3
4. Node.js 4
5. Ͳ͏ͯ͠ʁ • ଟ͘ͷϓϩάϥϛϯάݴޠ͸ɺ಺෦తʹ਺஋Λೋਐ਺Ͱѻ͍ͬͯΔ • ेਐ਺ͷখ਺Λೋਐ਺ʹม׵͢Δͱޡ͕ࠩੜ͡Δ৔߹͕͋Δ • Ή͠Ζޡ͕ࠩग़ͳ͍ํ͕গͳ͍ͷͰ͸...? 5
6. ेਐ਺ͷখ਺Λೋਐ਺Ͱද͢ͷ͸೉͍͠ • ೋਐ਺ͷ੔਺ͷNܻ໨͸2ͷN-1৐ͷ஋ 1 1 1 1 = 15 8 4 2 1 • Ұํɺೋਐ਺ͷখ਺ͷNܻ໨͸2ͷϚΠφεN-1৐ͷ஋ 0. 1 1 1 = 0.5 + 0.25 + 0.125 = 0.875 1 1/2 1/4 1/8 • 2ͷϚΠφεN৐ͷ૊Έ߹ΘͤͰਖ਼֬ʹදݱͰ͖Δ஋ʹ͸ݶք͕͋Δ 6
7. Node.js 7
8. Ͳ͏͢Ε͹ޡࠩΛ๷͛Δ͔ • খ਺ͷܭࢉΛͯ͠΋େৎ෉ͳܕͳͲΛ࢖͏ • খ਺Ͱ͸ͳ͘੔਺ͷܭࢉʹ͢Δ 8
9. খ਺ͷܭࢉΛͯ͠΋େৎ෉ͳܕͳͲΛ࢖͏ • C#ͷ৔߹͸decimalܕ͕͋Δ • Pythonͷ৔߹͸decimalϞδϡʔϧ͕͋Δ • JavaScriptͷ৔߹͸big.jsͳͲͷϥΠϒϥϦ͕͋Δ 9
10. Python 10
11. খ਺Ͱ͸ͳ͘੔਺ͷܭࢉʹ͢Δ • ܭࢉ͢Δલʹ੔਺ʹͯ͠ɺܭࢉޙʹখ਺ʹ໭͢ • ྫ͑͹100Λ͔͚ͯɺ࠷ޙʹ100ͰׂΔ • ((0.1 * 100) + (0.2 * 100)) / 100 • ͜ͷ৔߹ɺܭࢉର৅ͷ஋ͷܻ਺Λؾʹ͢Δඞཁ͕͋Δ 11
12. Node.js 12
13. ·ͱΊ • ଟ͘ͷϓϩάϥϛϯάݴޠͰ͸ɺখ਺ͷܭࢉͰޡ͕ࠩൃੜ͢Δ • ޡࠩΛग़͞ͳ͍Α͏ʹ͢Δʹ͸ద੾ͳରԠΛ͢Δඞཁ͕͋Δ 13
14. ଟ͘ͷϓϩάϥϛϯάݴޠʁ 14
15. খ਺ͷܭࢉͰޡࠩͷग़ͳ͍ϓϩάϥϛϯάݴޠ • COBOL • Ada • MSX-BASIC • etc... ਺஋දݱʹBCDΛ࢖͏ͷ͕ϙΠϯτͬΆ͍ 15
16. BCD • Binary-Coded DecimalɺೋਐԽेਐ਺ • ೋਐ਺͸4ܻ͋Ε͹0͔Β15·Ͱͷ਺஋ΛදͤΔͷͰɺ0͔Β9Λ࢖ͬ ͯेਐ਺ͷҰܻ෼Λදݱ͢Δ • ྫ͑͹ेਐ਺ͷ26͸ɺBCDͰ 0010 0110 ʹͳΔ • BCD͸جຊ৘ใٕज़ऀࢼݧͷࢼݧൣғʹؚ·Ε͍ͯΔ 16
17. BCD͸جຊ৘ใٕज़ऀࢼݧͷ ࢼݧൣғʹؚ·Ε͍ͯΔ 17
18. ׬શʹ๨Εͯͨͱ͍͏͔ ֮͑ͨهԱ͢Βͳ͍😇 18
19. Goݴޠ 19
21. https://go.dev/ref/spec#Constant_expressions υΩϡϝϯτᐌ͘ ఆ਺ࣜ͸ৗʹਖ਼֬ʹධՁ͞Ε·͢ Constant expressions are always evaluated exactly; 21
23. ͓͠·͍ 23
24. ࢀߟࢿྉ • খ਺఺Λѻ͏ͳΒBCDΛ࠾༻͍ͯ͠Δݴޠ͕ѹ౗త • https://qiita.com/ma2shita/items/d8aeec9e2921dc3536f4 24