Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
なぜfloatで丸め誤差が生じるのか ~decimalとの違いを理解しよう~
Search
Haruki Yoshida
September 08, 2023
Technology
2
1.2k
なぜfloatで丸め誤差が生じるのか ~decimalとの違いを理解しよう~
float型で誤差が生じる理由を2進数と小数の観点から解説しています。
Haruki Yoshida
September 08, 2023
Tweet
Share
More Decks by Haruki Yoshida
See All by Haruki Yoshida
ゴミ分別チェッカー 発表資料
yoshiyoshiharu
0
25
Docker再入門 ~コンテナ・イメージ編~
yoshiyoshiharu
27
10k
トランザクションに歩み寄る ~はじめの第1歩編~
yoshiyoshiharu
6
2.7k
曳光弾型開発のススメ
yoshiyoshiharu
2
610
Other Decks in Technology
See All in Technology
Oracle Cloud Infrastructure:2024年9月度サービス・アップデート
oracle4engineer
PRO
0
340
How CERN serves 1EB of data via FUSE
ennael
PRO
0
15k
VS CodeでF1〜12キーつかってますか? / Do you use the F1-12 keys in VS Code?
74th
1
250
【shownet.conf_】革新と伝統を融合したファシリティ
shownet
PRO
0
230
可視化がやりたくてMIERUNEに転職した話 〜“思考のための道具”とコンピューターによる新たな表現〜 / MIERUNE JCT - Tokyo 2024
sorami
2
460
成果のためのコミュニケーション - 語彙を育てよう -/communication-for-good-outcome-developing-vocabulary
hassaku63
3
130
OPENLOGI Company Profile
hr01
0
53k
RAGの性能を評価しよう
kurahara
1
270
位置情報とオープンソースがやりたくてMIERUNEに転職した話 〜経歴、事例紹介、GISへのいざない〜 / MIERUNE JCT - Tokyo 2024
mierune
PRO
0
390
エムスリー全チーム紹介資料 / Introduction of M3 All Teams
m3_engineering
0
180
Oracle Database 23ai 新機能#4 Real Application Clusters
oracle4engineer
PRO
0
110
つよつよリーダーが 抜けたらどうする? 〜ナビタイムのAgile⽀援組織の変遷〜
navitimejapan
PRO
22
12k
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
What's in a price? How to price your products and services
michaelherold
243
11k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
43
2k
Designing for humans not robots
tammielis
248
25k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
663
120k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
363
22k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
23
1.7k
Atom: Resistance is Futile
akmur
261
25k
Six Lessons from altMBA
skipperchong
26
3.4k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.1k
The Invisible Side of Design
smashingmag
296
50k
Transcript
なぜfloat で丸め誤差が生じるのか decimalとの違いを理解しよう
Agenda 2進数と小数 Float型の仕組み 丸め誤差 Decimal型の仕組み まとめ
2 進数と小数
2 進数と小数 コンピュータは2進数でデータを持つ 10 進数を2 進数で表すときは、 の足し合わせで表現 10進数に変換 2n ex)
2 進数と小数 10進数は の足し合わせで表現する 2n すべての整数は2進数で正確に表現できる
2 進数と小数 10進数は の足し合わせで表現する 2n すべての整数は2進数で正確に表現できる じゃあ小数はどうなの?
2 進数と小数 これらを足し合わせて小数点以下を表現 改めて、2 進数で10 進数を表すには の足し合わせで表現する 小数部分は、n = -1,
-2, -3... で表現 2n
2 進数と小数 2 進数で小数は正確に表現できたり、できなかったりする 正確に表現できるとき 正確に表現できないとき 無限に続く
指数表記 非常に大きい or 小さい数を表現する際に、メモリを節約できる 2進数の場合 2 進数と小数
2 進数と小数 ここまでのまとめ 10進数は の足し合わせで表現する 2n 整数は2進数で正確に表現できる 小数は2進数で正確に表現できたり、できなかったりする
float 型の仕組み
の値 符号部 指数部 仮数部 float 型の仕組み float 型(32 ビット) 符号部(1
ビット) 指数部(8 ビット) 仮数部(23 ビット)
の値 符号部 指数部 仮数部 float 型の仕組み double 型(64 ビット) 実はRuby
のFloat クラスはこっち 符号部(1 ビット) 指数部(11 ビット) 仮数部(52 ビット)
丸め誤差
丸め誤差 小数は2 進数で正確に表せないときがある 小数は有限の桁数で近似する( 丸める)
丸め誤差 double 型での例 52 ビット 四捨五入 指数表記
丸め誤差 Ruby で試す 浮動小数点数は近似されている( 丸められている) ことがわかる
丸め誤差 誤差による計算のずれ ex) 切り捨てや切り上げ 260.7100 を小数4 桁目を切り捨て ↓ 260.710 になるべきだが、260.709
になる
decimal 型の仕組み
の値 符号部 指数部 仮数部 decimal 型の仕組み 符号部(1 ビット) 指数部(7 ビット)
仮数部(96 ビット) decimal 型(128 ビット)
の値 符号部 指数部 仮数部 3 decimal 型の仕組み 整数 整数では誤差が生じないため、 decimal
型では丸め誤差は生じない 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 ※ 空白部は0 123 ex)
decimal 型の仕組み decimal 型のデメリット メモリ使用量が大きい 計算のパフォーマンスが遅い
まとめ 小数を2 進数で正確に表せないことが多い float やdouble で2 進数のまま表すと、丸め誤差が生じる decimal 型は10 進数で表現するので、丸め誤差が生じない
参考文献 https://www.cc.kyoto- su.ac.jp/~yamada/programming/float.html https://learn.microsoft.com/ja-jp/dotnet/visual- basic/language-reference/data-types/decimal-data-type