2013-11-14から1日間の記事一覧
Notesの式言語で@Integerを使うと,結構頻繁に誤差が出て計算がおかしくなるので,できるだけ@Integerは使わないようにする方が良いと思う.Technoteにもちゃんと書かれてるので,詳しくはこっちを参照で. IBM (参考)浮動小数点演算と丸め誤差について - …
Notesの式言語で@Integerを使うと,結構頻繁に誤差が出て計算がおかしくなるので,できるだけ@Integerは使わないようにする方が良いと思う.Technoteにもちゃんと書かれてるので,詳しくはこっちを参照で. IBM (参考)浮動小数点演算と丸め誤差について - …