kakakakakku blog

Weekly Tech Blog : Keep on Learning 👍

2013-11-14から1日間の記事一覧

@Integerで誤差が出る

Notesの式言語で@Integerを使うと,結構頻繁に誤差が出て計算がおかしくなるので,できるだけ@Integerは使わないようにする方が良いと思う.Technoteにもちゃんと書かれてるので,詳しくはこっちを参照で. IBM (参考)浮動小数点演算と丸め誤差について - …