ソフトマックス関数とオーバーフロー

ソフトマックス関数

オーバーフローは計算上の問題で、例えば、exp(1000)とかって桁が大きすぎて計算できないのです。

numpyだと、710でinfという無限大を表す数になってしまいます。計算不能ですね。

>>> np.exp(709)
8.2184074615549724e+307
>>> np.exp(710)
inf

x自体は710とか大した数でないのに計算できないという問題点がexpの問題点です。

ソフトマックス関数の中でこのexpが使われているわけで、ソフトマックス関数も計算不能になってしまうわけです。