まつうらららんど

留学、海外、英語、国際協力、時事問題などなど。読んでいて面白いブログをめざします*当ブログは完全な個人の見解です

最小二乗推定法とは何か:統計学

 

京都大学で農業経済を専攻している松浦正典です。

 

東芝のChief  Strategy Officerが「機械学習とは最小二乗法云々~」と述べていて一部で炎上していましたが、

 そもそも最小二乗法ってなんやねん!?

という人向けに簡潔にかつなるべくわかりやすく説明したいと思います。

 

統計学の基礎の基礎として学ぶ範囲でもありますので、そのような方に対しても参考になればと思います。

また、詳しい話をすると記述統計であったり、行列などの話も入ってくるのですが、今回は本当に統計などに触ったことがなくてゆるふわな話になっているので、その点ご了承ください。

詳しい内容を知りたいかたは、

 

 

最小二乗推定(Ordinary Least Squares Estimation:通称OLS推定)とは

ある状況の因果関係を量的に求めるための道具です。(因果推論)

 

もっとも単純な式をもちいて表してみましょう。

ある現象Xが起こってその結果Yが起こっているのではないかと予想を立てます。

そうすると予測される式は

 

Y=A+B*Xとなります(A,Bは実数)

しかし実際にこのようにきれいにXが1増えたらYはBだけ増えるなんてきれいごとは起きませんし、AとBの値を現象を確実に説明するように出すことはできません。

実際の値は神のみぞ知るものなのです。

 

しかし、なるべく神のみぞ知る真の値に近づけることはできます。

そこで誤差を許すという点で誤差項Ui(実数)を用意しましょう。

そうすると、考えられる式は

Yi=A+B*Xi+Ui (iは1個目からn個目までのデータがあるとします)

 となります。

統計をしっかり学んだ人へ:ごめんなさい添え字などはブログの設定上添え字などは書けていないです。。

 

そこで重要になるのはどれだけ誤差項を減らすことができるのか(Uiの和を小さくできるのか)ということです。

そこで

必要なのはΣUiが最小になるようなAとBを探してくるということです。

UiはYi-Y-B(Xi-X)で表せるので

Σ{Yi-Y-B(Xi-X)}^2の最小値を求めることに等しくなります。

これはBに関して微分をすることによって求められます。

 

つまり、関係式を立てて、予想できる因果関係を示した式と実際の値の誤差2乗して、その2乗した値が最小になるような数値を求めることから最小2乗推定法と呼ばれているのです。

 

 

実際の統計学ではもっと、厳密に求められた値が因果関係にあるのかなどを確認するのですが、ここでは初学者向けなので割愛させていただきます。

 

詳しく知りたい方は