統計学 |
回帰分析 |
---|
![](//upload.wikimedia.org/wikipedia/commons/thumb/3/3a/Linear_regression.svg/220px-Linear_regression.svg.png) |
モデル |
---|
|
- 一般化線形モデル
- 離散選択(英語版)
- ロジスティック回帰
- 多項ロジット(英語版)
- 混合ロジット(英語版)
- プロビット(英語版)
- 多項プロビット(英語版)
- 順序ロジット(英語版)
- 順序プロビット(英語版)
- ポアソン(英語版)
|
|
- 非線形回帰
- ノンパラメトリック(英語版)
- セミパラメトリック(英語版)
- ロバスト(英語版)
- 分位点(英語版)
- 等調(英語版)
- 主成分(英語版)
- 最小角度(英語版)
- 局所
- 折れ線(英語版)
|
|
推定 |
---|
|
|
- 部分
- 総最小二乗法(英語版)
- 非負(英語版)
- リッジ回帰
- 正則化(英語版)
|
- 最小絶対偏差(英語版)
- 繰返し加重(英語版)
- ベイズ(英語版)
- ベイズ多変量(英語版)
|
背景 |
---|
|
|
非線形最小二乗法[1][2](ひせんけいさいしょうにじょうほう、英: non-linear least squares)とは、観測データに対するカーブフィッティング手法の一つであり、最小二乗法を非線形なモデル関数に拡張したものである。非線形最小二乗法は、未知パラメータ(フィッティングパラメータ)を非線形の形で持つ関数モデルを用いて、観測データを記述すること、すなわち、データに最も当てはまりの良い[注 1]フィッティングパラメータを推定することを目的とする。
最小二乗法の主張
個のデータポイント
からなるセットに対し、
個[注 2]のフィッティングパラメータ
を持つモデル関数
(1-1)
をあてはめる場合を考える。ここで、それぞれのデータ
において、
は説明変数とし、
は目的変数とする。
は、前記の
個のフィッティングパラメータ
からなる実数ベクトルとする。
また、以下で定まる残差
(1-2)
のそれぞれは、それぞれ、期待値
、標準偏差
の正規分布に従うとする。また、話を簡単にするため、
それぞれは、いずれも誤差を持たないとする。
このとき、考えるべき問題は、もっとも当てはまりのよい
を見つけ出すことである。
非線形最小二乗法では、以下の残差平方和(より正確に言えば、標準化された残差平方和)
(1-3)
を最小とするような
が、もっとも当てはまりの良い
を与えるフィッティングパラメータと考える[1][2]。
この考え方は、数多ある考え方の一つに過ぎない。他の考え方としては、例えば
を最小にする考え方
を最小とする考え方(単に各データのバラつきが同じと勝手に仮定しただけ)。 - データ、モデル関数共に何らかの変換(例えば対数変換)を加えたうえで、最小二乗法をする考え方。
- カイ二乗値を最小にする考え方[3]。
等があり得る。これらの考え方で”最適”となったフッティングパラメータは、最小二乗法では”最適”とは限らない[注 3]。
ただし、最小二乗法の考え方は、確率論的に尤もらしさが裏付けられている[2]。このことについては、次節にて論じる。
最小二乗法の尤もらしさ
最小二乗法は、正規分布に対応したフィッティングパラメータの最尤推定法である[4]。ここでは最小二乗法の尤もらしさについて、確率論を援用して検討する[2]。すなわち、残差
それぞれが、期待値
、標準偏差
の正規分布に従う確率変数であり、かつ、
からなる確率変数の族は、独立試行と考え、確率論を援用する。
仮定より、残差
それぞれは、いずれも、期待値
、標準偏差
の正規分布に従うため、あるデータセット
において、その測定値が
となる確率
は、
(2-1)
となる。
今、データの測定は(数学的に言えば残差
それぞれが)独立試行と考えられるため、
個のデータポイントのセット
が得られる確率
は、
(2-2)
となる。ここで、
は、連乗積を表す。
上式において、正規分布の単峰性より、確率
は、
(2-3)
が最小(最も
に近いとき)において、最大(最尤)となる。すなわち、最尤法の教えるところによれば、このとき、もっとも当てはまりがよいと考えるのが妥当だろうということになる。
勾配方程式への帰着
我々が考えるべき問題は、標準化された残差平方和
(3-1)
を最小とするようなパラメータ
を見つけることである。
このような
において、
の勾配 grad
は
になる(必要条件)。したがって、このような
は、以下の連立方程式の解となる。
(3-2)
数値解法
線形の最小二乗法では、式(3-2)は未知パラメータ
についての連立一次方程式になるため、行列を用いて容易に解くことができるが、非線形最小二乗法では反復解法を用いる必要がある。解法には以下のような方法が知られている[4]。
脚注・参考文献
参考文献
- ^ a b 本間 仁; 春日屋 伸昌『次元解析・最小二乗法と実験式』コロナ社、1989年。
- ^ a b c d T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Vieweg+Teubner, ISBN 978-3-8348-1022-9.
Ch6に、非線形最小二乗法の尤もらしさに関する記述が記載されている。 - ^ http://www.hulinks.co.jp/support/kaleida/curvefit.html
- ^ a b 中川徹; 小柳義夫『最小二乗法による実験データ解析』東京大学出版会、1982年、19, 95-124頁。ISBN 4-13-064067-4。
脚注
- ^ 実際には、重解が出る場合も多い。
- ^ 少なくとも
でなければナンセンスとなる。 - ^ 無論、例えば一つの特別な状況として、いずれの残差の標準偏差も、全て同じ値σである時、すなわち、
それぞれが、期待値
、標準偏差
の正規分布に従う場合には、残差平方和
から、共通項
がくくりだせる。したがって、この場合には、最小二乗法は、 ![{\displaystyle \sum _{i=1}^{m}(y_{i}-f(x_{i},{\boldsymbol {\beta }}))^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/36817522b80341580027134d37bb15aae3d09009)
を最小とするような
が、最も当てはまりが良いと考えるのと同等である。