% 表題: はじめに
%
% 履歴: 2004/06/05 杉山耕一朗


\chapter{はじめに}

非線形最適化モデルは, 典型的に 2 つの問題に定式化される. 
%
\begin{description}
 \item[制約なし最適化問題]~\\
	    n 実変数 $x_{1}, x_{2}, \cdots, x_{n}$ の非線形実数値関数
	    $f(\Dvect{x})$ の最小値を与える $\Dvect{x}$ を求める問題. 
	    ただし $\Dvect{x}$ は第 $i$ 要素を $x_{i}$ とする $n$ 項列ベ
	    クトルである. 

 \item[制約つき最適化問題]~\\
	    方程式 $g_{1}(\Dvect{x}) = 0, \cdots, g_{r}(\Dvect{x}) = 0$
	    および不等式 $g_{r+1} \geq 0, \cdots, g_{m} \geq 0$ で実現さ
	    れる制約条件下で, 非線形目的関数 $f(\Dvect{x})$ の最小値を与
	    える $n$ 次元列ベクトル $\Dvect{n}$ を求める問題. 
\end{description}
%

非線形最適化問題を有限回の四則演算で解くことは, 一般的にはできない. 最適
化法のアルゴリズムは逐次近似(反復)解法の形を取る. すなわち, 適当な初期近
似解 $\Dvect{x}_{0}$ から出発して, 反復公式, 
%
\begin{eqnarray}
 \Dvect{x}_{k+1} = \Dvect{x}_{k} + \alpha_{k} \Dvect{d}_{k} 
  \Deqlab{tansaku}
\end{eqnarray}
%
によって最適解 $\Dvect{x}^{*}$ に収束する点列 {$\Dvect{x}_{k}$} を生成す
る. ここで $\alpha_{k}$ は「ステップ幅」, $\Dvect{x}_{k}$ は「探索方向」
と呼ばれる. この両者をどう選ぶかによってアルゴリズムが決まる. とりわけ探
索方向 $\Dvect{d}_{k}$ の選び方がその性能を左右する. 最適解において極小
値を取り, 探索方向がその降下方向(すなわち $\Dvect{d}_{k}^{T}M(\Dvect{x})
< 0$) となるような評価関数 $M(\Dvect{x})$ を構成し, 反復の段階ではこの関
数を減少させるようにする. すなわち, 
%
\begin{eqnarray}
 M(\Dvect{x}_{k+1}) < M(\Dvect{x}_{k})
  \Deqlab{func}
\end{eqnarray}
%
となるようにする. 制約なし最適化問題では評価関数として目的関数自体が, 
制約つき最適化問題では評価関数として罰金関数や罰金付き Lagrange 関数がよ
く用いられる. 


この文章では非線形の最適化問題の数学的構造に関してまとめる.  最適化問題
の解法アルゴリズムについては W. C. Davidson (1959) の可変計量法以来, 数
多くのアルゴリズムが提案されてきた. その中でもギブス自由エネルギーを最小
化する平衡熱力学計算に良く利用される Newton 法をここでは取り上げる. 制約
なし最適化問題として Newton 法と準 Newton 法を, 制約つき最適化問題のとし
て Newton 法を紹介する.
