在效率上，共轭方向法位于最速下降法和牛顿法之间。它具有特性：对于n维二次型问题，能够在n步之内得到结果；共轭梯度法不需要计算海森矩阵；不需要求逆；

共轭方向：

Q为n阶实对称矩阵，对于方向 d⁽⁰⁾, d⁽¹⁾,... , d^(m),  如果对于所有的 i 不等于 j ，有 d^(i)TQd^(j)=0， 则称它们是关于Q共轭的。

定理：如果Q是n阶正定矩阵（自然是对称的），如果方向d⁽⁰⁾, d⁽¹⁾,... , d^(k)，k<=n-1非零，且是关于Q共轭的，那么它们线性无关；

构造n阶正定矩阵的n个共轭向量方法：Gram-Schmidt

1、基本的共轭方向算法

数值算法：无约束优化之多维优化之共轭方向法