定义： 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可 以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

最小二乘法原理：在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2... xm,ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1-1）。Yj= a0 + a1 X （式1-1)，其中：a0、a1 是任意实数。

matlab中用最小二乘拟合的常用函数有polyfit（多项式拟合）、nlinfit（非线性拟合）以及regress（多元线性回归）。自变量有2个或以上时，应变量一个，可以使用的有nlinfit和regress，线性时用regress，非线性时用nlinfit。对于进阶matlab使用者还有更多的选择，如拟合工具箱、fit函数、interp系列插值拟合等等。偏最小二乘法的Matlab的源程序

MATLAB中关于最小二乘法的函数主要有：

help polyfit -- POLYFIT Fit polynomial to data.
help lsqcurvefit -- LSQCURVEFIT solves non-linear least squares problems.

help lsqnonlin -- LSQNONLIN solves non-linear least squares problems.
help nlinfit -- NLINFIT Nonlinear least-squares regression.

help regress -- REGRESS Multiple linear regression using least squares.

help meshgrid -- MESHGRID X and Y arrays for 3-D plots.

本文主要讲解的函数：polyfit，lsqcurvefit，lsqnonlin，regress 

1.多项式曲线拟合:polyfit

1.1 常见拟合曲线

直线：    y=a0X+a1        

多项式：

，一般次数不易过高2，3

双曲线：  y=a0/x+a1       

指数曲线： y=a*e^b     

1.2 matlab中函数            

P=polyfit(x,y,n)     

[P S mu]=polyfit(x,y,n)       

polyval（P，t）：返回n次多项式在t处的值  

注：其中x y已知数据点向量分别表示横纵坐标，n为拟合多项式的次数，结果返回：P-返回n次拟合多项式系数从高到低依次存放于向量P中，S-包含三个值其中normr是残差平方和，mu-包含两个值 mean（x）均值，std（x）标准差。

1.3 举例 

1.已知观测数据为： 

X：0    1    2    3    4    5    6    7    8    9   1 

Y：-0.447  1.987  3.28   6.16     7.08   7.34   7.66   9.56    9.48    9.3  11.2 

用三次多项式曲线拟合这些数据点：

x=0:0.1:1     

y=[-   0.447,1.978,3.28,6.16,7.08,7.34,7.66,9.56,9.48,9.3,11. 2]    

plot(x,y,'k.','markersize',25)  

hold on    

axis([0 1.3 -2 16])    

P3=polyfit(x,y,3)  

t=0:0.1:1.2;

S3=polyval(P3,t);  

plot(t,S3,'r');

2.拟合为指数曲线

注：在对已测数据不太明确满足什么关系时，需要假设为多种曲线拟合然后比较各自的residal（均方误差）越小者为优，多项式拟合不是拟合次数越高越好，而是残差越小越好。

2.非线性曲线拟合：lsqcurvefit

X=lsqcurvefit(fun,X0,xdata,ydata)

[X,resnorm]=lsqcurvefit(fun,X0,xdata,ydata)

注：其中xdata ydata为给定数据横纵坐标，按照函数文件fun给定的函数以X0为初值做最小乘二拟合，返回函数fun中的系数向量X和残差的平方和resnorm。

2.1 例如

已知观测数据：   

求三个参数a b c的值是的曲线f(x)=a*e^x+b*X^2+c*X^3

已知数据点在最小二乘意义上充分接近  

首先编写拟合函数文件

fun function f=fun(X,xdata)

f=X(1)*exp(xdata)+X(2)*xdata.^2+X(3)*xdata.^3

保存文件fun.m  

编写函数调用拟合函数文件

xdata=0:0.1:1;

ydata=[3.1 3.27 3.81 4.5 5.18 6 ....13.17];

X0=[0 0 0];

[X,resnorm]=lsqcurvefit(@fun,X0,xdata,ydata)

运行显示：

X=    

　　3.0022  4.0304  0.9404

resnorm=    

　　0.0912  

综上：最小乘二意义上的最佳拟合函数为  

f(x)=3.0022x+4.0304x^2+0.9404x^3

残差平方和：0.0912

 注：在针对只有一些已测数据而不太清楚最小乘二拟合函数时，采取先打印出已知数据的散点图，然后观察散点图大概分布趋向，再确定拟合函数，也可以确定多个，最后比较残差选择最优最小乘二拟合函数，再者初始值的给定也很重要。

lsqnonlin（fun，X0）：最小二乘拟合函数

3.多元线性回归：regress

regress虽然名义上只能做线性回归但是可以把x^2等非线性量作为一个额外自变量做计算，因此在一些特殊情况下也可以做非线性拟合。

以matlab自带的数据为样本，示例代码如下：（%后面的是注释）

clc;clear;

load carsmall%此数据样本matlab自带

x=Weight;y=Horsepower;z=MPG;%取这3个变量作为拟合对象，x、y自变量，z应变量

plot3(x,y,z,'p');

hold on;

c=ones(length(x),1);

b=regress(z,[x,y,c]);%纯线性拟合 模型z=b(1)*x+b(2)*y+b(3)

[X,Y]=meshgrid(linspace(1500,5000,10),linspace(40,240,10));

C=ones(10);

mesh(X,Y,b(1)*X+b(2)*Y+b(3)*C);

grid on;

b=regress(z,[x.^2,y.^2,x.*y,x,y,c]);%添加非线性项进行拟合

figure,plot3(x,y,z,'p');

hold on;

mesh(X,Y,b(1)*X.^2+b(2)*Y.^2+b(3)*X.*Y+b(4)*X+b(5)*Y+b(6)*C);

grid on;

本讲完，谢谢！