最新最小二乘法课件PPT.ppt 90页

'最小二乘法 第一节最小二乘法原理最小二乘法的发展已经历了200多年的历史，它最早起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用。特别是近代矩阵理论与电子计算机相结合。使最小二乘法不断地发展而久盛不衰。最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。 一、问题背景在测量的实验数据处理中，经常需要根据两个量的一批观测数据(xi，yi)，i=1，2，…，n求出这两个变量Y与X之间所满足的一个函数关系式Y＝f(X)。若变量间的函数形式根据理论分析或以往的经验已经确定好了，而其中有一些参数是未知的，则可通过观测的数据来确定这些参数；若变量间的具体函数形式尚未确定，则需要通过观测数据来确定函数形式及其中的参数。 二、最小二乘法准则与正规方程在参数估计问题中，最小二乘法的法则是：所选取的参数估计值，，…，应使变量Y的诸观测值yi与其真值的估计值(又叫拟合值)，即f(xi；a1,a2，…ak)之差的平方和为最小。用式子表示时，记残差νi为最小二乘法就是要求=最小在这个条件下，利用数学中求极值的方法可以求出参数，，…，。这样求出的参数叫参数的最小二乘估计。 正规方程根据数学分析中求函数极值的条件：=最小共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值(j＝1，2，…，k)。 不等精度情况下的最小二乘法以上是等精度观测的情况，若诸观测值yi是不等精度的观测，即它们服从不同的方差σi2的正态分布N(0，1)，那么也不难证明，在这种情况下，最小二乘法可改为：选取的参数估值应使诸观测值yi与其估计值之差的加权平方和为最小。用式子表示就是要使=最小其中，wi为各观测值yi的权。wi＝σ2／σi2，，i＝1，2，…，n。这里σ2为任选的正常数，它表示单位权方差。 不等精度情况下的最小二乘法正规方程同样地，根据数学分析中求函数极值的条件：共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值(j＝1，2，…，k)。 最小二乘法的几何意义从几何图形上可看出,最小二乘法就是要在穿过各观测点(xi，yi)之间找出这样一条估计曲线，使各观测点到该曲线的距离的平方和为最小。YX 三、最小二乘法与最大似然法的关系如果假定各观测值是相互独立且服从正态分布，期望值是μ(xi；a1，a2，…，ak)，方差是σi2,则观测值的似然函数为最大似然法要求上式取极大值，这就相当于要求指数项中的=最小这就说明了在观测值服从正态分布的条件下，最小二乘估计与最大似然估计是一致的。 观测值不服从正态分布时的最小二乘估计实质上，按最小二乘条件给出最终结果能充分地利用误差的抵偿作用，可以有效地减小随机误差的影响，因而所得结果具有最可信赖性。假若观测值不服从正态分布，则最小二乘估计并不是最大似然估计。但应该指出，在有些问题中观测值虽然不服从正态分布，但当样本容量很大时，似然函数也趋近于正态分布，因此，这时使用最小二乘法和最大似然法实质也是一致的。 不服从正态分布时最小二乘法的统计学性质若观测值是服从正态分布的，这时最小二乘法和最大似然法实际上是一回事。但观测值不服从正态分布或其分布未知时，这时用最小二乘法显得缺乏理论的验证。但应该指出，作为一种公理来使用，最小二乘法仍然是可以接受的，而且可以证明，所得到的估计仍然具有一些很好的统计性质，这些性质是：(1)解是无偏的，即(2)解是观测值的线性组合，且有最小方差。这称为高斯—马尔可夫定理;(3)加权的残差平方和的期望值是当σ2＝1，即取wi＝1/σi2，这时称为χ2量。期望值为n－k。 第二节线性参数的最小二乘法一般情况下，最小二乘法可以用于线性参数的处理，也可用于非线性参数的处理。由于测量的实际问题中大量的是属于线性的，而非线性参数借助于级数展开的方法可以在某一区域近似地化成线性的形式。因此，线性参数的最小二乘法处理是最小二乘法理论所研究的基本内容。 一、线性参数的测量方程一般形式线性参数的测量方程一般形式为（5-7）相应的估计量为（5-8） 误差方程其误差方程为（5-9） 二、线性参数的误差方程式的矩阵形式设有列向量和n×t阶矩阵(n＞t)则线性参数的误差方程式(5—9)可表示为即（5-10） 等精度测量最小二乘原理的矩阵形式即或（5-11）（5-12）残余误差平方和最小这一条件的矩阵形式为 不等精度测量最小二乘原理的矩阵形式最小二乘原理的矩阵形式为或（5-14）（5-13）式中的P为n×n阶权矩阵。线性参数的不等精度测量还可以转化为等精度的形式，从而可以利用等精度测量时测量数据的最小二乘法处理的全部结果。 三、线性参数最小二乘法的正规方程为了获得更可取的结果，测量次数n总要多于未知参数的数目t，即所得误差方程式的数目总是要多于未知数的数目。因而直接用一般解代数方程的方法是无法求解这些未知参数的。最小二乘法则可以将误差方程转化为有确定解的代数方程组(其方程式数目正好等于未知数的个数)，从而可求解出这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程(或称为法方程)。 1．线性参数的最小二乘法处理的基本程序线性参数的最小二乘法处理程序可归结为：（1）根据具体问题列出误差方程式；（2）按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程；（3）求解正规方程，得到待求的估计量；（4）给出精度估计。对于非线性参数，可先将其线性化，然后按上述线性参数的最小二乘法处理程序去处理。建立正规方程是待求参数最小二乘法处理的基本环节。 2．等精度测量的线性参数最小二乘法处理的正规方程线性参数的误差方程式为最小二乘法处理的正规方程为（5-19）这是一个t元线性方程组．当其系数行列式不为零时，有唯一确定的解，由此可解得欲求的估计量 线性参数正规方程的矩阵形式正规方程(5—19)组，还可表示成如下形式表示成矩阵形式为 线性参数正规方程的矩阵形式（5-21）又因有即（5-22）若令则正规方程又可写成（5-22）（5-23）若矩阵C是满秩的，则有 的数学期望因式中Y、X为列向量(n×1阶矩阵和t×l阶矩阵)可见是X的无偏估计。其中矩阵元素Y1，Y2，…，Yn为直接量的真值，而Xl，X2，…，Xn为待求量的真值。 例5—1在不同温度下，测定铜棒的长度如下表，试估计0℃时的铜棒长度y0和铜的线膨胀系数α。解：（1）列出误差方程式中,li——在温度ti下铜棒长度的测得值；α——铜的线膨胀系数。令y0＝a，αy0=b为两个待估计参量，则误差方程可写为 (2)列出正规方程为计算方便，将数据列表如下：将表中计算出的相应系数值代人上面的正规方程得 （3）求出待求估计量求解正规方程解得待求估计量即 按矩阵形式解算由正规方程，有 则所以（4）给出实验结果铜棒长度yt随温度t的线性变化规律为 3．不等精度测量的线性参数最小二乘法处理的正规方程不等精度测量时线性参数的误差方程仍如上述式(5—9)一样，但在进行最小二乘法处理时，要取加权残余误差平方和为最小，即用矩阵表示的正规方程与等精度测量情况类似，可表示为（5-27）即 上述正规方程又可写成（5-28）该方程的解，即参数的最小二乘法处理为（5-29）令则有（5-30） 例5—2某测量过程有误差方程式及相应的标准差如下：试求x1，x2的最小二乘法处理正规方程的解。解：（1）首先确定各式的权 （2）用表格计算给出正规方程常数项和系数（3）给出正规方程（4）求解正规方程组解得最小二乘法处理结果为 四、最小二乘原理与算术平均值原理的关系为了确定一个量X的估计量x，对它进行n次直接测量，得到n个数据l1，l2，…，ln，相应的权分别为p1，p2，…，pn，则测量的误差方程为(5-35) 其最小二乘法处理的正规方程为(5-36)由误差方程知a＝l，因而有可得最小二乘法处理的结果(5-37)这正是不等精度测量时加权算术平均值原理所给出的结果。 对于等精度测量有则由最小二乘法所确定的估计量为此式与等精度测量时算术平均值原理给出的结果相同。由此可见，最小二乘法原理与算术平均值原理是一致的，算术平均值原理可以看做是最小二乘法原理的特例。 第三节精度估计对测量数据最小二乘法处理的最终结果，不仅要给出待求量的最可信赖的估计量，而且还要确定其可信赖程度，即应给出所得估计量的精度。 一、测量数据的精度估计为了确定最小二乘估计量X1，X2，…，Xt的精度，首先需要给出直接测量所得测量数据的精度。测量数据的精度也以标准差σ来表示。因为无法求得σ的真值，因而只能依据有限次的测量结果给出σ的估计值，所谓给出精度估计，实际上是求出估计值。 （一）等精度测量数据的精度估计设对包含t个未知量的n个线性参数方程组（5－7）进行n次独立的等精度测量，获得了n个测量数据l1，l2，…，ln。其相应的测量误差分别为δ1，δ2，…，δn，它们是互不相关的随机误差。因为一般情况下真误差δ1，δ2，…，δn是未知的，只能由残余误差νl，ν2，…，νn给出σ的估计量。 前面已证明是自由度为（n－t）的χ2变量。根据χ2变量的性质，有（5-39）取（5-40）可以证明它是σ2的无偏估计量因为 习惯上，式5-40的这个估计量也写成σ2，即（5-41）因而测量数据的标准差的估计量为（5-43） 例5．3试求例5．1中铜棒长度的测量精度。已知残余误差方程为将ti，li，值代人上式，可得残余误差为 （二）不等精度测量数据的精度估计不等精度测量数据的精度估计与等精度测量数据的精度估计相似，只是公式中的残余误差平方和变为加权的残余误差平方和，测量数据的单位权方差的无偏估计为（5-44）通常习惯写成（5-45）测量数据的单位权标准差为（5-46） 二、最小二乘估计量的精度估计最小二乘法所确定的估计量X1，X2，…，Xt的精度取决于测量数据的精度和线性方程组所给出的函数关系。对给定的线性方程组，若已知测量数据l1，l2，…，ln的精度，就可求得最小二乘估计量的精度。 下面首先讨论等精度测量时最小二乘估计量的精度估计。设有正规方程现要给出由此方程所确定的估计量xl，x2，…，xt的精度。为此，利用不定乘数法求出xl，x2，…，xt的表达式，然后再找出估计量xl，x2，…，xt的精度与测量数据l1，l2，…，ln精度的关系，即可得到估计量精度估计的表达式。 设d11，dl2，…，dlt；d2l，d22，…，d2t：…；dtl，dt2，…，dtt分别为下列各方程组的解： 则各估计量xl，x2，…，xt的方差为（5-52）相应的标准差为（5-53）式中，σ为测量数据的标准差。不等精度测量的情况与此类似。 矩阵形式的结果表达利用矩阵的形式可以更方便地获得上述结果。设有协方差矩阵(n×n阶矩阵)式中 等精度独立测量若l1，l2，…，ln为等精度独立测量的结果，即且相关系数ρij=0，即Dlij=0协方差矩阵于是估计量的协方差为 式中各元素即为上述的不定乘数，可由矩阵(ATA)求逆而得，或由式(5—51)求得。各估计量xl，x2，…，xt的方差为 不等精度测量同样，也可得不等精度测量的协方差矩阵式中σ——单位权标准差。矩阵式中各元素即为不定乘数，可由(ATPA)求逆得到，也可由式(5—54)求得。 例5—4试求例5—1中铜棒长度和线膨胀系数估计量的精度已知正规方程为测量数据li的标准差为 解：根据所给正规方程的系数，可列出求解不定乘数方程组（1）列出求解不定乘数方程组，并求解分别解得 （2）计算估计量a、b的标准差可得估计量a、b的标准差为因（3）求出y0、α的标准差故有 第四节组合测量的最小二乘法处理所谓组合测量，是指直接或间接测量一组被测量的不同组合值，从它们相互组合所依赖的若干函数关系中，确定出各被测量的最佳估计值。在精密测试工作中，组合测量占有十分重要的地位。例如，作为标准量的多面棱体、度盘、砝码、电容器以及其它标准器的检定等，为了减小随机误差的影响，提高测量精度，可采用组合测量的方法。通常组合测量数据是用最小二乘法进行处理，它是最小二乘法在精密测试中的一种重要的应用。 组合测量应用为简单起见，现以检定三段划线间距为例，说明组合测量的数据处理方法。如图5—1所示，要求检定刻线A、B、C、D间的距离x1、x2、x3。 （1）测量方案及测量数据测量数据组合测量的方案 （2）误差方程根据测量方案列出误差方程误差方程的矩阵形式（3）写出误差方程的相关矩阵 （4）求解估计量x1、x2、x3的最佳估计值由式（5-24）得式中 所以最后解得 （5）计算各次的测量误差值ν1=－0.013mmν2=0.002mmν3=0.007mmν4=0.005mmν5=－0.015mmν6=0.008mm将最佳估计值代入误差方程得 （6）计算各次测得数据的标准差=0.000536mm3因为是等精度测量，测得数据l1，l2．l3，l4，l5，l6的标准差相同，为 （6）求出估计量x1、x2、x3的标准差因故有 例2测量平面三角形的三个角，得A＝48°5′10″；B＝60°25′24″；C＝70°42′7″。假设各测量值权分别为1，2，3，求A、B、C的最佳估计值。解：本例有一个约束条件这类约束条件容易消去，将C＝180°－A－B代入即可。另外，在计算中应注意将角度、分、秒值化度。 （1）列出不等权的测量方程组并计算有关计算值列表如下 （2）写出不等权的正规方程组，并求解正规方程组解得（3）计算测量精度标准差 （4）计算不定乘数不定乘数方程组4d11＋3d12＝13d11－5d12＝04d21＋3d22＝03d21－5d22＝1解得（5）计算最佳估计值标准差 （6）给出结果即 本章重要概念小结1.最小二程原理2.线性参数的正规方程解是X的无偏估计证明了最小二乘法原理与算术平均值原理是一致的在一些情况下，即使函数值不是随机变量，最小二乘法也可使用。说明了在观测值服从正态分布的条件下，最小二乘估计与最大似然估计是一致的。为χ2量,期望值为n－k。一个很好的统计量 本章重要概念小结3.测量数据的精度估计是σ2的无偏估计量4.各估计量xl，x2，…，xt的精度 本章作业5-15-25-35-6 问题？AnyQuestion? 产后血晕广州中医药大学妇科教研室许丽绵 目的与要求掌握：产后血晕定义、中西医应急处理和辨证论治。熟悉：产后血晕的病因病机。认识产后血晕危及生命。 定义产妇分娩后突然头晕眼花，不能起坐，或心胸满闷，恶心呕吐，痰涌气急，心烦不安，甚则神昏口噤，不省人事，称为“产后血晕”。本病为产后危重急症之一，属于“三冲”。西医学的产后出血、羊水栓塞可参本证。 历史沿革《诸病源候论》列“产后血运闷候”，指出“运闷之状心烦气欲厥是也”，“亦有去血过多，亦有下血极少，皆令运。若产去血过多，血虚气极，如此而运闷者，但烦闷而已；若下血极少，而气逆者，则血随气上，掩于心，亦令运闷，则烦闷而心满急。二者为异。亦当候其产妇血下多少，则知其产后应运与不运也。然烦闷不止，则死人”。 历史沿革《经效产宝·产后血晕闷绝方论》“产后血晕者，其状心烦，气欲厥是也。···若下血多晕者，但烦而已。下血少而气逆者，则血随气上捺，心下满急······若不急疗，即危其命也”。并提出多条急救方。 历史沿革《妇人大全良方》“眼见黑花，头晕目眩，不能起坐，其致昏闷不省人事”，“下血多晕郁者······补血清心药治之，下血少而晕者·····破血行血药治之。《景岳全书·妇人规》“但察其面白、眼闭、口开、手冷。六脉细微之甚，是即气脱证也”；“如果形气脉气俱有余，胸腹胀痛上冲，此血逆证也”。虚者以人参急煎浓汤，实者宜失笑散治之。 历史沿革《傅青主女科·产后血晕不语》“急用银针刺其眉心，得血岀则语矣，然后以人参一两煎汤灌之，无不生者”。 病因病机：虚者阴血暴亡，心神失守实者瘀血攻心，扰乱心神素体气血虚弱产时失血过多（虚：血虚气脱）产后百脉空虚感受风寒（实：瘀阻气闭）营阴下夺气随血脱心神失守血为寒凝瘀滞不行血瘀气逆上扰神明血晕 产后出血的原因：子宫收缩乏力：最常见胎盘因素：胎盘滞留、胎盘粘连、胎盘植入、胎盘胎膜残留产道损伤：会阴、阴道、宫颈凝血障碍：妊娠合并凝血功能障碍性疾病（妊娠禁忌）、妊娠或分娩期并发凝血功能障碍。 诊断病史：严重贫血史、血小板减少症、凝血功能障碍或产时软产道的裂伤、产后宫缩乏力，胎盘剥离不全、剥离后滞留、胎盘嵌顿、植入或胎膜残留等。临床表现：见定义。常常见有阴道大出血。检查：产科检查：辅助检查：凝血功能检查，如血小板、凝血酶原时间、纤维蛋白原等。DIC的相关检查。EKG。鉴别：产后郁冒、产后痉病、产后子痫。 紧急处理治疗原则：急则治其标，缓则治其本针对出血原因迅速止血，补充血容量，抗休克，预防并发症和预防感染。1立即将产妇仰卧位，头低脚高2针灸：强刺激眉心、人中、涌泉等3中药：固脱救厥。常用丽参针、参麦针、参附针4西医疗法：针对病因进行治疗吸氧、补液输血、抗休克、预防治疗并发症。 辨证论治辨虚实，分脱证、闭证。虚者为脱，实者为闭。治则：救脱开闭治法：虚者益气固脱，实者行血逐瘀。 1、血虚气脱主症：产时或产后失血过多，突然晕眩，面色苍白，心悸愦闷，甚则昏不知人，眼闭口开，手撒肢冷，冷汗淋漓。舌淡无苔，脉微欲绝或浮大而虚。治法：益气固脱方药：参附汤《校注妇人良方》或扶阳救脱汤参附汤：人参附子 2、瘀阻气闭主症：产后恶露不下或量少，小腹阵痛拒按，突然头晕烟花，不能起坐，甚则心下急满，气粗喘促，神昏口噤，不省人事，两手握拳，牙关紧闭，面色青紫，唇舌紫黯，脉涩。治法：行血逐瘀方药：夺命散加当归、川芎《校注妇人良方》或黑神散加琥珀。夺命散：没药血竭 针对病因治疗子宫收缩乏力：按摩子宫、宫缩素、手术（宫腔填塞术、盆腔血管栓塞术、子宫切除术）胎盘因素：产道损伤：凝血障碍： 预防与调摄1.注意做好孕期保健；2.提高助产技术；3.注意子宫收缩及阴道出血情况4.一旦发生产后出血量多，须迅速查明病因，及时治疗。不管是脱证或闭证，均为危证。尽早、及时、有效的抢救治疗或能挽救生命。'