Machine Learning---LMS 算法 - 168大数据

简单的感知器学习算法（《Machine Learning---感知器学习算法》）会将真个集合正确分类后，才会停止，显然当测试数据多的时候，这种算法会变得迟钝。所以这里，引入一个理念，最小均方算法（Least Mean Square）。

LMS算法首先由Bernard Widrow和Marcian E. Hoff提出，被用于分类计算。大大降低了分类算法的复杂度。LMS算法是一种梯度下降法(Gradient Descent)。

均方差（Mean Square Error）这个概念我就用下面这个公式进行介绍。

上面的公式1中的R表示正确的预期结果，C表示当前计算结果。这个便是LMS算法中终止算法的核心公式。

对于如何得到“当前计算结果C”，按照下面这个公式进行计算

对于该公式，笔者在《Machine Learning---感知器学习算法》中有介绍。这里就只做简单解释：i表示输入值，W表示输入端所对应的权值，对这两个值进行乘法运算后，并求和。对于求和的结果可以进行一定处理，比如大于0的O便为1；否则就为-1。

在算法运行时，不断利用公式2进行输入端的权值调整，使权值越来越接近正确值。其中w便是输入端所对应的权值，I便是输入值，便是学习参数，一般为小于1的正数。

5. 对均方差进行判断，如果大于某一个给定值，回到步骤2，继续算法；如果小于给定值，就输出正确权值，并结束算法。

[AppleScript] 纯文本查看 复制代码

const unsigned int nTests   =4;  

const unsigned int nInputs  =2;  

const double rho =0.005;  

   

struct lms_testdata  

{  

    doubleinputs[nInputs];  

    doubleoutput;  

};  

   

double compute_output(constdouble * inputs,double* weights)  

{  

    double sum =0.0;  

    for (int i = 0 ; i < nInputs; ++i)  

    {  

        sum += weights*inputs;  

    }  

    //bias  

    sum += weights[nInputs]*1.0;  

    return sum;  

}  

//计算均方差  

double caculate_mse(constlms_testdata * testdata,double * weights)  

{  

    double sum =0.0;  

    for (int i = 0 ; i < nTests ; ++i)  

    {  

        sum += pow(testdata.output -compute_output(testdata.inputs,weights),2);  

    }  

    return sum/(double)nTests;  

}  

//对计算所得值,进行分类  

int classify_output(doubleoutput)  

{  

    if(output> 0.0)  

        return1;  

    else  

        return-1;  

}  

int _tmain(int argc,_TCHAR* argv[])  

{  

    lms_testdata testdata[nTests] = {  

        {-1.0,-1.0, -1.0},  

        {-1.0, 1.0, -1.0},  

        { 1.0,-1.0, -1.0},  

        { 1.0, 1.0,  1.0}  

    };  

    doubleweights[nInputs + 1] = {0.0};  

    while(caculate_mse(testdata,weights)> 0.26)//计算均方差,如果大于给定值,算法继续  

    {  

        intiTest = rand()%nTests;//随机选择一组数据  

        doubleoutput = compute_output(testdata[iTest].inputs,weights);  

        doubleerr = testdata[iTest].output - output;  

        //调整输入端的权值  

        for (int i = 0 ; i < nInputs ; ++i)  

        {  

            weights = weights + rho * err* testdata[iTest].inputs;  

        }  

        weights[nInputs] = weights[nInputs] +rho * err;  

        cout<<"mse:"<<caculate_mse(testdata,weights)<<endl;  

    }  

   

    for(int w = 0 ; w < nInputs + 1 ; ++w)  

    {  

        cout<<"weight"<<w<<":"<<weights[w]<<endl;  

    }  

    cout<<"\n";  

    for (int i = 0 ;i < nTests ; ++i)  

    {  

        cout<<"rightresult：êo"<<testdata.output<<"\t";  

        cout<<"caculateresult:" << classify_output(compute_output(testdata.inputs,weights))<<endl;  

    }  

    //  

    char temp ;  

    cin>>temp;  

    return 0;  

}