迭代之后，误差反而越来越大的问题

R_myself

目前正在做神经网络训练方面的学习，拿一份数据进行了练习，但是对数据进行处理之后，发现在训练过程中，误差随着迭代次数的增加也在增加，之后维持不变，请教各位大神，这可能是出于什么缘故？
具体代码如下：
    err = expectedOut'-out_out;
    sse = sumsqr(err);
, a) a. y5 I- [5 I  e8 u    errRec(i) = sse;                    %记录每次的错误
5 Y, F' }; |7 Y    fprintf('第%d次迭代  误差： %f\n',i,sse);


其中，expectedOut是实际值，out_out是经过训练之后得到的结果
然后，结果是这样：
; N, P3 w. d. G! n第1次迭代  误差： 2.124233
第2次迭代  误差： 8.216954
- z4 _8 u, B! G4 Q/ T$ [% l第3次迭代  误差： 6.639643
0 R+ i" d4 r5 u" R# R$ M$ s: a& P" l# n" Q第4次迭代  误差： 27.220103
第5次迭代  误差： 27.222127
! f, ]/ [4 z8 t3 I2 ]/ C/ o: ~第6次迭代  误差： 27.222127
第7次迭代  误差： 27.222127
第8次迭代  误差： 27.222127
8 B/ A3 _5 u/ @
8 ?- Q$ @$ c& j$ o3 O  c/ d. |之后误差一直维持不变，想了解一下这是出于什么缘故？是正常情况吗？
6 O  s- I$ m1 ^' x1 C$ R
) }+ {+ {( c( u- P/ I

hfiwioq

（1）判断条件是否有问题，不该迭代却迭代了；（2）迭代方向是否搞反了

TEL15286598

如果方便给更多一点代码会更容易理解

R_myself

TEL15286598 发表于 2022-12-1 13:21
如果方便给更多一点代码会更容易理解

%开始迭代
% u$ y, h% P0 q2 {' D, D3 afor i=1:maxiter
9 S  O7 J5 Q  X  n    hid_input = net.w1 * SampInEx;                %3X100
    hid_out = logsig(hid_input);                  %3X100  
: r2 z6 ~6 `  s) Y: ^; {    ou_input1 = [hid_out;ones(1,nTrainNum)];      %4X100
    ou_input2 = net.w2 * ou_input1;               %1X100
1 O) `: J# [7 `' t3 a- U; B# V    out_out =logsig(ou_input2);                   %1X100
    out_Rec(:,i) = out_out;                       %记录每次的输出
    err = expectedOut'-out_out;
    sse = sumsqr(err);
    errRec(i) = sse;                    %记录每次的错误
    fprintf('第%d次迭代  误差： %f\n',i,sse);
    iteration = iteration+1;
+ Z' f7 h% g: I   
    %判断是否收敛
: y+ r2 l  m- u1 R    if sse<=eb
        break;
+ R3 H: q; L1 I  b6 ?: I, G    end
7 g; i& G( }& P   
, Z4 `4 S( N6 F1 O( q9 K6 t: i    %误差反向传播
2 M3 l& _  x( I  j/ n    %隐含层与输出层之间的局部梯度度
    DELTA = err.*dlogsig(ou_input2,out_out);
7 F5 J# |$ Z  R, L/ ]/ M    %输入层与隐含层之间的局部梯度
" {1 h3 Q* \  z' [+ j8 w, Y- b+ ~. I    delta = net.w2(:,1:end-1)'*DELTA.*dlogsig(hid_input,hid_out);
! b7 b; W5 ?& b    %权值修改量
: E" l' N% @5 ]    dWEX=DELTA*ou_input1';
    dwex=delta*SampInEx';
    %修改权值，如果不是第一次修改，则使用动量因子
    if i==1
        net.w2 = net.w2+eta*dWEX;
        net.w1 = net.w1+eta*dwex;
    else
        net.w2 = net.w2+(1-mc)*eta*dWEX+mc*dWEXOld;
# m8 w, F. \* y8 J        net.w1 = net.w1+(1-mc)*eta*dwex+mc*dwexOld;
    end
   
7 F& L. O* I3 ]& V7 f# u    %记录上一次的权值修改量
: @  c  n! n8 |/ V    dWEXOld = dWEX;
    dwexOld = dwex;
4 S$ A* g; k/ E2 }! Jend