迭代之后，误差反而越来越大的问题

R_myself

目前正在做神经网络训练方面的学习，拿一份数据进行了练习，但是对数据进行处理之后，发现在训练过程中，误差随着迭代次数的增加也在增加，之后维持不变，请教各位大神，这可能是出于什么缘故？
具体代码如下：
    err = expectedOut'-out_out;
5 b9 o$ i- a% ^0 I- C3 H    sse = sumsqr(err);
6 \; v4 o& P' T    errRec(i) = sse;                    %记录每次的错误
    fprintf('第%d次迭代  误差： %f\n',i,sse);


- Z, {5 d  V; Z- L7 e其中，expectedOut是实际值，out_out是经过训练之后得到的结果
* L$ S' E# x6 k& `4 R2 J' s然后，结果是这样：
第1次迭代  误差： 2.124233
7 V5 n. x4 c8 O2 z& v6 A: c2 S第2次迭代  误差： 8.216954
第3次迭代  误差： 6.639643
- G( U; ?& I, [1 z2 g第4次迭代  误差： 27.220103
0 r0 A& n! f4 w2 H! ^5 ~7 M第5次迭代  误差： 27.222127
" E3 n! X- N0 d% N  U第6次迭代  误差： 27.222127
0 r8 O. C! b1 n第7次迭代  误差： 27.222127
第8次迭代  误差： 27.222127
# E0 b; O, T2 n$ y3 O- f
/ |# m, E: `! R8 J3 z9 A" q" t$ [之后误差一直维持不变，想了解一下这是出于什么缘故？是正常情况吗？
( B3 L: M1 \0 p$ ]0 W$ a
% ]% N+ F8 U6 C( n+ i  v) B. b

hfiwioq

（1）判断条件是否有问题，不该迭代却迭代了；（2）迭代方向是否搞反了

TEL15286598

如果方便给更多一点代码会更容易理解

R_myself

TEL15286598 发表于 2022-12-1 13:21
如果方便给更多一点代码会更容易理解

5 P5 |/ X/ m: n+ V% ?, s7 ~%开始迭代
for i=1:maxiter
9 a. k# h8 j- i9 ?. `, _    hid_input = net.w1 * SampInEx;                %3X100
    hid_out = logsig(hid_input);                  %3X100  
7 u" A7 j7 w) J  h( V    ou_input1 = [hid_out;ones(1,nTrainNum)];      %4X100
    ou_input2 = net.w2 * ou_input1;               %1X100
    out_out =logsig(ou_input2);                   %1X100
    out_Rec(:,i) = out_out;                       %记录每次的输出
    err = expectedOut'-out_out;
4 S8 m7 y0 ^) C' |    sse = sumsqr(err);
; ^* Q7 h& J2 C) x3 R    errRec(i) = sse;                    %记录每次的错误
1 _+ _. V. u) }7 g$ x3 o    fprintf('第%d次迭代  误差： %f\n',i,sse);
- ?) ]$ T" c7 ], Y6 V+ `    iteration = iteration+1;
   
; n. Y2 o( f" l* E" j# l7 P    %判断是否收敛
; e4 Z& i% u0 S    if sse<=eb
        break;
    end
   
    %误差反向传播
    %隐含层与输出层之间的局部梯度度
) ]2 r9 I9 ?  [    DELTA = err.*dlogsig(ou_input2,out_out);
( E/ B+ ~  ^4 P- i, q    %输入层与隐含层之间的局部梯度
    delta = net.w2(:,1:end-1)'*DELTA.*dlogsig(hid_input,hid_out);
    %权值修改量
    dWEX=DELTA*ou_input1';
    dwex=delta*SampInEx';
    %修改权值，如果不是第一次修改，则使用动量因子
  r$ O1 u: n2 [9 @" J- ?    if i==1
        net.w2 = net.w2+eta*dWEX;
9 d( T7 T3 [8 u7 a$ E1 p1 e4 x        net.w1 = net.w1+eta*dwex;
' [  S4 V) M4 B# x6 [+ _# n- o    else
0 x0 k' x, V% U: F& v; B3 K        net.w2 = net.w2+(1-mc)*eta*dWEX+mc*dWEXOld;
        net.w1 = net.w1+(1-mc)*eta*dwex+mc*dwexOld;
    end
   
, L( }, s( T" ]7 j4 q& E# Y/ Y    %记录上一次的权值修改量
! k- w. ?" L; z2 ~7 ]3 s    dWEXOld = dWEX;
    dwexOld = dwex;
4 v- ?( v) c# o. I4 A& E7 Tend