迭代之后，误差反而越来越大的问题

R_myself

目前正在做神经网络训练方面的学习，拿一份数据进行了练习，但是对数据进行处理之后，发现在训练过程中，误差随着迭代次数的增加也在增加，之后维持不变，请教各位大神，这可能是出于什么缘故？
2 V) A% ?/ J# V/ R+ ]# M具体代码如下：
    err = expectedOut'-out_out;
( k, B) d" z4 O* c6 T  O! |+ j8 V    sse = sumsqr(err);
    errRec(i) = sse;                    %记录每次的错误
6 ?+ Z/ d1 {% e5 \% }4 k    fprintf('第%d次迭代  误差： %f\n',i,sse);
, \- h0 S% |" K2 u& e
* n! F9 [: v" ~* m# ^2 x' }
% ~" u# F  `. K: y  c其中，expectedOut是实际值，out_out是经过训练之后得到的结果
, T7 m/ N+ l& w9 F4 x* v然后，结果是这样：
第1次迭代  误差： 2.124233
第2次迭代  误差： 8.216954
第3次迭代  误差： 6.639643
第4次迭代  误差： 27.220103
第5次迭代  误差： 27.222127
+ S( V1 A- a1 ]第6次迭代  误差： 27.222127
第7次迭代  误差： 27.222127
第8次迭代  误差： 27.222127
0 h' z7 }4 W2 m, d/ U5 H
之后误差一直维持不变，想了解一下这是出于什么缘故？是正常情况吗？
5 [; g  d; X7 q* F
# A0 E3 ?4 C. C* D. Z/ i

hfiwioq

（1）判断条件是否有问题，不该迭代却迭代了；（2）迭代方向是否搞反了

TEL15286598

如果方便给更多一点代码会更容易理解

R_myself

TEL15286598 发表于 2022-12-1 13:21
如果方便给更多一点代码会更容易理解

%开始迭代
for i=1:maxiter
9 Q  c: z8 `4 g) S$ ?% V/ K; ^4 P    hid_input = net.w1 * SampInEx;                %3X100
    hid_out = logsig(hid_input);                  %3X100  
    ou_input1 = [hid_out;ones(1,nTrainNum)];      %4X100
    ou_input2 = net.w2 * ou_input1;               %1X100
1 S+ S, T2 h, S2 z; o0 |    out_out =logsig(ou_input2);                   %1X100
    out_Rec(:,i) = out_out;                       %记录每次的输出
# j8 N9 L2 A8 |8 @: U3 S9 d    err = expectedOut'-out_out;
    sse = sumsqr(err);
7 Y% z' [: n! y    errRec(i) = sse;                    %记录每次的错误
    fprintf('第%d次迭代  误差： %f\n',i,sse);
$ U- _+ j( F' W7 Z; w/ K    iteration = iteration+1;
  q0 _" _4 ?% N8 c; k: i8 s5 y! X) o   
/ A. a/ |8 ]1 D+ N7 v    %判断是否收敛
    if sse<=eb
        break;
- i5 l2 X+ c5 [/ r4 X+ s    end
1 Q3 w5 d. d* _' O2 R! f- s   
    %误差反向传播
" d, V4 v. s/ X; c# q) [    %隐含层与输出层之间的局部梯度度
    DELTA = err.*dlogsig(ou_input2,out_out);
  L8 n. j; ?' y3 v+ [3 L  C    %输入层与隐含层之间的局部梯度
) Q& }) y+ c5 F3 S; O. B/ ^3 m    delta = net.w2(:,1:end-1)'*DELTA.*dlogsig(hid_input,hid_out);
7 |6 }% Z" |9 x' ^    %权值修改量
0 c3 \5 x4 A0 V# X0 o0 B# n    dWEX=DELTA*ou_input1';
; I3 Z, s& D- ]) [% k' n7 s    dwex=delta*SampInEx';
. d$ b, q7 \3 ?$ [- a7 E4 v    %修改权值，如果不是第一次修改，则使用动量因子
2 |! m) B1 w% D3 |) ~    if i==1
        net.w2 = net.w2+eta*dWEX;
        net.w1 = net.w1+eta*dwex;
5 ^2 i0 _4 _, e! a" r0 M    else
        net.w2 = net.w2+(1-mc)*eta*dWEX+mc*dWEXOld;
        net.w1 = net.w1+(1-mc)*eta*dwex+mc*dwexOld;
    end
   
" {" ~+ B! t, n4 B    %记录上一次的权值修改量
5 S; Z: T+ Y- M- n" `    dWEXOld = dWEX;
    dwexOld = dwex;
( r  B, g2 j, pend