迭代之后，误差反而越来越大的问题

R_myself

目前正在做神经网络训练方面的学习，拿一份数据进行了练习，但是对数据进行处理之后，发现在训练过程中，误差随着迭代次数的增加也在增加，之后维持不变，请教各位大神，这可能是出于什么缘故？
; Q4 [0 w3 y, M1 b" y8 x3 `* v! Q, O具体代码如下：
    err = expectedOut'-out_out;
    sse = sumsqr(err);
. N7 Y# S! |+ O    errRec(i) = sse;                    %记录每次的错误
" r$ v) x  s& ~1 V& }' x    fprintf('第%d次迭代  误差： %f\n',i,sse);

  r' ^$ j+ F1 g1 J& y( Z
( `# C0 k# T. Y. K其中，expectedOut是实际值，out_out是经过训练之后得到的结果
然后，结果是这样：
/ S8 G" q% c1 U第1次迭代  误差： 2.124233
/ I. _0 l7 d  G* E1 V1 C- A! o第2次迭代  误差： 8.216954
" T  I! ?* C, y( \4 x3 s6 @第3次迭代  误差： 6.639643
第4次迭代  误差： 27.220103
8 a9 B  t4 u4 E% w" a6 a. l; ~第5次迭代  误差： 27.222127
第6次迭代  误差： 27.222127
第7次迭代  误差： 27.222127
第8次迭代  误差： 27.222127

  s" I( X5 a( `. v2 X之后误差一直维持不变，想了解一下这是出于什么缘故？是正常情况吗？

hfiwioq

（1）判断条件是否有问题，不该迭代却迭代了；（2）迭代方向是否搞反了

TEL15286598

如果方便给更多一点代码会更容易理解

R_myself

TEL15286598 发表于 2022-12-1 13:21
6 ]) |0 w, K# o: ^( g如果方便给更多一点代码会更容易理解

%开始迭代
* k& U! R" {' v" Q; zfor i=1:maxiter
0 g5 {' J( G' G- e4 r5 g    hid_input = net.w1 * SampInEx;                %3X100
    hid_out = logsig(hid_input);                  %3X100  
2 K0 [. R6 f" |; k6 b% M* n5 p( r    ou_input1 = [hid_out;ones(1,nTrainNum)];      %4X100
    ou_input2 = net.w2 * ou_input1;               %1X100
; m) V. C9 v( n% l# n    out_out =logsig(ou_input2);                   %1X100
    out_Rec(:,i) = out_out;                       %记录每次的输出
    err = expectedOut'-out_out;
    sse = sumsqr(err);
; E6 y% u7 r6 K* E    errRec(i) = sse;                    %记录每次的错误
    fprintf('第%d次迭代  误差： %f\n',i,sse);
' f3 Y' N% H" P8 m' y    iteration = iteration+1;
   
  u, r; n$ j) A4 s    %判断是否收敛
    if sse<=eb
" `( {/ Q) A, m# ?$ O        break;
    end
7 Z7 k0 k/ y+ \1 D  O   
    %误差反向传播
    %隐含层与输出层之间的局部梯度度
    DELTA = err.*dlogsig(ou_input2,out_out);
1 M) B4 [  a0 t+ v+ j    %输入层与隐含层之间的局部梯度
& x- Y( A  u0 C    delta = net.w2(:,1:end-1)'*DELTA.*dlogsig(hid_input,hid_out);
    %权值修改量
    dWEX=DELTA*ou_input1';
: V) N- [& k; t. M7 B1 c# b1 U) |    dwex=delta*SampInEx';
    %修改权值，如果不是第一次修改，则使用动量因子
    if i==1
3 k7 g& K# b) V; w5 U7 T        net.w2 = net.w2+eta*dWEX;
5 Y0 L: Q8 E2 r& K! x- }) q0 u; m1 J        net.w1 = net.w1+eta*dwex;
    else
        net.w2 = net.w2+(1-mc)*eta*dWEX+mc*dWEXOld;
        net.w1 = net.w1+(1-mc)*eta*dwex+mc*dwexOld;
4 W! v, O8 k; S% p5 q( h% w    end
8 ~9 @  U) g* E3 X- R% S   
    %记录上一次的权值修改量
3 O+ R; ?" n8 _" x    dWEXOld = dWEX;
+ F, k2 X9 Z: X6 g) J9 R$ k0 X8 a    dwexOld = dwex;
end