迭代之后，误差反而越来越大的问题

R_myself

目前正在做神经网络训练方面的学习，拿一份数据进行了练习，但是对数据进行处理之后，发现在训练过程中，误差随着迭代次数的增加也在增加，之后维持不变，请教各位大神，这可能是出于什么缘故？
具体代码如下：
& U- s0 C) _6 z4 F: \    err = expectedOut'-out_out;
' `* [/ }2 r+ b; d7 ]    sse = sumsqr(err);
! j; v* B/ U7 a4 {6 W4 j    errRec(i) = sse;                    %记录每次的错误
    fprintf('第%d次迭代  误差： %f\n',i,sse);


其中，expectedOut是实际值，out_out是经过训练之后得到的结果
2 V- V- d! m( y& y8 [  k9 u然后，结果是这样：
第1次迭代  误差： 2.124233
$ t+ c7 I* S6 e' T0 N第2次迭代  误差： 8.216954
/ ]: n  e9 A1 m# a) H, B第3次迭代  误差： 6.639643
7 i7 z+ |+ Z& [7 V第4次迭代  误差： 27.220103
第5次迭代  误差： 27.222127
; z( J: n$ o# M, N第6次迭代  误差： 27.222127
% B; q* l3 i" \, x第7次迭代  误差： 27.222127
: `9 w% m9 b0 E7 _/ [2 C; i  m- T第8次迭代  误差： 27.222127
7 _2 {( K/ \1 g5 l. K* i6 T
" l1 u; N6 }, \# N之后误差一直维持不变，想了解一下这是出于什么缘故？是正常情况吗？

1 u6 _1 v7 q' Z% `6 n3 D. d% P5 I

hfiwioq

（1）判断条件是否有问题，不该迭代却迭代了；（2）迭代方向是否搞反了

TEL15286598

如果方便给更多一点代码会更容易理解

R_myself

TEL15286598 发表于 2022-12-1 13:21
如果方便给更多一点代码会更容易理解

%开始迭代
for i=1:maxiter
7 F/ J- z5 z- _0 x2 g7 E    hid_input = net.w1 * SampInEx;                %3X100
    hid_out = logsig(hid_input);                  %3X100  
    ou_input1 = [hid_out;ones(1,nTrainNum)];      %4X100
    ou_input2 = net.w2 * ou_input1;               %1X100
    out_out =logsig(ou_input2);                   %1X100
% r) t  u2 \# O7 {9 D( b    out_Rec(:,i) = out_out;                       %记录每次的输出
    err = expectedOut'-out_out;
    sse = sumsqr(err);
    errRec(i) = sse;                    %记录每次的错误
    fprintf('第%d次迭代  误差： %f\n',i,sse);
9 R5 I- s& I* h/ O. K# x* J$ A    iteration = iteration+1;
   
    %判断是否收敛
( Y$ c2 U7 y" b$ a. J: g* U! O8 \    if sse<=eb
; K1 \; Y( e8 a, R% v" ~3 C        break;
    end
$ _) {+ Y" o. F1 L" P! {( P   
    %误差反向传播
+ h: ~" y' B( a% n8 c2 v+ T0 L    %隐含层与输出层之间的局部梯度度
    DELTA = err.*dlogsig(ou_input2,out_out);
    %输入层与隐含层之间的局部梯度
- A2 Q6 |) Q9 x+ t3 F    delta = net.w2(:,1:end-1)'*DELTA.*dlogsig(hid_input,hid_out);
, B7 R. A' Y9 A1 w* _2 Z    %权值修改量
    dWEX=DELTA*ou_input1';
9 y9 X1 m, l2 g1 g5 v+ T    dwex=delta*SampInEx';
    %修改权值，如果不是第一次修改，则使用动量因子
% `3 M& c  @; b2 c' t    if i==1
        net.w2 = net.w2+eta*dWEX;
7 b3 Q$ o# d$ k! Y) Q# F( ~. w& l# \        net.w1 = net.w1+eta*dwex;
+ n7 g( y6 g- O- v& O    else
- Q7 S: g- M0 C9 Q, Z0 _        net.w2 = net.w2+(1-mc)*eta*dWEX+mc*dWEXOld;
+ K. v9 U: b& h, w! F6 O% x" c        net.w1 = net.w1+(1-mc)*eta*dwex+mc*dwexOld;
# F' N3 p5 ]4 S; V; ?9 H    end
+ B: W# _2 B0 ^- e# q   
2 ?& y8 L. f8 `, T    %记录上一次的权值修改量
    dWEXOld = dWEX;
: H& `, `3 E* O' U' s- f    dwexOld = dwex;
( _( O4 y- S+ _, i+ V2 y' z) wend
7 M/ u# n0 x4 v