迭代之后，误差反而越来越大的问题

R_myself

目前正在做神经网络训练方面的学习，拿一份数据进行了练习，但是对数据进行处理之后，发现在训练过程中，误差随着迭代次数的增加也在增加，之后维持不变，请教各位大神，这可能是出于什么缘故？
# G( t3 J/ A' `+ U具体代码如下：
    err = expectedOut'-out_out;
    sse = sumsqr(err);
, P* J# A' d$ ~! w2 W; R" L" X7 v    errRec(i) = sse;                    %记录每次的错误
+ k: w4 `  ?4 [  E/ @0 d" Z5 ~    fprintf('第%d次迭代  误差： %f\n',i,sse);
# E/ y0 X$ q' ^" o0 G" c, f# p
( A2 b; H) V/ h
其中，expectedOut是实际值，out_out是经过训练之后得到的结果
5 H) ]4 T1 G3 n; l! Q& }9 v! G然后，结果是这样：
4 G) M/ D; ^. ^第1次迭代  误差： 2.124233
9 \* G/ L, M8 O9 \第2次迭代  误差： 8.216954
- w, [3 G0 X8 G3 }' L8 l* L5 S第3次迭代  误差： 6.639643
第4次迭代  误差： 27.220103
第5次迭代  误差： 27.222127
  m5 \0 C5 ~$ A0 `4 r第6次迭代  误差： 27.222127
第7次迭代  误差： 27.222127
( O, f6 j! \5 v+ h第8次迭代  误差： 27.222127

之后误差一直维持不变，想了解一下这是出于什么缘故？是正常情况吗？

hfiwioq

（1）判断条件是否有问题，不该迭代却迭代了；（2）迭代方向是否搞反了

TEL15286598

如果方便给更多一点代码会更容易理解

R_myself

TEL15286598 发表于 2022-12-1 13:21
/ |/ @  R4 E- q4 C如果方便给更多一点代码会更容易理解

%开始迭代
for i=1:maxiter
    hid_input = net.w1 * SampInEx;                %3X100
    hid_out = logsig(hid_input);                  %3X100  
, K4 Y: R( T8 r5 M2 _8 N" [4 a    ou_input1 = [hid_out;ones(1,nTrainNum)];      %4X100
    ou_input2 = net.w2 * ou_input1;               %1X100
    out_out =logsig(ou_input2);                   %1X100
    out_Rec(:,i) = out_out;                       %记录每次的输出
% F: J: n/ _# i8 `    err = expectedOut'-out_out;
" ?' k5 @* P5 k. C' r0 p8 r# R    sse = sumsqr(err);
$ u$ G: R( B; o% b8 }    errRec(i) = sse;                    %记录每次的错误
    fprintf('第%d次迭代  误差： %f\n',i,sse);
    iteration = iteration+1;
   
    %判断是否收敛
    if sse<=eb
        break;
    end
- P1 a" V# T2 F; Y   
    %误差反向传播
. i2 b) m; Y! v& w* g  J    %隐含层与输出层之间的局部梯度度
; F: f! F* D1 A8 c$ p- z# l    DELTA = err.*dlogsig(ou_input2,out_out);
5 T3 [3 ]* q# j2 {    %输入层与隐含层之间的局部梯度
3 f- A. ~! N8 @$ J( U; \    delta = net.w2(:,1:end-1)'*DELTA.*dlogsig(hid_input,hid_out);
  S( x9 T/ E; R" y- c, X# H    %权值修改量
    dWEX=DELTA*ou_input1';
    dwex=delta*SampInEx';
    %修改权值，如果不是第一次修改，则使用动量因子
; C) y& ]6 Q2 o& Y, n; E5 N    if i==1
2 b8 t3 }" \) j3 T        net.w2 = net.w2+eta*dWEX;
        net.w1 = net.w1+eta*dwex;
) D- U; G+ i& K1 ]" d- a, @) s    else
: i1 s. Q  T; W* v* `        net.w2 = net.w2+(1-mc)*eta*dWEX+mc*dWEXOld;
% w- c1 T# r3 a: e        net.w1 = net.w1+(1-mc)*eta*dwex+mc*dwexOld;
7 l9 |( z5 M1 D& G# `    end
   
    %记录上一次的权值修改量
  l9 B4 C' e% f$ ?    dWEXOld = dWEX;
* L( {; U) p0 x' m: X# u    dwexOld = dwex;
6 E+ ]# g8 r' c" @4 Gend
5 P3 M& z. w  @, d