Actor-critic结构

cichishia

最近在做Actor-critic结构 写了相应的程序 结果控制效果不好  求助大神，感谢!

程序：
%设置常值
M=1.0;
% b: V; C4 B, o% P  O  Qm=0.1;
b=0.0005;
  d! L5 e% k2 N: q/ @l=0.5;
T=0.02;
g=9.8;
F=10;
w=zeros(1,162);
vi=w;
4 l: L& q- P5 V8 [2 I3 P8 ?$ E5 @p=0;
pp=0;
$ B/ k9 Q1 y) v; Hfor j=1:100   %开始一次trail
    ei=zeros(1,162);  %两个资格函数
    xh=zeros(1,162);
    X=[0;0;0;0];  
    k=unidrnd(162); %给倒立摆设置随机初始状态
" I0 w/ \- e" K" s7 N$ B3 g    for i=1:18000   %
        x1=zeros(162,1);
& C- ?* p8 j3 p8 [  N        x1(k)=1;
        y=sign(w*x1+0.1*randn);  %ASE输出的激活函数
        ei=0.9*ei+0.1*y*(x1)';
5 d2 R; m. {! L' b5 e  N        xh=0.8*xh+0.2*(x1)';
        pp=p;
        %倒立摆模型
" E7 p0 ]* D- t; ~$ v/ I. |8 w        JPP=((M+m)*g*sin(X(4))+cos(X(4))*(y*F-b*sign(X(3))-m*l*(X(2))^2*sin(X(4))))/(4/3*(m+M)*l-m*l*(cos(X(4)))^2);
        XPP=(F*y-b*sign(X(3))+m*l*((X(2))^2*sin(X(4))-JPP*cos(X(4))))/(M+m);
        %更新状态向量
: G: F% ^9 k  Y; v' K        X(3)=X(3)+T*XPP;
        X(2)=X(2)+T*JPP;
4 L9 p7 c6 O9 C* m1 O        X(1)=X(1)+T*X(3);
        X(4)=X(4)+T*X(2);
# O! A8 O$ _7 |! S) S        %判定是否失去平衡
6 R) ?0 U$ ?. Z# \# U7 A$ V: f        if (X(1)>2.4)|(X(1)<-2.4)|(X(4)>0.21)|(X(4)<-0.21)|(k>162)
            r=-1;
1 u1 y+ o: a* c( i        else
            r=0;
        end
        if r==-1
: s" k7 V$ l5 S            break
0 c6 j7 a) T. f: d! T# q6 Q        end
6 j' M7 k0 _+ U) N/ F2 G        %更新权值向量
; f! \" e1 G/ t4 G  S% S        p=vi*x1;
5 e) J$ g  a5 ^        rj=r+0.95*p-pp;
        w=w+1000*rj*ei;
        vi=vi+0.5*rj*xh;
: v: m$ z& W. X- _$ k        %新的状态向量进入解码器解码
' m/ A4 z- X7 K        jmq(X);      
+ ^* s8 O% A0 o& U! o, A    end
* c9 V% V' c" V$ v8 x    hold on;
    plot(j,i,'rx');
    if i>=18000
        break;
    end
end
8 O$ ?, ?& T# W) s解码器的程序：function k=jmq(X)
! o+ h7 L% ]7 ]5 yif X(1)>=-2.4&X(1)<-0.8
4 B0 l$ m$ w7 o5 l4 E; X6 H    k=1;
+ j3 g6 g6 K9 ^elseif X(1)>=-0.8&X(1)<0.8
    k=55;
# U0 L- S0 C- m7 ?elseif  X(1)>=0.8&X(1)<2.4;
    k=109;
end
if X(2)<-0.87
+ n" U  J' F. k. q1 _( M    k=k;
+ J) ]) ^* ~4 K/ selseif X(2)>=-0.87&X(2)<0.87
    k=k+18;
else k=k+36;
, E1 C, p; T/ R$ y4 H; Eend
if X(3)<-0.5
$ t+ ]4 ]& P9 D- l: R; w  T/ P4 ?% |! x    k=k;
+ X4 w. ]9 v8 }elseif X(3)>=-0.5&X(3)<=0.5
    k=k+6;
( y& Y/ t7 W$ r/ gelse k=k+12;
end
if X(4)>=-0.21&X(4)<-0.105
: f* X3 V- e8 U8 S: q- F4 H    k=k;
. E: o0 O' k8 o) r& aelseif X(4)>=-0.105&X(4)<-0.017;
/ C* {& n. N: O& @. g    k=k+1;
elseif X(4)>=-0.017&X(4)<0
    k=k+2;
elseif X(4)>=0&X(4)<0.017
* U% D7 x# S; n( b% _7 Y    k=k+3;
elseif X(4)>=0.017&X(4)<0.105
2 D9 ~* e' D  y7 D+ ]    k=k+4;
else k=k+5;
end

shuddkk

nkkopd

这个我也不会，等一个大神

大小的小