求助，PCIe链路必须Retrain才能跑到Gen3

gavinhuang

Jujianjun 发表于 2018-8-1 07:45
/ v4 j# D3 b2 G* u( L同意，根据现象看，应该不像是channel信号质量的问题：
( r# B3 d9 n  |1 u+ ^" u+ C2 G' k0 D
* m" K+ V4 K$ W) K/ {+ R2 H( t- F提个建议：通过软件能把LTSSM开始训练的时间往 ...

4 ^  E1 l2 r" q6 E4 d! W你是担心Clock给的太晚了吗，应该不会吧。
我确实没量过Clock和reset之间的时序，应该没有问题，如果训练的时候没有时钟，应该连Gen1都不能工作，不过以后可以量一下，现在这个问题暂时搁置了，等以后解决了再更新答案吧。
" z2 o1 p$ C0 x: u8 M) q
谢谢版主一直在关心这个问题，非常感谢！
* l/ W( M# V4 C9 i* A4 v

ykwym

gavinhuang 发表于 2018-7-30 10:16
1 s% z- Z; g  ]7 E* I3 K8 T谢谢你的回答。
现在就是不知道为什么上电的时候会工作在Gen1，我们没有协议分析仪，无法监控分析整个训 ...

4 \7 r2 s5 v. u/ P链路训练最开始是工作在GEN1的，尝试去变到GEN3，有时候并不能到GEN2的，各种设备的兼容性问题。。。
/ [3 y  f, O2 v: T8 p. p其实你需要修改的是serdes参数的某个初始值，至于怎么修改，可以找BCM的FAE，不过估计也没人理你。。。

wanily

兄弟搞定没有

gavinhuang

wanily 发表于 2018-9-10 23:47
" F$ I5 ^" U7 y; x  Y兄弟搞定没有

一直没搞定，大神有何高见？

caiyiquan

87XX需要Retrain才能跑GEN3是正常的，PLX专门出了一份Errate，需要Retrain两次，如果需要这份文档可以发你。电话18025395155。我们也用PLX8724上行X8转2个下行的X8（接GEN3的万兆INTEL网卡XL710）也是识别不到GEN3，Retrain后勉强可以到GEN3，但78h的bit5是Retrain link，一直在0和1之间变动，稳不下来。而其他GEN3的显卡、raid卡、网卡都可以识别。另CLK比RESET要早，这个我用示波器测过。
) L% O+ S* x1 d, q6 E5 c

caiyiquan

我们用PLX8724上行X8转2个下行的X8（接GEN3的万兆INTEL网卡XL710）也是识别不到GEN3，
1 b6 C3 k( [! q7 S4 w* {2 F1）多次Retrain后勉强可以到GEN3，但78h的bit5是Retrain link，一直在0和1之间变动，稳不下来；
# z, B: ~0 R$ A9 I) v2）此时可能还会跳回到GEN2，78h的bit5---Retrain link也会稳定下来；
7 p* d& _# R8 U6 M3）其他功能GEN3的显卡、raid卡、网卡都可以识别为GEN3，目前唯独INTEL XL710识别不了GEN3（包括市面上买的商用X710网卡）？注：试过关ASPM无效，
求大神指点一二，万分感谢！

caiyiquan

gavinhuang 发表于 2018-9-11 09:03
# Y* E' ?. e. D  f: x/ j一直没搞定，大神有何高见？

7 N+ T2 L$ P. b) T  b87XX需要Retrain才能跑GEN3是正常的，PLX专门出了一份Errate，需要Retrain两次，照PLX说法，这是正常的，如果Retrain能链接到GEN3，请BIOS工程师增加指令，修改寄存器（开机后做Retrain动作）。
, J; @  [& j4 s4 d& m* P8 k

gavinhuang

caiyiquan 发表于 2018-10-24 12:15
8 E$ K. v- w& o7 V87XX需要Retrain才能跑GEN3是正常的，PLX专门出了一份Errate，需要Retrain两次，照PLX说法，这是正常的， ...

: X3 X% m" U* n4 ~9 p1 r刚看到你的回复，非常感谢！

0 Q6 X: _  t! e6 F我们现在也一直没解决这个问题，现行的解决办法依然是通过软件驱动，让系统开机时retrain。你说的87XX需要retrain才能跑GEN3是PLX官方的说法吗？能否把那份Errate发给我一下？链接也行，谢谢了！

gavinhuang

caiyiquan 发表于 2018-10-24 12:15
87XX需要Retrain才能跑GEN3是正常的，PLX专门出了一份Errate，需要Retrain两次，照PLX说法，这是正常的， ...

找到你说的那份Errata了，谢谢。
7 u0 H6 ~4 h$ O" }4 J5 i! v
; G8 q2 y  W0 v! i- ^把这份Errata传上来，其他人有兴趣可以看一下。

4 |6 k$ p$ O% c4 o5 M0 y

caiyiquan

gavinhuang 发表于 2018-10-24 16:07
/ L& Q; I& o) J4 n$ U' x% Q0 m0 c刚看到你的回复，非常感谢！

我们现在也一直没解决这个问题，现行的解决办法依然是通过软件驱动，让系 ...

7 V9 Q9 D0 B; c不知道怎么发你？我邮箱sz.yqcai@evoc.cn.另你休眠后再唤醒，PCIE也会进入休眠，系统下电源会进入省电模式，跑GEN1肯定和电源进省电模式有关。
# f* s2 a& g0 I- u6 T  l

caiyiquan

gavinhuang 发表于 2018-10-24 16:30
: x3 C1 f- X- C% P8 l找到你说的那份Errata了，谢谢。
7 Z: G: _, f: r
把这份Errata传上来，其他人有兴趣可以看一下。

. j* Q1 E8 `2 @" @

兼容性问题重点看1.38，但我们请PLX改后还是无效。

1.21 是说GEN3时有LCRC错误，不会引起连接不到GEN3

& S( H" s% Y9 P/ a* b9 f/ j5 b) ]& ~

1.23是说异步时钟时，GEN3会有CRC错误计数，一般都是同步时钟

1.25是说进入compliance mode次数超3次link就根本链接不来了，与链接到GEN2也无关

6 b7 E  n' \8 Z$ B, U' g

1.35 是说你手动共控制GEN2升GEN3速率时写一次retrain不行，要写两次，与自动链接不到GEN3无关。

2.9是说GEN3速度时推出ASPM打开时， 自动退出L1状态时有错误计数

/ P  _9 J6 U9 [5 j

2.10是说手动想GEN2 升GEN3时们要写两次retrain

& n6 C# u& ^9 m! o) d

zcIvean

大神、请教一下、我使用pex8624工作在nt 模式、会存在概率性link不上的问题、请问一下如何使nt port retrain

zcIvean

gavinhuang 发表于 2018-10-24 16:07
* p; J7 m9 P) x8 ]. S) k刚看到你的回复，非常感谢！
9 \, }! \7 ~( A! E/ a
我们现在也一直没解决这个问题，现行的解决办法依然是通过软件驱动，让系 ...

请问一下大神用到过nt mode吗？想请教下nt port 如何retrain？

gavinhuang

zcIvean 发表于 2019-1-16 23:37
: U$ x3 M0 P# G4 J6 o; q) \/ t请问一下大神用到过nt mode吗？想请教下nt port 如何retrain？

没用过NT Mode
- Y# m  `  S0 Q% y5 n

scsi

我的8796   扩展了 8个PCIE 槽，  插上视频 解码板或FPGA 板都可以稳定工作在PCIE3.0  ，  但插GPU 或显卡时，  有时是GEn3 有时是GEN1