Logstash接收到的日志时间顺序与Filebeat发出的顺序不一样

domenica

( P9 W8 A" E" Z  j* A2 }: N3 P! L用filebeat收集 /tmp/testlog/no7.log 的内容后，传送给Logstash服务器，Logstash把收到的内容输出为 /tmp/logstash/no7.log
9 X/ t/ H, W9 U4 E. c4 e7 b
传送没有出现日志缺失，但是发现时间顺序是混乱的，具体情况如下：

1 E: q2 F4 |$ l7 [! @; hfilebeat.yml
: o& F5 n# I; W% nfilebeat.inputs:

8 q& J' I1 K+ z$ Y$ S- Xtype: log
; c4 b( A' u, h" ^0 z' xenabled: true
paths:
+ x6 B4 S2 p8 l: a' `2 P/tmp/testlog/no7.log
output.logstash:
- u4 s5 E- F" ^: ~hosts: ["xxx.xx.x.xxx:5044"]
----------------------------------------------------------------------------
2 B1 Z$ i- U; K, ?logstash.conf
input {
beats {
port => 5044
, Q4 X8 X1 k5 q+ H}
}
1 l) I/ c2 U9 d$ Z$ h5 Soutput {
file {
7 b9 C5 H! N6 s8 n3 k  Rpath => "/tmp/logstash/no7.log"
" [$ N, l+ J8 e, dcodec => line { format => "%{message}"}
, s3 O, A4 |9 l% P}
; U, U" n' l4 S8 u}
8 I2 D3 K% h, N# G9 ^0 c----------------------------------------------------------------------------

时间乱序情况如下：

/tmp/testlog/no7.log(Filebeat服务器)
no7 0 2020年 1月 14日 火曜日 17:48:36 JST
+ G2 }7 h. B% x9 {8 Eno7 1 2020年 1月 14日 火曜日 17:48:37 JST
no7 2 2020年 1月 14日 火曜日 17:48:38 JST
, p" f  p1 v& c% r# Vno7 3 2020年 1月 14日 火曜日 17:48:39 JST
2 ]& v: |" q2 C, @, Kno7 4 2020年 1月 14日 火曜日 17:48:40 JST
no7 5 2020年 1月 14日 火曜日 17:48:41 JST
no7 6 2020年 1月 14日 火曜日 17:48:42 JST
no7 7 2020年 1月 14日 火曜日 17:48:43 JST
no7 8 2020年 1月 14日 火曜日 17:48:44 JST
no7 9 2020年 1月 14日 火曜日 17:48:45 JST
----------------------------------------------------------------------------
  l. k: [4 E4 p: N
  G5 E* H1 R6 Q! U/tmp/logstash/no7.log(Logstash服务器)
no7 2 2020年 1月 14日 火曜日 17:48:38 JST
no7 6 2020年 1月 14日 火曜日 17:48:42 JST
no7 3 2020年 1月 14日 火曜日 17:48:39 JST
6 O0 t1 |" d8 o3 I5 v( Mno7 7 2020年 1月 14日 火曜日 17:48:43 JST
no7 0 2020年 1月 14日 火曜日 17:48:36 JST
+ p, P- x  h  k3 K+ ~7 y) k! hno7 4 2020年 1月 14日 火曜日 17:48:40 JST
no7 8 2020年 1月 14日 火曜日 17:48:44 JST
; L" i' i/ k* a( c7 `no7 1 2020年 1月 14日 火曜日 17:48:37 JST
6 h% b: `0 ]2 H2 v# P, T* bno7 5 2020年 1月 14日 火曜日 17:48:41 JST
: ?: e4 q9 l0 V  F2 `no7 9 2020年 1月 14日 火曜日 17:48:45 JST
  a# K" j3 ]$ A5 U( D----------------------------------------------------------------------------

' V6 L$ f. B8 ~可以看见，Logstash接受到的所有内容都是乱序排列，请问怎么才能让它按照Filebeat服务器里的顺序输出呢
请大家帮帮忙，麻烦了
7 k! r7 q; p5 u/ S4 A7 s8 n$ }( j
——————
/ ^7 D& g- v& @4 f( q( C' Q0 H
6 [) ~" f3 p1 a6 Q, V' m: v0 \8 y有在网上搜过解决方法，都说是用filter的date来处理，但是按照目前能找到的所有回答都试了一遍，乱序问题依旧没有解决

SsaaM7

问题贴也是太长了 ，看了半天了……

ExxNEN

SsaaM7 发表于 2021-8-18 15:13
问题贴也是太长了 ，看了半天了……

( b7 O9 X+ t9 x" G8 r+ q& F5 W哈哈哈，我也看半天了，徘徊在ARM边沿的人啊

uqHZau

如果试了一遍没有解决，说明你并没有成功使用你的日志时间作为logstash时间戳解析，否则不会再乱序了。再尝试一下，看下是不是过程出错了