找回密码
 注册
关于网站域名变更的通知
查看: 411|回复: 3
打印 上一主题 下一主题

使用kafka收集日志和存储

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2021-9-8 09:53 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

EDA365欢迎您登录!

您需要 登录 才可以下载或查看,没有帐号?注册

x

" a! k5 K, n6 x9 q, }需求:通过kafka把读到日志文件统一收集放在一个地方???1 V5 p! t6 u. o. E% K
问题:
' T/ @5 X+ n7 N% z8 d% O" k1,现在在一台机器上可能会同时产生多份不同路径下的日志文件,我怎么保证能同时读到,并且读完了继续保持读文件状态(因为日志文件可能会随时产生,我需要在发现新的日志记录时及时读到kafka中)?
7 r- _* K& w' S& x3 ~/ _! t4 t: A  K2,如果能读到不同路径下日志消息到kafka中,我在consumer端接收日志的时候怎么区分那条日志来自那台机器的那个程序或者是更详细点哪个进程或线程产生的呢?0 v2 m, ?9 g- y/ d
3,如果现在读着读着,程序挂了,或者机器宕机了,那么我再次启动程序,怎么能做到让程序从上次读到的日志开始读,而不是从头开始读能?

该用户从未签到

2#
发表于 2021-9-8 13:32 | 只看该作者
日志文件还可以收藏啊,以前只只知道保存为txt文件,哈哈哈
  • TA的每日心情

    2019-11-20 15:22
  • 签到天数: 2 天

    [LV.1]初来乍到

    3#
    发表于 2021-9-8 13:33 | 只看该作者
    讲个道理,日志入Kafka,读取文件的方式,太low了,如果你是Java程序,推荐自己写一个appender,把日志写到Kafka上

    该用户从未签到

    4#
    发表于 2021-9-8 13:34 | 只看该作者
    有没有使用python编程的方法
    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    关闭

    推荐内容上一条 /1 下一条

    EDA365公众号

    关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

    GMT+8, 2025-8-12 04:56 , Processed in 0.109375 second(s), 23 queries , Gzip On.

    深圳市墨知创新科技有限公司

    地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

    快速回复 返回顶部 返回列表