容器内应用日志收集方案

  • 时间:
  • 浏览:1
  • 来源:5分6合APP下载_5分6合APP官方

Q:某些方案是有的是要保证应用容器日志要输出到/var/log下啊?

A:太满再,日志容器只生成一下,太满再持续运行。

某些传统应用,不怎样才能会是legacy 系统,写日志机制往往是找不到配置和更改的,包括应用日志的格式,存放地址等等。日志整理机制,要尽量除理要求修改应用。

A:太满再,给每一1个多多应用容器配一1个多三天志卷容器就都可不可不可以 除理某些什么的问题。某些什么的问题也是朋友 出方案时一1个多多棘手的什么的问题。只是 某些方案的一1个多多好处只是 ,每一1个多多应用的都都可不可不可以 随意设置日志目录,太满再考虑和别的应用冲突,只是 会和同宿主机同一应用冲突。

Q & A

Q:最后跟跟我说到,重新配置logstash中配置文件,看上去感觉你又是通过wiselog某些容器去整理所有日志的?只不过是动态配置logstash里面参数。

监听新的日志容器->获取日志容器的type和本地目录->生成新的logstash配置:

本文转自 RancherLabs 51CTO博客,原文链接:http://blog.51cto.com/12462495/19094100

2)当日志容器被创建后(通过container label 判断),  inspect 容器的volume 在主机的path;

2) 应用侵入

2)更多的内置日志整理方案

1)整理容器的STDOUT/STDERR日志

1)wise2c-looger 侦听docker events 事件, 检查是否是 一1个多多三天志容器创建肯能被销毁;

容器化应用日志整理挑战

肯能在每个容器运行一1个多三天志整理系统进程, 比如logstatsh/fluentd 之类的日志工具,在主机容器密度高的之前 ,logstatsh/fluentd之类日志整理工具会消耗一定量的系统资源。里面某些妙招是最简单直观的,也是最消耗资源的。

Q:「生成日志容器」是指每个应用容器要对应一1个多三天志容器?一1个多多多资源消耗太满再更大吗?k8s那种日志整理性能消耗会比一1个多多多每个应用容器对应一1个多三天志容器高么?

在该方案中,会在每个host 部署一1个多多wise2c-logger,wise2C会listen docker engine的event,当有新容器创建和销毁时,会去判断是否是 有和日志相关的local volume 被创建肯能销毁了,根据lables,wise2c-logger 会动态配置logstatsh的input、filter 和output,实现应用日志的整理和整理。

A:针对es来说,还找不到别的更好的方案。

A:他们报过某些除理妙招,日志量大时,docker daemon会崩溃。

A:通过容器都可不可不可以 识别出来某些应用的业务上的逻辑,都可不可不可以 拿到service名称。

在部署一1个多多传统的应用的之前 ,应用系统进程记录日志的妙招通常记录到文件里, 一般(但不一定)会记录到/var/log目录下。应用容器化后,不同于以往将所有日志插进主机系统的统一位置,日志分散在只是 不同容器的相互隔离的环境中。

采用统一应用日志整理方案,日志分散在只是 不同容器的相互隔离的环境中,前要除理日志的来源识别什么的问题。

容器化应用日志整理方案

3) 日志来源识别

3)重新配置wise2c-logger 内置的logstatsh 的配置文件,设置新的input, filter 和output 规则。

1) 资源消耗

A:是指每个应用容器对应一1个多三天志容器。其实每个应用一1个多多三天志容器,否则,日志容器是start once的,太满再占用运行时资源。

A:是的,现在整理工作是logstash来完成的,单纯的文件整理,可选的方案还挺多的,也找不到必要再造轮子了。

Q:肯能是挂载log目录,logstash就都可不可不可以 去宿主机整理了,还前要别的插件做某些?

找不到朋友 现在来看下wiselogger大致的工作流程:

Q:syslog driver能整理容器内的日志文件么?容器内不同流向的日志能区分么?

A:找不到做过很强的压力,否则朋友 现在正常使用倒没碰上过性能上的瓶颈。朋友 现在找不到对logger做资源限制,否则能占用100~100M内存,肯能有logstash的是因为。

怎样才能整理应用写在容器内日志记录,有以下挑战:

目前朋友 还在对Wise2C-logger 作进一步的优化:

优化

A:有的是,都可不可不可以 随意定义,logstah都可不可不可以 抓syslog。

应用容器化之前 ,前要在为应用容器挂载一1个多多专门写有日志的volume,为了区别该volume 和容器其它数据volume,朋友 把该volume 定义在容器中,通过volume_from 指令share 给应用容器,下面是一1个多多例子:demo应用的docker-compose file

Q:上次听别人说详细把日志扔到标准输出里,告诉我靠谱不?

Q:有找不到做过性能测试?我这边模块的日志吞吐量比较大。比如在2个量级的日志输出量基础上,主要为logger模块预留2个系统资源,保证其正常稳定工作?

A:都可不可不可以 监听文件目录,也都可不可不可以 定时请求docker daemon。

Q:直接用syslog driver,能做到对应用无侵入么?

Docker除理日志的妙招是通过docker engine捕捉每一1个多多容器系统进程的STDOUT和STDERR,通过为contrainer制定不同log driver 来实现容器日志的整理,缺省json-file log driver是将容器的STDOUT/STDERR 输出保存在磁盘上,否则用户就能使用docker logs <container>来进行查询。

Q:有的应用输出的log名有的是一样的,太满再有冲突吗,比如我启动一1个多多容器在一1个多多宿主机上,都往xx.log里写入会有什么的问题。

Q:怎样才能会去监听local volume?

A:为了减少对应用的侵入。肯能只是 用户的现有系统找不到再修改了,一1个多多多做也是为了减少用户现有系统进程的修改,为了最重要的“兼容现有”。

不怎样才能会是对default 使用json-file driver的容器,通过扫描容器主机的json-file 目录,实现容器STDIN/STDERR日志的整理。

应用日志的整理、分析和监控是日常运维工作重要的偏离 ,妥善存在理应用日志整理往往是应用容器化重要的一1个多多课题。

A:容器内应用的本地日志syslog都可不可不可以 整理,分流同样都可不可不可以 完成,否则容器内的本地日志某些我我所他们其实跟容器环境下的应用无本地化、无具体情况化相悖吧。

Q:除了kibana还有没别的可视化方案?

下面是朋友 设计的一1个多多低资源资源消耗、无应用侵入、都可不可不可以 清楚识别日志来源的统一日志整理方案,该方案肯能在睿云智合的客户有成功实施案例。

A:启动容器的之前 注明使用Syslog driver的参数即可,一1个多多多几乎找不到额外资源占用。

这里是把wise2c-logger在rancher平台上做成catalog前要的docker-compose.yml的截图,朋友 都可不可不可以 配合里面的流程描述一起去看一下。

1) 应用怎样才能配置

日志来源识别的功能借助了rancher平台为container_name的命名的规则型态,都可不可不可以 做到即使一1个多多容器在运行过程中被调度到另外一台主机,也都可不可不可以 识别日志来源。

Q:那某些方案其实有个什么的问题,为某些不学k8s那种,直接固定那目录,通过正则表达式去整理日志文件,而要动态找不到做?有某些好处吗?目前我感觉这两套方案几乎一样。

web-data 容器使用一1个多多local volume,mount到/var/log目录(也可是否是 其它目录),在web-data中定义了2个标签,  io.wise2c.logtype说明某些容器中中含了日志目录,标签里面的值elasticsearch、kafka都可不可不可以 用于指明log的output肯能过滤条件等。

目前内置缺省使用logstatsh 作日志的整理,和过滤和某些简单的转码逻辑。未来wise2C-logger  都可不可不可以 支持某些更轻量级的日志整理方案,比如fluentd、filebeat等。

Q:跟跟我说的start once是某些意思?跟我说占资源是一定量日志来的之前 ,找不到三天志容器要消耗一定量io的吧,CPU使用率会上升,太满再影响应用容器使用CPU么?

猜你喜欢

日志服务在CDN流量指标中的异常检测实战(上)

企业级WebNginx服务优化(5)【CDN排查方案-1】认识CDN网络调优SLS机器学习最佳实战:时序异常检测和报警版权声明:本文内容由互联网用户自发贡献,版权归作者所有,本

2020-02-19

各类机器学习问题的最优结果合集!附论文及实现地址索引

论文:DYNAMICEVALUATIONOFNEURALSEQUENCEMODELS一、NLP该GitHub库提供了所有机器学习问题图片的当前最优结果,并尽最大努力保证该库是最

2020-02-19

游客7zcwupywj7vuy的主页

文章:15丨粉丝:62624丨话题:0阿里云计算Kubernetes、Docker、调度、上方件阿里云容器服务管控调度系统开发文章:0丨粉丝:62623丨话题:0云栖运营小编~

2020-02-19

与word2vector相关精彩内容

作者:revolution2u1872人浏览loggerxmlutf-8wikigensimword2vector说明源码github地址:https://github.com

2020-02-19

工商银行借记卡只能办一张么

前要注意的是,Ⅱ、Ⅲ类账户具有有限功能,只有账号而只有实体卡,且只有与Ⅰ类户绑定使用。展开删改Ⅰ类户是全功能账户,能只有办理存款、转账、消费缴费、购买投资理财产品等,使用范围和

2020-02-19