系统设计 metrics collection and monitor system

Xavier · 2019 年9 月 4 日 06:41

Prometheus（下称 Prom）是一个基于 Metrics 的监控系统，与 Kubernetes 同属 CNCF（Cloud Native Computing Foundation），它已经成为炙手可热的 Kubernetes 生态圈中的核心监控系统，越来越多的项目（如 Kubernetes 和 etcd 等）都加入了丰富的 Prom 原生支持，从侧面体现了社区对它的认可。 Prom 提供了通用的数据模型和便捷的数据采集、存储和查询接口，同时基于 Go 实现也大大降低了服务端的运维成本，可以借助一些优秀的图形化工具（如 Grafana）可以实现友好的图形化和报警。实际使用中笔者发现工程人员中普遍存在对 Prom 中客户端数据模型和 PromQL 计算逻辑的误解，不但很难将数据中的价值发挥出来，还可能出现误判。本文分析了客户端和服务端的部分源码实现，介绍了客户端数据模型和 PromQL 计算逻辑，希望能为基于 Prom 的监控平台提供一些启发。 Go 客户端 Go 客户端实现了 Prom 数据协议，定义了时序数据模型和采集监控数据的接口（源码分析基于https://git…

网易云基于 Prometheus 的微服务监控实践 CS News

当监控遇上微服务在过去数年里，微服务的落地一直都是业界重点关注的问题，其始终面临着部署、监控、配置和治理等方面的挑战。轻舟微服务平台是网易云为企业提供的一套微服务解决方案，其中微服务监控是其关注的重点问题之一。与传统监控相比，微服务监控面临着更多难点，包括：监控对象动态可变，无法进行预先配置；监控范围非常繁杂，各类监控难以互相融合；微服务实例间的调用关系非常复杂，故障排查会很困难；微服务架构仍在快速发展，难以抽象出稳定的通用监控模型。在工程角度也面临着不少考验，如：在微服务架构里，软件系统通常会被拆分为数十甚至数百个微服务，这种拆分会使得监控数据爆炸增长，监控系统必须具备处理和展示这些数据的能力；监控系统必须要保证可靠性，具体而言：保证不会因为单点故障而全局失效，监控数据有备份机制，系统各服务的实例均可通过备份数据得到恢复；监控系统必须支持云上部署及快速水平扩容，这既是云原生的基本要求，也符合企业系统微服务化演进的实际情况。微服务监控的技术选型微服务监控的诸多挑战使得我们不得不慎重地进行技术选型。选择开源还是再造轮子，这个问题在项目初期一直困扰着我们，…