grafana 系列-统一展示-3-prometheus 仪表板-编程思维

系列文章

知识储备

Prometheus Template Variables

你可以使用变量来代替硬编码的细节,如 server、app 和 pod_name 在 metric 查询中。Grafana 在仪表盘顶部的下拉选择框中列出这些变量,帮助你改变仪表盘中显示的数据。Grafana 将这类变量称为模板变量。

Query Variables

使用 Query 类型的变量来查询 Prometheus 的指标 (metrics)、标签 (labels) 或标签值 (label values) 的列表。

选择一个 Prometheus 数据源查询类型并输入所需的输入:

Variable Syntax

Prometheus 数据源支持在 Query 字段中使用两种变量语法:

  • $<varname>, 如:rate(http_requests_total{job=~"$job"}[$_rate_interval]), 它更容易读和写,但不允许你在词的中间使用变量。一般使用这种变量就够用了。
  • [[varname]], 如:rate(http_requests_total{job=~"[[job]]"}[$_rate_interval])

如果你启用了 Multi-valueInclude all 选项,Grafana 会将标签从纯文本转换为与 regex 兼容的字符串,这需要你使用=~而不是=。所以推荐在 Grafana 中使用 PromQL 组合 Grafana 变量时,首选 =~.

Annotations

注释 (Annotations) 在图表上面叠加丰富的事件信息。你可以在 Dashboard 菜单的 Annotations 视图中添加注释查询。

Prometheus 支持两种方式来查询注释。

  • 一个常规的 metric 查询
  • 一个 Prometheus 的 pending 和 firing 的告警(详见 在运行期间检查警报), 示例为:ALERTS{alertname="<alert name>", alertstate="<pending or firing>", <additional alert labels>}

Step 选项对于限制从你的查询中返回的事件数量很有用。

Ad Hoc Filters Variable

Prometheus 支持特殊的 ad hoc filters 变量类型,你可以用它来临时指定任何数量的 标签/值 过滤器。这些过滤器会自动应用于你所有的 Prometheus 查询。

实战

我们直接从 Grafana Dashboards 中选择一个 Dashboard - JVM(Micrometer) (ID: 4701) 来进行说明演示。

📝Notes:

这就是选择使用 Grafana 的一个巨大好处,它拥有丰富的生态。
我们一般不需要从零开始构建仪表板,可以站在巨人的肩上,再进行部分调整。

最终效果如下:

细节优化

这里有一些小的仪表板优化细节和大家分享:

  • 对于变量,谨慎启用:Multi-valueInclude all 选项。避免查询数据量过大。
  • 对于展示 Panel 数量特别多的单一 Dashboard, 可以根据 Panel 的类型添加 Row, 并将部分 Row 收起。实现 Lazy Load, 减少查询数据量,优化用户体验。
  • 对于右上角时间范围,建议在合理范围内尽可能小;同时如果查询数据量特别大,建议禁用 auto refresh

配置 JVM Restart Annotation

在这个 Dashboard 里,可以配置关于 JVM Restart 的 Annotation, 具体配置示例如下:

  • Name: Restart Detection
  • Data source: Prometheus
  • Enabled: ✔️
  • Color: Red
  • Query
    • Expr: resets(process_uptime_seconds{app="$app", pod_name="$pod_name"}[1m]) > 0, 这里是基于 process_uptime_seconds 来实现。
    • Step: 1m
  • Field formats, 这里 title 和 text 字段,可以使用变量,如:{{instance}}
    • Title: Restart
    • Tags: restart-tag
    • Text: uptime reset

最终效果如下(这里一直没有复现 JVM Restart), 用 Grafana Play 的 Demo 演示:

变量

Label Value

具体配置如下,如需要根据 app 的值进行选择,则配置如下:

Name: app
Type: Query
Query: label_values(app)

如果要新增另一个变量 pod_name, 需要基于 app 的结果进行过滤,则配置如下:

Name: pod_name
Query: label_values(jvm_memory_used_bytes{app="$app"}, pod_name)

如果需要对变量根据自己的实际情况进行调整,如,需要将 pod_name 变量改为 instance 变量。
Instance 变量如下:

Name: instance
Query: label_values(jvm_memory_used_bytes{app="$app"}, instance)

则可以进入该 Dashboard 的 Settings -> JSON Model, 中,对pod_name pod_name=\"$pod_name\" 等批量替换为 instance instance=\"$instance\"

Interval

也可以设置时间间隔 (Interval) 作为变量。具体如下:

  • Name: interval
  • Type: Interval
  • Values: 不同的时间间隔用,, 如:5s,10s,30s,1m,10m,30m,1h,6h,12h,1d,7d,14d,30d

然后 Dashboard 下的 Query 可以通过 $__interval$__interval_ms 来使用。

EOF

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

版权声明:本文版权归作者所有,遵循 CC 4.0 BY-SA 许可协议, 转载请注明原文链接
https://www.cnblogs.com/east4ming/p/17381102.html

ubuntu20安装nginx支持多站点及代理配置-编程思维

上文说到安装mysql、redis、net6及部署应用  GO 接着本次配置通过域名访问站点,站点总共分为两个,前端、后端 项目为前后端分离,管理包括服务+管理UI,为一个站点,管理UI,放到服务某个文件夹中 Web访问为另一个站点。 一、安装Nginx sudo apt-get install nginx 二、增加站

当serverless遇到regionless:现状与挑战-编程思维

摘要:本文尝试基于分析现有的学术文章,剖析Serverless与Regionless并存时,在性能提升和成本控制两个方向的现状与挑战 本文分享自华为云社区《当Serverless遇到Regionless:现状与挑战》,作者:云容器大未来。 近年来,Serverless服务崛起的趋势是有目共睹的:从Berkeley将Se

apache pulsar 在火山引擎 emr 的集成与场景-编程思维

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群   近年来,基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。   火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。火

最高等级!apache rocketmq 入选可信开源项目星云象限领导型象限-编程思维

2023 年 4 月 21 日,由中国信通院主办的 OSCAR 开源生态建设论坛在北京成功召开。本次论坛,中国信通院发布了可信开源项目星云象限。星云象限依托于可信开源项目指数中流行度、参与度、响应度、安全能力和法律合规五个指标,从项目可持续性与可信性两个维度,将可信开源共同体项目分为四个阶段,分别为孵化型、成长型、挑战

【自己更换模型】如何用 serverless 一键部署 stable diffusion?-编程思维

作者:寒斜 上一篇讲了如何使用 Serverless Devs 和函数计算快速体验部署 Stable Diffusion,本篇继续聊聊如何解决动态模型加载的问题,从玩起来到用起来。 思路 其实很简单, 我们只需要将镜像里面的动态路径映射到 NAS [ 1] 文件存储里面即可,利用 NAS 独立存储文件模型,扩展,语言包

spring boot 单体应用一键升级成 spring cloud alibaba-编程思维

作者:十眠 背景 随着 Apache Dubbo、Nacos 以及 Spring Cloud 等服务框架的流行,越来越多的企业开始采用微服务架构来构建其应用程序。微服务架构使企业能够将其应用程序拆分成多个小型服务,这些服务可以独立部署和扩展。这种架构模式也使企业更容易实现敏捷开发和持续交付,从而提高了其业务效率和响应能