deepflow icon indicating copy to clipboard operation
deepflow copied to clipboard

[question] Why is the trace broken?

Open fyuan1316 opened this issue 1 year ago • 6 comments

version:

>uname -a
Linux asm-yuanfang-p1693-0272 4.18.0-425.3.1.el8.x86_64 #1 SMP Fri Sep 30 11:45:06 EDT 2022 x86_64 x86_64 x86_64 GNU/Linux

deepflow image:
deepflow-ce/deepflow-agent:v6.3-9183
deepflow-ce/deepflow-app:v6.4.6
deepflow-ce/deepflow-server:v6.3-9180

There are 3 services, nginx requests s-1 and s-1 requests s-2. Test two scenarios:

  1. without injecting istio sidecar
  2. inject istio sidecar

Problem: Trace data is broken in the Flame Graph

What are the causes of this situation?

有 3 个服务,nginx 调用 s-1,s-1 调用 s-2。 测试两种情况:

  1. 不注入 istio sidecar
  2. 注入 istio sidecar 现象: 注入sidecar之后,火焰图中的跟踪数据断开,不注入时正常。

请问这可能是什么问题导致的呢?

Tests: without sidecar: image

inject sidecar: nginx requests s-1 image

s-1 requests s-2 image

fyuan1316 avatar Feb 22 '24 06:02 fyuan1316

能否先尝试同步一下版本?比如说此处 app 与 agent 和 server 同步,以及 grafana 中对应的 init 插件镜像也同步一下

1473371932 avatar Feb 27 '24 02:02 1473371932

感谢回复:)

deepflow 镜像版本如上文

deepflow image: deepflow-ce/deepflow-agent:v6.3-9183 deepflow-ce/deepflow-app:v6.4.6 deepflow-ce/deepflow-server:v6.3-9180

grafana init 镜像版本 grafana/grafana:v9.4.12-v3.16.0-beta.4.gdd43526c

fyuan1316 avatar Feb 27 '24 03:02 fyuan1316

感谢回复:)

deepflow 镜像版本如上文

deepflow image: deepflow-ce/deepflow-agent:v6.3-9183 deepflow-ce/deepflow-app:v6.4.6 deepflow-ce/deepflow-server:v6.3-9180

grafana init 镜像版本 grafana/grafana:v9.4.12-v3.16.0-beta.4.gdd43526c

是的,请把 agent / server 版本和 app 版本同步(反过来也可以,目前可直接升级到 v6.4 版本,这是 LTS 版本),如果你使用外部 grafana,那可以先看一下我们 chart 包中 grafana init 镜像做了什么,找到同样的版本后,把插件与配置同步后,再次查看调用链追踪火焰图效果,如果情况依然如此,请验证 sidecar 中是否可以注入 x-request-id

1473371932 avatar Feb 27 '24 05:02 1473371932

是出于我们内部镜像安全扫描的原因,版本没有完全对齐。 将app 镜像改到 /deepflow-ce/deepflow-app:v6.3-130 ,断链问题依旧。

我计划按你的建议加入业务id 进来,看看是否有改善(比如 trace_id,之前trace_id 这列数据是空的,似乎不支持 b3 格式)

fyuan1316 avatar Feb 27 '24 06:02 fyuan1316

trace_id 数据生效之后看,调用链不再断开了。

image

@1473371932 不好意思,多问一句: 底部的两个span 似乎缺少了 NIC层的 span 信息?

fyuan1316 avatar Feb 28 '24 07:02 fyuan1316

trace_id 数据生效之后看,调用链不再断开了。

image

@1473371932 不好意思,多问一句: 底部的两个span 似乎缺少了 NIC层的 span 信息?

你好,能否添加项目主页的企业微信:DeepFlow-社区助手 后咱们在社群中讨论一下这个问题?issues 中效率可能不如群

1473371932 avatar Mar 01 '24 03:03 1473371932