实战：用SkyWalking排查xxl-job RPC超时问题

实战：用SkyWalking排查xxl-job RPC超时问题

引用

CSDN

1.

https://blog.csdn.net/weixin_53132064/article/details/142953918

在使用xxl-job过程中遇到"xxl-rpc remoting error(Read timed out)"问题，通过SkyWalking监控发现频繁的GC活动。通过调整JVM参数，成功解决了调度失败的问题。本文详细记录了问题排查和解决过程，对Java开发和运维人员具有参考价值。

一、组件简介和问题描述

SkyWalking 简介

Apache SkyWalking 是一个开源的 APM（应用性能管理）工具，专注于微服务、云原生和容器化环境。它提供了分布式追踪、性能监控和依赖分析等功能，帮助开发者快速定位和解决性能瓶颈和故障。

xxl-job 简介

xxl-job 是一个轻量级的分布式任务调度框架，支持定时任务的管理与执行。它提供了简单易用的界面和丰富的功能，适合于各种业务场景。

遇到的问题

在使用 xxl-job 的过程中，突然有一天开始遇到了以下错误：

• 错误码：500
• 错误信息：
  msg：xxl-rpc remoting error(Read timed out)

并且出现了大量的调度结果失败，但是执行结果成功的情况。这个错误通常表示在与 xxl-job 的 RPC 通信过程中发生了超时，可能由以下原因引起：

1. 网络问题：服务间的网络连接不稳定，导致请求超时。(排查了不是这个问题)
2. 服务没收到任务下发（如果这样的话它是不会执行的）
3. 服务收到下发但是没有及时回复给xxl-job服务（怀疑）

二、开始使用SkyWalking 排查问题

JVM指标查看

通过SkyWalking监控发现系统发生了频繁的GC活动，具体表现为年轻代和老年代的GC。下图展示了监控结果：

第一次发生是在10-12 21:35

此时发生了老年、年轻代GC

21:35分的时候发生一次

此时也是发生了老年、年轻代GC

三、猜测并调整

基于监控结果，怀疑频繁的GC活动可能是导致RPC超时的原因。因此，尝试通过调整JVM参数来优化GC行为：

-Xmn3G
-XX:SurvivorRatio=8
-XX:MaxTenuringThreshold=6
-XX:InitiatingHeapOccupancyPercent=40
-XX:+UseG1GC
-XX:MaxGCPauseMillis=200  

1. 年轻代和老年代的设置

• **
  -Xmn3G
  **：设置年轻代的大小为 3 GB。年轻代的大小会影响到 GC 的频率。适当增大年轻代的大小可以减少年轻代 GC 的次数，但同时也要注意不要过大，以免影响老年代的内存。

2. Survivor Ratio

• **
  -XX:SurvivorRatio=8
  **：这个参数定义了 Eden 区和 Survivor 区的比例。在你的设置中，Eden 区占 8 份，Survivor 区占 1 份。适当调整这个比例，可以优化对象在年轻代中的存活时间，从而减少 GC 次数。可以考虑增加 Survivor 区的比例，以便更多的存活对象能够进入 Survivor 区，减少晋升到老年代的频率。

3. 最大晋升阈值

• **
  -XX:MaxTenuringThreshold=6
  **：这个参数定义了对象在年轻代中存活的最大 GC 次数，超过这个次数的对象将被晋升到老年代。如果希望减少老年代的 GC 次数，可以考虑增加这个值，允许对象在年轻代中存活更长时间，从而减少晋升到老年代的频率。

4. 堆占用率

• **
  -XX:InitiatingHeapOccupancyPercent=40
  **：这个参数定义了老年代开始 GC 的堆占用率。适当提高这个值，可以延迟老年代的 GC，减少其发生频率。

5. G1 垃圾回收器

• **
  -XX:+UseG1GC
  和
  -XX:MaxGCPauseMillis=200
  **：G1 垃圾回收器旨在减少 GC 暂停时间，适当调整这些参数可以优化 GC 性能。通过设置合理的暂停目标，可以在一定程度上减少 GC 的次数。

6. 直接内存大小

• **
  -XX:MaxDirectMemorySize=512m
  **：虽然这个参数主要控制直接内存的使用，但合理配置可以避免因直接内存不足而导致的额外 GC。

四、调整后重启服务

重启服务后发现老年代已经很久没有了GC触发，年轻代的GC也没有了那么频繁。CPU利用率也不再那么高了。

五、回到问题

发现这个错误已经不报了，并且全部是调度、执行都成功：

• 错误码：500
• 错误信息：
  msg：xxl-rpc remoting error(Read timed out)

六、GC的解释

年轻代 GC

• 类型：通常使用的是 Minor GC。
• 影响：年轻代 GC 通常会导致短暂的 STW，暂停所有应用程序线程。由于年轻代 GC 的目的是清理短生命周期的对象，因此它的执行时间通常较短，通常在几毫秒到几秒之间。

老年代 GC

• 类型：通常使用的是 Major GC 或 Full GC。
• 影响：老年代 GC 通常会导致更长时间的 STW，因为它需要检查整个堆的内容。老年代的 GC 过程可能会更复杂，导致暂停时间更长，通常从几秒到几十秒不等。

G1垃圾回收器的特点

1. 并行性：

• G1 GC 在进行垃圾回收时会使用多个线程来并行处理，这样可以更有效地利用多核 CPU，减少停顿时间。

2. 增量式回收：

• G1 将堆分为多个区域（Region），在进行垃圾回收时，它会增量地回收这些区域，而不是一次性回收整个堆。这种方式可以降低 GC 的停顿时间。