Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

nacos集群轮机重启后,临时服务数量不一致,部分服务实例数也不一致 #12344

Closed
junechouiscoming opened this issue Jul 12, 2024 · 3 comments

Comments

@junechouiscoming
Copy link

环境信息:
服务端:2.2.0,2节点集群,k8s deployment部署,仅用作dubbo3的注册中心;jvm xmx和xms都为12g,xmn4g
客户端:2.1.0,使用dubbo的backup格式连接的注册中心
两个节点9848总连接数6000+,服务数量1600+

现象描述:修改jvm配置需要销毁pod轮机重启,不保留data里面的数据,轮机重启的顺序为先重启2,2上面的长连接全部去到了1上面,观察一段时间后,再重启1,1上面的长连接全部去到了2上面。然后伴随着应用发版,1上面开始有了一些长连接。

完成分别打开两个节点的控制台,发现有一些服务的实例数会差几个,而且有差异的这些服务,2都是少于1的

日志都无明显报错


看到个issue也是出现了实例数不一致的问题,但是他那边会有raft报错,我们这的naming-raft.log和alipay-jraft.log都没有报错,#12260

所以想请问下,nacos仅作为dubbo的注册中心来使用(已经使用了外部存储,如有dubbo元数据信息会存储到数据库),是不是可以无状态部署?data目录里面的数据以及控制台里面的节点元数据会不会造成这种服务实例数不一致的情况?

@mhdifarahani
Copy link

环境信息: 服务端:2.2.0,2节点集群,k8s deployment部署,仅用作dubbo3的注册中心;jvm xmx和xms都为12g,xmn4g 客户端:2.1.0,使用dubbo的backup格式连接的注册中心 两个节点9848总连接数6000+,服务数量1600+

现象描述:修改jvm配置需要销毁pod轮机重启,不保留data里面的数据,轮机重启的顺序为先重启2,2上面的长连接全部去到了1上面,观察一段时间后,再重启1,1上面的长连接全部去到了2上面。然后伴随着应用发版,1上面开始有了一些长连接。

完成分别打开两个节点的控制台,发现有一些服务的实例数会差几个,而且有差异的这些服务,2都是少于1的

日志都无明显报错

看到个issue也是出现了实例数不一致的问题,但是他那边会有raft报错,我们这的naming-raft.log和alipay-jraft.log都没有报错,#12260

所以想请问下,nacos仅作为dubbo的注册中心来使用(已经使用了外部存储,如有dubbo元数据信息会存储到数据库),是不是可以无状态部署?data目录里面的数据以及控制台里面的节点元数据会不会造成这种服务实例数不一致的情况?

@KomachiSion
Copy link
Collaborator

是重启期间不一致,还是之后都不一致?

之前batch register有个provider的统计问题,会导致统计数据错误(实际数据是一致的)

#11058,这个问题应该2.3.0修复了。

@junechouiscoming
Copy link
Author

之后都不一致,持续性的,经排查nacos.log里面有这样的报错日志,通过修改启动参数重启后一致了
image

-Dnacos.remote.client.grpc.maxinbound.message.size=52428800 -Dnacos.remote.server.grpc.maxinbound.message.size=52428800

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

3 participants