New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
ANP cluster is inaccessible, please check authorization or network /proxy/api 503 Service Unavailable #2628
Comments
Could you please execute |
这个地方报错了
|
根据 @631068264 在微信群里的信息来看,可能是没有安装 请在安装Karmada的集群上查看一下安装的组件?like:
|
有安装的 @RainbowMango
|
@631068264 通过什么方式安装的karmada呢?顺便可以查看ANP组件的日志,如果请求经过了ANP,会有日志的。 |
helm chart 安装 @lonelyCZ member 安装参数 请求经过了ANP,是什么请求? ANP proxy server
anp member agent
|
我知道怎么回事了用了自定义证书,会报错。。。。。我之前以为是缺crd,现在已经去掉了
如果用的auto
之前成功是因为我先安装的auto,然后卸载再安装custom的所以没有报错,后来我清除了本地机器的 |
生成证书过程
生成命令
openssl配置
helm 安装
|
使用自定义证书下 改用最新的https://github.com/karmada-io/karmada/tree/release-1.3/charts 还是有问题,member注册失败的已经解决了
proxy api也用不了
|
使用1.3的chart过程中,做过什么改动吗? |
有问题指得是下面遇到的关于agg-api-server的问题, member注册失败的已经解决了(对比1.2来说的,不再报错cluster.karmada.io/v1alpha1 not found 之类的,至于为什么不知道,我只是更新了镜像用了新chart) 不过1.3的chart确实有问题,刚开始连部署都失败。。。,之后我会提PR |
奇怪,目前chart安装在CI中是有覆盖的。欢迎提交issue,把报错信息贴出来。
这个是怎么自定义的,是在chart安装时使用配置参数? |
@RainbowMango 大概复现步骤 然后就是把proxy server agent 塞了进去而已,没什么大改动 证书生成过程参考#2628 (comment) #!/bin/sh
set -e
SSL_DIR=ssl
valid_day=36500
rm -rf $SSL_DIR
mkdir -p $SSL_DIR
ANP_SSL_DIR=anp
rm -rf $ANP_SSL_DIR
mkdir -p $ANP_SSL_DIR
PACKAGE_NAME=karmada-0.0.4.tgz
SSL_CONF=openssl_host.conf
AGENT_SSL_CONF=openssl_agent.conf
# Usage:
# curl ... | HOSTS=... sh -
# or
# HOSTS=... ./install.sh
#
# Environment variables:
# - HOST_IP
# host集群IP
# - PROXY_SERVER_IP
# ANP proxy server ip
# 生成证书
sed -e "s/{{IP}}/${HOST_IP}/g" $SSL_CONF > openssl.conf
openssl req -newkey rsa:2048 -nodes -keyout $SSL_DIR/ca.key -x509 -days $valid_day -out $SSL_DIR/ca.crt -subj "/C=xx/ST=x/L=x/O=x/OU=x/CN=ca/emailAddress=x/"
openssl genrsa -out $SSL_DIR/karmada.key 2048
openssl req -new -key $SSL_DIR/karmada.key -out $SSL_DIR/karmada.csr -config openssl.conf
openssl x509 -req -days $valid_day -in $SSL_DIR/karmada.csr -CA $SSL_DIR/ca.crt -CAkey $SSL_DIR/ca.key -CAcreateserial -out $SSL_DIR/karmada.crt -extensions req_ext -extfile openssl.conf
openssl genrsa -out $SSL_DIR/frontProxyKey.key 2048
openssl req -new -key $SSL_DIR/frontProxyKey.key -out $SSL_DIR/frontProxyKey.csr -config openssl.conf
openssl x509 -req -days $valid_day -in $SSL_DIR/frontProxyKey.csr -CA $SSL_DIR/ca.crt -CAkey $SSL_DIR/ca.key -CAcreateserial -out $SSL_DIR/frontProxyKey.crt -extensions req_ext -extfile openssl.conf
# ANP proxy server
sed -e "s/{{IP}}/${PROXY_SERVER_IP}/g" $AGENT_SSL_CONF > openssl.conf
openssl req -newkey rsa:2048 -nodes -keyout ${ANP_SSL_DIR}/ca.key -x509 -days $valid_day -out ${ANP_SSL_DIR}/ca.crt -subj "/C=xx/ST=x/L=x/O=x/OU=x/CN=ca/emailAddress=x/"
openssl genrsa -out ${ANP_SSL_DIR}/proxy-frontend.key 2048
openssl req -new -key ${ANP_SSL_DIR}/proxy-frontend.key -out ${ANP_SSL_DIR}/proxy-frontend.csr -config openssl.conf
openssl x509 -req -days $valid_day -in ${ANP_SSL_DIR}/proxy-frontend.csr -CA ${ANP_SSL_DIR}/ca.crt -CAkey ${ANP_SSL_DIR}/ca.key -CAcreateserial -out ${ANP_SSL_DIR}/proxy-frontend.crt -extensions req_ext -extfile openssl.conf
openssl genrsa -out ${ANP_SSL_DIR}/agent.key 2048
openssl req -new -key ${ANP_SSL_DIR}/agent.key -out ${ANP_SSL_DIR}/agent.csr -config openssl.conf
openssl x509 -req -days $valid_day -in ${ANP_SSL_DIR}/agent.csr -CA ${ANP_SSL_DIR}/ca.crt -CAkey ${ANP_SSL_DIR}/ca.key -CAcreateserial -out ${ANP_SSL_DIR}/agent.crt -extensions req_ext -extfile openssl.conf
openssl_host.conf
openssl_agent.conf
集群都是v1.19.6 , host.yaml
member.yaml
host
agent
|
我可以邀请 @Poor12 来看一下,但我不确定这些信息足够能够复现,因为具体修改内容还是看不到的。 |
我用的helm chart 包已经上传了,你对比1.3的就知道我改了啥 |
@RainbowMango 用了 证书auto的一样问题,报503 |
/reopen |
@liangyuanpeng: You can't reopen an issue/PR unless you authored it or you are a collaborator. In response to this:
Instructions for interacting with me using PR comments are available here. If you have questions or suggestions related to my behavior, please file an issue against the kubernetes/test-infra repository. |
/reopen |
@631068264: Reopened this issue. In response to this:
Instructions for interacting with me using PR comments are available here. If you have questions or suggestions related to my behavior, please file an issue against the kubernetes/test-infra repository. |
我刚刚在我的环境中也重现了这个问题。 我的控制面主机ip是 用karmadactl init初始化的集群,当我设置karmada-agent的参数
如果设置
设置proxy-agent的
这样也可以模拟出单方面通信的情况,这样就可以使用代理了。
proxy-server的日志
|
....这不科学啊,pod IP很容易变得啊
那为什么以前1.2版本直接用主机IP就可以? |
@lonelyCZ 不行,而且我也不太确定你们组件镜像版本号。。。。因为都是lastest 好迷幻。。。。我更新下镜像试试
proxy-agent
|
更新了下镜像。。。。好了:),用的是原来我用的部署方式
|
这只是我用来模拟控制面无法直接访问karmada-agent的例子,实际使用还是推荐使用主机ip的 |
@lonelyCZ 请问一下你们是修复了什么地方导致503好了?之后出现类似的问题怎样排查? |
你之前用的镜像是哪个版本的? |
刚开始发现问题时候是1.2 发现用自定义证书时候 agent 注册失败说 clusters.cluster.karmada.io not found之类的 然后10月12号尝试用1.3的试试,拉了全部最新镜像,发现可以agent注册了,但是会503报错 然后今天再拉一次镜像,重新安装一下好了。。。 |
我用的是1.3的镜像是可以的,你要不换成v1.3版本的镜像再试一下? |
现在是可以了,但是12号的 1.3的镜像不行,主要是不知道今天的和12号的镜像有什么差别,而且helm chart 包里面的都是
这样的建议改成
之类的 |
镜像一般发布后不会使用同版本tag对已有镜像进行覆盖, 你可以用 docker inspect {imageName} 检查下 |
是的,helm chart里面镜像使用 在 Helm 官网翻看了下最佳实践,可以看到 Helm官网已经有对应声明。
https://helm.sh/docs/chart_best_practices/pods/#images /cc @Poor12 @RainbowMango |
我从 https://raw.githubusercontent.com/karmada-io/karmada/master/charts/index.yaml 看到 不确认目前的做法是否有特别的原因? |
This is indeed a problem. We hope that the mirror of the master branch will always be the latest. For those released releases, we need to manually change the mirror tag to the tag of the current version. |
Could we plan to release chart, like to https://artifacthub.io/, a public hub? |
What happened:
使用ANP pull 模式
karmada-agent 已经加了cluster-api-endpoint,proxy-server-address
What you expected to happen:
How to reproduce it (as minimally and precisely as possible):
Anything else we need to know?:
Environment:
kubectl-karmada version
orkarmadactl version
): karmadactl version: version.Info{GitVersion:"v1.2.1", GitCommit:"de4972b74f848f78a58f9a0f4a4e85f243ba48f8", GitTreeState:"clean", BuildDate:"2022-07-14T09:33:33Z", GoVersion:"go1.17.11", Compiler:"gc", Platform:"linux/amd64"}The text was updated successfully, but these errors were encountered: