KubeSphere v3.2.1 图形化对接GlusterFS 创建PVC失败

zdevops

环境说明：

KubeSphere: 3.2.1

Kubernetes: v1.21.5

glusterfs: 9.5-1

kubekey: v2.0.0

问题描述

1、使用KK v2.0.0部署的KubeSphere和Kubernetes

2、部署GlusterFS集群

3、部署Heketi用来配合Kubernetes管理GlusterFS

4、通过Kubernetes的命令行模式对接Glusterfs

创建StorageClass和PVC都正常
storageclass.yaml配置

apiVersion: storage.k8s.io/v1

kind: StorageClass

metadata:

name: glusterfs

namespace: kube-system

parameters:

resturl: "http://192.168.9.95:48080"

clusterid: "deb78837bdb066bd8adf51b59a7e6c7e"

restauthenabled: "true"

restuser: "admin"

secretName: "heketi-secret"

secretNamespace: "kube-system"

volumetype: "replicate:3"

provisioner: kubernetes.io/glusterfs

reclaimPolicy: Delete
创建pvc的yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: heketi-pvc

annotations:

volume.beta.kubernetes.io/storage-provisioner: kubernetes.io/glusterfs

spec:

storageClassName: "glusterfs"

accessModes:

- ReadWriteOnce

resources:

requests:

storage: 1Gi

5、使用Kubesphere图形化界面创建Storageclass的时候成功

6、使用KubeSphere图形化界面创建pvc(存储卷)的时候报错

报错截图

报错log：

/ # kubectl get pvc -n lstack

NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE

test Pending glusterfs 38m

/ # kubectl describe pvc test -n lstack

Name: test

Namespace: lstack

StorageClass: glusterfs

Status: Pending

Volume:

Labels: <none>

Annotations: kubesphere.io/creator: admin
                     volume.beta.kubernetes.io/storage-provisioner: kubernetes.io/glusterfs
Finalizers: [kubernetes.io/pvc-protection]

Capacity:

Access Modes:

VolumeMode: Filesystem

Used By: <none>

Events:

Type Reason Age From Message

—

Warning ProvisioningFailed 26m (x2 over 32m) persistentvolume-controller Failed to provision volume with StorageClass “glusterfs”: invalid option “SECRET_NAMESPACE” for volume plugin kubernetes.io/glusterfs

Warning ProvisioningFailed 14m (x2 over 37m) persistentvolume-controller Failed to provision volume with StorageClass “glusterfs”: invalid option “SECRET_NAME” for volume plugin kubernetes.io/glusterfs

Warning ProvisioningFailed 5m56s (x13 over 38m) persistentvolume-controller Failed to provision volume with StorageClass “glusterfs”: invalid option “CLUSTER_ID” for volume plugin kubernetes.io/glusterfs

Warning ProvisioningFailed 3m41s (x6 over 38m) persistentvolume-controller Failed to provision volume with StorageClass “glusterfs”: invalid option “REST_AUTH_ENABLED” for volume plugin kubernetes.io/glusterfs

Warning ProvisioningFailed 86s persistentvolume-controller Failed to provision volume with StorageClass “glusterfs”: invalid option “REST_USER” for volume plugin kubernetes.io/glusterfs

初步怀疑是创建StorageClass时系统自动生成的参数有问题，对比自动生成的参数和手工部署的参数不一致。

7、不知道是否为Bug还是我配置有问题。

8、感谢回答。

jerryjedi

遇到类似的问题。

1、GlusterFS和Heketi都已经配置完。

2、KubeSphere才用默认本地Local Disk安装完。

3、创建了保密字典，类型：用户名/密码

4、创建存储类型，选择GlusterFS，生成的YAML文件如下：

5、创建存储卷，报错信息：

Failed to provision volume with StorageClass “glusterfs”: invalid option “REST_AUTH_ENABLED” for volume plugin kubernetes.io/glusterfs

Failed to provision volume with StorageClass “glusterfs”: invalid option “CLUSTER_ID” for volume plugin kubernetes.io/glusterfs

Failed to provision volume with StorageClass “glusterfs”: invalid option “REST_USER” for volume plugin kubernetes.io/glusterfs

Failed to provision volume with StorageClass “glusterfs”: invalid option “SECRET_NAMESPACE” for volume plugin kubernetes.io/glusterfs

Failed to provision volume with StorageClass “glusterfs”: invalid option “GID_MIN” for volume plugin kubernetes.io/glusterfs

不可能都不对，所以估计是KubeSphere自己生成的YAML文件的问题

jerryjedi

手工编辑了一个storageclass的yaml文件，一样的glusterfs和heketi参数，就没有问题。

jerryjedi

对比了一下，发现自动生成的yaml文件中的parameters为何都有_下划线：

GID_MAX vs. gidmax

GID_MIN vs. gidmin

REST_AUTH_ENABLED vs. restauthenabled

REST_USER vs. restuser

SECRET_NAME vs. secretName

SECRET_NAMESPACE vs. secretNamespace

VOLUME_TYPE vs. volumetype

是这个问题吗？

zdevops

大概率是这个意思，所以我感觉是个BUG，希望官方能给确认一下。

stoneshi-yunify

确实是bug，多谢发现。

这个 glusterfs 我们准备从console中拿掉了，感觉并没有多大用处，它只是在简单罗列 k8s glusterfs storageclass 的参数 https://kubernetes.io/docs/concepts/storage/storage-classes/#glusterfs

stoneshi-yunify

方便的话麻烦到 https://github.com/kubesphere/kubesphere/issues 开个issue，我们后面追踪下

zdevops

感谢大佬的回复。

我个人觉得其实没必要拿掉， glusterfs还是用的挺舒服的，也是有需求的。毕竟在3.1 这个功能都是正常的。我反而觉得ceph那个rbd有必要拿掉了换个别的方式。