Kubernets部署Harbor 、卸载与资源回收

Kubernets部署Harbor 、卸载与资源回收 | Evergreen Notes

部署部分

1. 部署环境

项目	配置
Kubernetes	v1.32.5，单节点 `k8s`
节点 IP	`10.12.9.6`
Harbor Chart / App	`1.19.2` / `2.15.2`
域名	`harbor.******.com`
访问地址	`https://harbor.******.com:31443`
Ingress	`nginx` IngressClass，NodePort HTTPS `31443`
本地数据目录	`/data/harbor`
存储类	`harbor-local`

本部署容量为测试用途。生产环境应使用独立数据盘并根据镜像量规划容量和备份。

2. 前置检查

BASH

若未安装 Helm：

BASH

添加官方 Harbor Chart 仓库：

BASH

选择 harbor/harbor Chart 1.19.2，对应 Harbor 2.15.2。

3. 创建 StorageClass 与命名空间

创建 /root/harbor/manifests/00-storageclass-namespace.yaml：

YAML

BASH

Retain 表示删除 PVC 或 Helm Release 时不自动删除数据；WaitForFirstConsumer 确保 Local PV 只会在匹配节点调度后使用。

4. 创建宿主机目录

BASH

测试容量：Registry 20Gi、Database 10Gi、Redis 2Gi、Jobservice 2Gi、Trivy 10Gi。0777 仅用于测试，生产环境应收紧目录权限。

5. 创建 PV

创建 /root/harbor/manifests/01-pv.yaml。所有 PV 都使用 harbor-local、Retain、ReadWriteOnce，并固定至节点 k8s。

YAML

BASH

kubectl apply --dry-run=server -f /root/harbor/manifests/01-pv.yaml
kubectl apply -f /root/harbor/manifests/01-pv.yaml

6. 创建 PVC

创建 /root/harbor/manifests/02-pvc.yaml：

YAML

BASH

在创建 Harbor 前，5 个 PVC 与 PV 均必须为 Bound。

7. DNS、入口和 TLS

Ingress NGINX 当前以 NodePort 对外暴露：HTTP 31080、HTTPS 31443。DNS 应配置：

harbor.******.com. A 10.12.9.6

BASH

getent hosts harbor.******.com
curl -kI https://harbor.

使用真实证书和完整证书链创建 TLS Secret：

BASH

证书 SAN 必须包含 harbor.******.com。如使用防火墙，放行 31443/tcp。

8. Harbor values 文件

创建 /root/harbor/values-test.yaml，使用安全输入避免密码直接出现在 Shell 历史中：

BASH

9. 模板预检与安装

BASH

预检无误后安装：

BASH

10. 部署验收

BASH

浏览器打开 https://harbor.******.com:31443，使用 admin 和安装时设置的密码登录。创建测试项目后，可执行：

BASH

卸载与回收部分

适用环境：Kubernetes 单节点、Harbor Helm Chart 1.19.2、Harbor 2.15.2、命名空间 harbor。

本手册包含不可逆的数据删除操作。执行“彻底清理”前，必须确认镜像、数据库和备份不再需要。

一、先确认当前资源

BASH

记录以下信息：Helm Release 名称、Harbor 命名空间、5 个 PVC/PV 名称、TLS Secret 名称和宿主机数据根目录。

当前部署默认值：

Release: harbor
Namespace: harbor
TLS Secret: harbor-tls
StorageClass: harbor-local
Data root: /data/harbor

二、备份配置和数据

2.1 备份 Helm 配置和资源清单

BASH

2.2 备份 Registry 数据

应使用 Harbor 管理接口或停机后复制 /data/harbor/registry。示例：

BASH

sudo rsync -aHAX /data/harbor/registry/ /backup/harbor/registry/

2.3 备份数据库

卸载前先执行数据库逻辑备份：

BASH

请将备份目录复制到独立磁盘或备份系统，不能只保存在 /data/harbor。

三、仅卸载 Harbor、保留数据

适用于升级、重装或暂时停用 Harbor。该流程不删除镜像、数据库和 PVC。

3.1 卸载 Helm Release

BASH

helm uninstall harbor -n harbor

3.2 验证工作负载已删除

BASH

kubectl get deploy,sts,svc,ingress -n harbor
helm list -n harbor

预期：Helm Release 不存在；业务 Deployment、StatefulSet、Service 和 Ingress 已删除。

3.3 确认 PVC/PV 和数据仍保留

BASH

由于 Helm values 设置了 persistence.resourcePolicy: keep，且 PV 使用 Retain，数据应继续保留。

四、彻底卸载并回收 Kubernetes 资源

仅在确认数据已备份且不再需要时执行。

4.1 卸载 Helm Release

BASH

helm uninstall harbor -n harbor

等待工作负载消失：

BASH

kubectl wait --for=delete pod --all

4.2 删除 Harbor PVC

BASH

验证 PVC 已不存在：

BASH

kubectl get pvc -n harbor

4.3 删除 Harbor PV

只删除以下已确认属于 Harbor 的 PV：

BASH

验证：

BASH

4.4 删除 TLS Secret 和其他手工 Secret

BASH

kubectl

不要删除 kube-root-ca.crt 或由 Istio 自动维护的 istio-ca-root-cert，除非确认它们不是系统自动资源。

4.5 删除 Harbor Namespace

BASH

kubectl delete namespace harbor
kubectl wait --for=delete namespace/harbor --timeout=180s

若 Namespace 长时间为 Terminating，先盘点残留资源：

BASH

只有确认 Namespace 内无资源后，才可处理残留终结器。禁止对仍有业务资源的 Namespace 直接强制 finalize。

五、删除 StorageClass

harbor-local 可能被其他 Harbor 或业务 PVC 使用。先确认引用：

BASH

kubectl get pv -o custom-columns=NAME:.metadata.name,SC:.spec.storageClassName,CLAIM:.spec.claimRef.namespace/.spec.claimRef.name | grep harbor-local

确认没有任何 PV/PVC 使用后再删除：

BASH

kubectl delete storageclass harbor-local

如果仍有其他卷使用，不要删除 StorageClass。

六、清理宿主机目录

这是不可逆操作，仅在确认备份可恢复后执行。

先核对路径：

BASH

readlink -f /data/harbor
find

清空 Harbor 数据目录内容：

BASH

确认目录为空：

BASH

sudo du -sh /data/harbor/*

如需连目录一起删除：

BASH

sudo rmdir /data/harbor/registry /data/harbor/database /data/harbor/redis /data/harbor/jobservice /data/harbor/trivy

不要对 /data 或根目录执行递归删除。

七、最终回收验证

BASH

彻底清理完成的标准：

Helm 中没有 Harbor Release。
harbor Namespace 不存在。
Harbor 专用 PVC/PV 不存在。
Harbor Ingress、Secret 和工作负载不存在。
仅在选择彻底清理时，/data/harbor 组件目录为空或已删除。

八、重装提示

保留数据重装时，不要删除 PVC/PV 和 /data/harbor 内容；使用相同 PVC 名称和相同数据库密码。

彻底清理后重装时，应重新创建 StorageClass、Namespace、目录、PV、PVC、TLS Secret 和 Helm values，再执行：

BASH

kubectl get nodes -o wide
kubectl get ingressclass
kubectl get svc -n ingress-nginx -o wide
kubectl get storageclass
helm version

curl -fsSL https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 -o /tmp/get-helm-3
sudo chmod 700 /tmp/get-helm-3
sudo /tmp/get-helm-3
export PATH=/usr/local/bin:$PATH
echo 'export PATH=/usr/local/bin:$PATH' | sudo tee /etc/profile.d/helm.sh
sudo chmod 644 /etc/profile.d/helm.sh
helm version

helm repo add harbor https://helm.goharbor.io
helm repo update
helm search repo harbor/harbor --versions | head -10

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: harbor-local
provisioner: kubernetes.io/no-provisioner
reclaimPolicy: Retain
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: false
---
apiVersion: v1
kind: Namespace
metadata:
  name: harbor
  labels:
    app.kubernetes.io/part-of: harbor
    istio-injection: disabled
    pod-security.kubernetes.io/enforce: baseline

mkdir -p /root/harbor/manifests
kubectl apply -f /root/harbor/manifests/00-storageclass-namespace.yaml
kubectl create serviceaccount default -n harbor --dry-run=client -o yaml | kubectl apply -f -
kubectl get storageclass harbor-local
kubectl get ns harbor

sudo install -d -m 0777 \
  /data/harbor/registry \
  /data/harbor/database \
  /data/harbor/redis \
  /data/harbor/jobservice \
  /data/harbor/trivy
 
df -hT /data/harbor
stat -c '%A %U:%G %n' /data/harbor/{registry,database,redis,jobservice,trivy}

apiVersion: v1
kind: PersistentVolume
metadata:
  name: harbor-registry-pv
spec:
  capacity: {storage: 20Gi}
  accessModes: [ReadWriteOnce]
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Retain
  storageClassName: harbor-local
  local: {path: /data/harbor/registry}
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values: [k8s]
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: harbor-database-pv
spec:
  capacity: {storage: 10Gi}
  accessModes: [ReadWriteOnce]
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Retain
  storageClassName: harbor-local
  local: {path: /data/harbor/database}
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values: [k8s]
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: harbor-redis-pv
spec:
  capacity: {storage: 2Gi}
  accessModes: [ReadWriteOnce]
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Retain
  storageClassName: harbor-local
  local: {path: /data/harbor/redis}
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values: [k8s]
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: harbor-jobservice-pv
spec:
  capacity: {storage: 2Gi}
  accessModes: [ReadWriteOnce]
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Retain
  storageClassName: harbor-local
  local: {path: /data/harbor/jobservice}
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values: [k8s]
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: harbor-trivy-pv
spec:
  capacity: {storage: 10Gi}
  accessModes: [ReadWriteOnce]
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Retain
  storageClassName: harbor-local
  local: {path: /data/harbor/trivy}
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values: [k8s]

apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: registry-data, namespace: harbor}
spec:
  accessModes: [ReadWriteOnce]
  storageClassName: harbor-local
  volumeName: harbor-registry-pv
  resources: {requests: {storage: 20Gi}}
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: database-data, namespace: harbor}
spec:
  accessModes: [ReadWriteOnce]
  storageClassName: harbor-local
  volumeName: harbor-database-pv
  resources: {requests: {storage: 10Gi}}
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: redis-data, namespace: harbor}
spec:
  accessModes: [ReadWriteOnce]
  storageClassName: harbor-local
  volumeName: harbor-redis-pv
  resources: {requests: {storage: 2Gi}}
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: jobservice-data, namespace: harbor}
spec:
  accessModes: [ReadWriteOnce]
  storageClassName: harbor-local
  volumeName: harbor-jobservice-pv
  resources: {requests: {storage: 2Gi}}
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: trivy-data, namespace: harbor}
spec:
  accessModes: [ReadWriteOnce]
  storageClassName: harbor-local
  volumeName: harbor-trivy-pv
  resources: {requests: {storage: 10Gi}}

kubectl apply --dry-run=server -f /root/harbor/manifests/02-pvc.yaml
kubectl apply -f /root/harbor/manifests/02-pvc.yaml
kubectl get pvc -n harbor
kubectl get pv | grep '^harbor-'

kubectl create secret tls harbor-tls \
  -n harbor \
  --cert=/path/to/fullchain.pem \
  --key=/path/to/privkey.key
 
kubectl get secret harbor-tls -n harbor

read -rsp '请输入 Harbor 管理员密码: ' ADMIN_PASSWORD
echo
cat > /root/harbor/values-test.yaml <<EOF
expose:
  type: ingress
  tls:
    enabled: true
    certSource: secret
    secret:
      secretName: harbor-tls
  ingress:
    hosts:
      core: harbor.******.com
    className: nginx
    annotations:
      nginx.ingress.kubernetes.io/ssl-redirect: "true"
      nginx.ingress.kubernetes.io/proxy-body-size: "0"
 
externalURL: https://harbor.******.com:31443
harborAdminPassword: "${ADMIN_PASSWORD}"
 
persistence:
  enabled: true
  resourcePolicy: keep
  persistentVolumeClaim:
    registry: {existingClaim: registry-data}
    jobservice:
      jobLog: {existingClaim: jobservice-data}
    database: {existingClaim: database-data}
    redis: {existingClaim: redis-data}
    trivy: {existingClaim: trivy-data}
 
trivy:
  enabled: true
metrics:
  enabled: true
EOF
unset ADMIN_PASSWORD
chmod 600 /root/harbor/values-test.yaml

helm template harbor harbor/harbor \
  --namespace harbor \
  --version 1.19.2 \
  -f /root/harbor/values-test.yaml \
  > /root/harbor/rendered.yaml
 
kubectl apply --dry-run=server -f /root/harbor/rendered.yaml

helm install harbor harbor/harbor \
  --namespace harbor \
  --version 1.19.2 \
  -f /root/harbor/values-test.yaml \
  --wait \
  --timeout 10m

helm status harbor -n harbor
kubectl get pods -n harbor -o wide
kubectl get pvc -n harbor
kubectl get ingress -n harbor
kubectl get events -n harbor --sort-by='.lastTimestamp' | tail -40
curl -kI https://harbor.******.com:31443

docker login harbor.******.com:31443
docker pull nginx:alpine
docker tag nginx:alpine harbor.******.com:31443/library/nginx:alpine
docker push harbor.******.com:31443/library/nginx:alpine
docker image rm harbor.******.com:31443/library/nginx:alpine
docker pull harbor.******.com:31443/library/nginx:alpine

helm list -n harbor
kubectl get all,pvc,secret,configmap,ingress -n harbor
kubectl get pv | grep -E 'harbor-(registry|database|redis|jobservice|trivy)-pv'

BACKUP_DIR=/root/harbor/backup/$(date +%F-%H%M%S)
mkdir -p "$BACKUP_DIR"
 
helm get values harbor -n harbor > "$BACKUP_DIR/values.yaml"
helm get manifest harbor -n harbor > "$BACKUP_DIR/manifest.yaml"
kubectl get pvc -n harbor -o yaml > "$BACKUP_DIR/pvc.yaml"
kubectl get pv -o yaml > "$BACKUP_DIR/all-pv.yaml"
kubectl get secret harbor-tls -n harbor -o yaml > "$BACKUP_DIR/harbor-tls-secret.yaml"

kubectl exec -n harbor statefulset/harbor-database -- \
  sh -c 'pg_dump -U postgres -d registry' \
  > "$BACKUP_DIR/registry.sql"

kubectl get pvc -n harbor
kubectl get pv | grep -E 'harbor-(registry|database|redis|jobservice|trivy)-pv'
sudo du -sh /data/harbor/*

kubectl delete pvc \
  registry-data \
  database-data \
  redis-data \
  jobservice-data \
  trivy-data \
  -n harbor

kubectl delete pv \
  harbor-registry-pv \
  harbor-database-pv \
  harbor-redis-pv \
  harbor-jobservice-pv \
  harbor-trivy-pv

kubectl api-resources --verbs=list --namespaced -o name |
while read -r resource; do
  kubectl get -n harbor "$resource" -o name --ignore-not-found 2>/dev/null
done

sudo find /data/harbor/registry -mindepth 1 -delete
sudo find /data/harbor/database -mindepth 1 -delete
sudo find /data/harbor/redis -mindepth 1 -delete
sudo find /data/harbor/jobservice -mindepth 1 -delete
sudo find /data/harbor/trivy -mindepth 1 -delete

helm list -A | grep -i harbor || true
kubectl get ns harbor 2>/dev/null || echo 'harbor Namespace 已删除'
kubectl get pv | grep -i harbor || true
kubectl get pvc -A | grep -i harbor || true
kubectl get ingress -A | grep -i harbor || true
sudo find /data/harbor -mindepth 1 -print 2>/dev/null

helm install harbor harbor/harbor \
  --namespace harbor \
  --version 1.19.2 \
  -f /root/harbor/values-test.yaml \
  --wait \
  --timeout 10m