Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

193 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

k3s-gitops

In English

Состояние домашнего кластера k3s, описанное в git. ArgoCD следит за этим репозиторием и приводит кластер к тому, что здесь написано. Кода приложений тут нет — только Helm-обёртки и манифесты ArgoCD.

Кластер собирается взамен домашнего хозяйства на Docker Compose, поэтому часть сервисов уже переехала, часть ещё нет.

Железо

Два хоста Proxmox, на них пять виртуалок с k3s: один control-plane и четыре рабочие ноды, две из которых отведены под хранилище. Debian 13, containerd. HA нет — control-plane один. Это осознанный компромисс до появления второго комплекта железа, а не недосмотр.

Как это собрано

Вручную в кластер применяется ровно один файл — bootstrap/root.yaml. Это ArgoCD Application, которое рекурсивно следит за папкой bootstrap/ и создаёт оттуда все остальные Application. Дальше всё разворачивается само: файл появился в git — компонент развернулся, файл удалили — компонент удалился.

Порядок запуска важен, поэтому у инфраструктуры проставлены sync-wave. ArgoCD дожидается, пока волна станет здоровой, и только потом берётся за следующую:

  • 0 — sealed-secrets, ArgoCD
  • 1 — cert-manager
  • 2 — операторы баз: CloudNativePG, MariaDB, Redis
  • 3 — Longhorn, csi-driver-nfs
  • 4 — MetalLB
  • 5 — ingress-nginx
  • 6 — ingress для ArgoCD, kube-prometheus-stack, Loki
  • 7 — Alloy
  • 8 — SeaweedFS (S3) и приложения с явным Application
  • 9 — всё, что подбирает ApplicationSet, включая authentik

Приложения подключаются двумя путями. У тех, что переехали из ручного развёртывания и требуют нестандартных настроек синхронизации, лежит явный Application в bootstrap/apps/. Всё остальное подбирает ApplicationSet: достаточно создать папку apps/<имя>/, и она развернётся в namespace <имя> сама.

Разделение прав

Два AppProject. infra может создавать кластерные ресурсы — ClusterRole, CRD, StorageClass. apps не может ничего за пределами своего namespace — кроме самого Namespace, который ApplicationSet создаёт при первом развёртывании. Если чарт приложения пытается создать ClusterRole, синхронизация падает с понятной ошибкой. Это граница, которую видно сразу, а не постфактум.

Чарты

Каждый чарт — тонкая обёртка. В Chart.yaml объявлена зависимость на апстрим-чарт, в values.yaml лежит конфигурация под его именем. В templates/ попадает только то, чего в апстриме нет: ClusterIssuer, Ingress, StorageClass, SealedSecret, CR базы данных.

База данных приложения описана в чарте самого приложения и живёт в его namespace, а не рядом с оператором. Так бэкапы и жизненный цикл базы привязаны к конкретному сервису, а не размазаны по кластеру.

Сеть

MetalLB в L2-режиме раздаёт адреса из пула домашней сети. Наружу смотрит один LoadBalancer — сервис ingress-nginx, всё остальное ходит через него по имени хоста. Сертификаты выпускает cert-manager через DNS-01 в Cloudflare. Внутренние панели вроде Longhorn и ArgoCD дополнительно ограничены диапазоном адресов локальной сети.

Хранилище

Два класса. longhorn — по умолчанию, блочное, для баз и небольшого состояния. nfs-media — RWX поверх NFS, для объёмных данных, которые нужно читать нескольким подам одновременно; удаление PVC там не стирает сами данные.

Секреты

В git попадают только SealedSecret. Расшифровать их может лишь контроллер в этом кластере. Офлайн-копия его приватного ключа хранится вне кластера — на случай восстановления после аварии. Отдельная проверка следит, чтобы в репозиторий не просочился обычный Secret.

Наблюдаемость

kube-prometheus-stack для метрик, Loki и Alloy для логов, всё сводится в Grafana.

Что работает сейчас

authentik — единый вход для остальных сервисов (OIDC и forward-auth, настройка через blueprints), erpnext с MariaDB через оператор, grocy, paperless-ngx, memos, trilium, Matrix (Synapse), degoog (поиск), remnawave, vpn-bot, sdamgia-hack, k8s-pobeda, SeaweedFS как S3, плюс вся инфраструктура из списка выше.

Готовится полная пересборка кластера (kubeadm, Cilium, OpenTofu + Ansible) в отдельных репозиториях. До неё этот репозиторий обслуживает текущий кластер.

Проверка перед мержем

Мерж в main уезжает на живой кластер, поэтому изменения проверяются до него: helm lint, рендер через helm template, kubeconform по отрендеренным манифестам и yamllint по репозиторию. Тот же набор проверок описан в .gitea/workflows/ci.yml.

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors