v0.8.0: problem badges, actions as the viewer, load, events, lock
Problems: cards, namespace and node boxes and the tree carry a yellow or red badge, computed on the server from object state (crash loops, image pulls, pending and unschedulable pods, readiness older than 2 minutes, a stuck rollout, a failed CronJob run, Services without endpoints, Ingresses to missing Services, node conditions), recent Warning events (notable reasons at once, others after five repeats) and Deckhouse ClusterAlerts mapped by their labels. A Problems panel lists them all. Checked against the live cluster: upmeter's synthetic probe pods and ingress-nginx's fakeservice Ingresses are excluded, they fail on purpose. Actions: restart, scale, run a CronJob now, suspend/resume, delete a pod, cordon/uncordon. They run with the viewer's bearer token from the DexAuthenticator (sendAuthorizationHeader), buttons follow a SelfSubjectAccessReview, the service account stays read-only. Cross-site writes are refused by Sec-Fetch-Site/Origin/content type. Scale retries on conflict: right after a restart a single Get+Update got 409. Load (metrics.k8s.io against requests/limits/allocatable, per-pod table) and an Events tab. Cards are locked until the padlock is opened; the map exports to PNG; the page refreshes badges every minute in place. Performance, measured on the live cluster: - layout of big views 3-4x faster: equal-size cards with no edges are laid out on the grid ELK would produce (same sizes, checked against ELK on a frozen node view), skipping ~8 ms per ELK call; - hubble-relay gets ~20% fewer flows: the to-overlay copy of pod-to-pod traffic is dropped at the agents; 331/331 directions unchanged; - static files carry ETags, a reload revalidates instead of pulling ~2 MB of vendored scripts. KUBECONFIG is honoured for running the binary on a workstation. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
8b8fe341d5
commit
3cdc2583ee
+36
-4
@@ -14,10 +14,39 @@ webIfaces:
|
||||
- Сплошные стрелки — связи по конфигурации: backend Ingress и селектор Service.
|
||||
- Пунктир с анимацией — реальные соединения из Hubble за выбранное окно (5 минут, 15 минут, час); красный, если Cilium часть из них отбросил. Пиры из других namespace — пунктирные карточки в своих рамках.
|
||||
- Если на экране больше 30 направлений трафика, линии бледные, пока не наведёшь курсор на карточку или не выберешь её.
|
||||
- **Детали** (справа). Обзор, Связи (по конфигурации и по трафику, с переходом), живой YAML и логи контейнеров.
|
||||
- **Детали** (справа). Обзор (одна строка — работает или нет, проблемы объекта, его параметры, CPU и память относительно запросов и лимитов, его поды), Связи (по конфигурации и по трафику, с переходом), живой YAML, События, логи контейнеров и действия, которые разрешены пользователю.
|
||||
- **Проблемы** (кнопка в верхней панели). Всё, что сломано прямо сейчас, сначала самое серьёзное, с фильтром по приложениям и системным namespace; клик открывает объект.
|
||||
|
||||
Карточки нельзя перетащить, пока не открыт замок под кнопками масштаба, — случайный клик не перестроит карту. Последняя кнопка сохраняет текущую карту картинкой PNG.
|
||||
|
||||
Workload'ы под нестандартными контроллерами тоже на карте: Advanced DaemonSet из OpenKruise, кластеры операторов баз данных, статические поды, одиночные Job. Они названы так же, как их называет Hubble, поэтому трафик привязывается к тем же карточкам.
|
||||
|
||||
## Проблемы и алерты
|
||||
|
||||
Карточка с проблемой несёт значок: жёлтый `!` — предупреждение, красный `!` — ошибка. Рамки и карточки namespace, рамки нод и дерево окрашиваются по самой серьёзной проблеме внутри. Источники:
|
||||
|
||||
- **Состояние объектов**: контейнеры в `CrashLoopBackOff`, `ImagePullBackOff` и подобном, недавние перезапуски и убийства за нехватку памяти, поды в ожидании или без места для запуска, workload'ы, у которых больше 2 минут не готовы все или часть реплик, застрявшая выкатка, CronJob с неудачным последним запуском, Service без готовых подов, Ingress на несуществующий Service, нода не готова или ей не хватает памяти, диска или PID.
|
||||
- **Warning-события** за последние 30 минут, сгруппированные по объекту и причине. Сбои планирования, томов и back-off дают значок сразу; любой другой причине нужно пять повторов, до этого она в списке без значка — одна проваленная проба во время рестарта не красит карту.
|
||||
- **Алерты Prometheus**, которые Deckhouse зеркалирует в объекты `ClusterAlert`. Алерт привязывается по меткам (`deployment`, `statefulset`, `daemonset`, `pod`, `service`, `ingress`, `node`, `namespace`); алерт без объекта и namespace попадает в список кластера. `severity_level` 1–3 — ошибка, 4–6 — предупреждение, 7–9 — информация.
|
||||
|
||||
Записи уровня «для сведения» (нода закрыта для новых подов, одиночное обычное предупреждение) есть в списке, но значка не дают. Проблемы пересчитываются при каждом запросе карты, открытая страница обновляет их раз в минуту.
|
||||
|
||||
## Действия
|
||||
|
||||
При `actions.enabled` (по умолчанию включено) в панели деталей есть:
|
||||
|
||||
| Объект | Действия |
|
||||
|---|---|
|
||||
| Deployment, StatefulSet | перезапуск (как `kubectl rollout restart`), масштабирование на 0–100 реплик |
|
||||
| DaemonSet | перезапуск |
|
||||
| CronJob | запустить сейчас (как `kubectl create job --from=cronjob/…`), приостановить, возобновить |
|
||||
| Под (в таблице «Нагрузка») | удалить, чтобы контроллер запустил новый |
|
||||
| Нода (клик по рамке ноды) | закрыть для новых подов (cordon) и открыть обратно |
|
||||
|
||||
Каждое действие требует подтверждения и выполняется **от имени пользователя**: DexAuthenticator передаёт модулю собственный токен пользователя, модуль отправляет запрос в API-сервер с этим токеном, и API-сервер проверяет RBAC пользователя. Кнопка показывается, только если `SelfSubjectAccessReview` подтверждает право. Сервисный аккаунт модуля не получает прав на запись, в аудит-логе API-сервера записан пользователь; модуль тоже пишет каждое действие в лог с именем пользователя.
|
||||
|
||||
Запросы на запись с других сайтов отклоняются: модуль проверяет `Sec-Fetch-Site`, `Origin` и тип содержимого JSON.
|
||||
|
||||
## Как собирается трафик
|
||||
|
||||
Каждый агент Cilium хранит только кольцевой буфер потоков (по умолчанию 4095); при нескольких сотнях потоков в секунду это около десяти секунд истории. Разовый запрос «за последние 15 минут» молча вернул бы последние секунды. Поэтому модуль держит постоянный поток из Hubble Relay и раскладывает его по минутным корзинам на заданную глубину.
|
||||
@@ -26,6 +55,8 @@ Workload'ы под нестандартными контроллерами то
|
||||
|
||||
Пробы kubelet и прочий трафик с хостов нод, трафик между нодами, проверки Cilium health и DNS отсекаются на агентах и до модуля не доходят. На обычном кластере это около трёх четвертей всех потоков, и ни один из них не привязан к workload'у. Чтобы всё же собирать их, включите `traffic.collectInfraTraffic`.
|
||||
|
||||
Трафик между подами на разных нодах трассируется дважды: при выходе с ноды отправителя (`to-overlay`) и при доставке в под получателя (`to-endpoint`). Первая копия тоже отсекается на агентах, если получатель — под; это убирает около пятой части оставшихся потоков, ни одно число при этом не меняется.
|
||||
|
||||
Режимы сбора — параметр `traffic.mode`:
|
||||
|
||||
| Режим | Цена | Окна трафика |
|
||||
@@ -44,9 +75,9 @@ Workload'ы под нестандартными контроллерами то
|
||||
|
||||
## Безопасность
|
||||
|
||||
Веб-интерфейс читает кластер через собственную учётку модуля (ClusterRole `d8:cluster-map`): `get`, `list`, `watch` на namespaces, pods, services, nodes, deployments, statefulsets, daemonsets, cronjobs и ingresses и `get` на `pods/log`. Secret и ConfigMap он не читает, прав на запись нет.
|
||||
Веб-интерфейс читает кластер через собственную учётку модуля (ClusterRole `d8:cluster-map`): `get`, `list`, `watch` на namespaces, pods, services, nodes, events, deployments, statefulsets, daemonsets, cronjobs, ingresses и `clusteralerts` Deckhouse, `get` и `list` на pods и nodes из `metrics.k8s.io` и `get` на `pods/log`. Secret и ConfigMap он не читает, прав на запись нет. Изменения идут через [действия](#действия), которые выполняются от имени пользователя.
|
||||
|
||||
Отсюда следует: **любой, кого пустили в веб-интерфейс, видит все namespace и может читать логи контейнеров** — независимо от собственных прав RBAC. Ограничивайте доступ через `auth.allowedUserGroups` (а также `auth.allowedUserEmails` и `auth.whitelistSourceRanges`).
|
||||
Отсюда следует: **любой, кого пустили в веб-интерфейс, видит все namespace и может читать логи контейнеров** — независимо от собственных прав RBAC; изменить он может только то, что разрешает его RBAC. Ограничивайте доступ через `auth.allowedUserGroups` (а также `auth.allowedUserEmails` и `auth.whitelistSourceRanges`).
|
||||
|
||||
Фронтенд отдаётся со строгой Content Security Policy: только собственные скрипты, стили и API, без inline-кода, без встраивания во фреймы.
|
||||
|
||||
@@ -62,5 +93,6 @@ Workload'ы под нестандартными контроллерами то
|
||||
## Ограничения
|
||||
|
||||
- Одна реплика: история трафика живёт в процессе. Вторая реплика держала бы свою историю и удвоила бы нагрузку на hubble-relay.
|
||||
- Доступ по принципу «всё или ничего», см. раздел [Безопасность](#безопасность). Показ каждому пользователю только того, что разрешает его RBAC, — в планах.
|
||||
- Чтение по принципу «всё или ничего», см. раздел [Безопасность](#безопасность). Показ каждому пользователю только того, что его RBAC разрешает читать, — в планах; действия уже следуют RBAC пользователя.
|
||||
- Для алертов нужен модуль `prometheus`, он создаёт объекты `ClusterAlert`. Без него карта показывает проблемы только по состоянию объектов и событиям.
|
||||
- Трафик на уровне L3/L4. Подробности HTTP (пути, коды ответа) требуют L7-видимости Cilium и пока не показываются.
|
||||
|
||||
Reference in New Issue
Block a user