Log Disk Exhaustion в vCenter 7

12 сентября 2021
2 мин чтения

vCenter 7 показывает ошибку:

Log Disk Exhaustion on vcenter

Ошибка сопровождается предупреждениями от служб, например: PostgreSQL Service Health Alarm.
Разбираемся, что происходит и как починить.

Где искать причину

Подробностей в интерфейсе vCenter немного, но из названия понятно — закончился диск для логов.

Если зайти в VAMI (vCenter Server Management Interface), увидим:

File system /storage/log is low on storage space. Increase the size of disk /storage/log.

То есть, проблема в разделе /storage/log.

Проверяем службы

В разделе Services видно, что не только Postgres, но и vTSDB Service (Timescale DB) жалуется:

Filesystem holding service vmware-vpostgres error logs is running low on available space.
Filesystem holding service vtsdb error logs is running low on available space.

Обе службы используют общую подсистему логов, и диск переполнен.

Проверяем систему через SSH

Включаем shell (ssh)

Подключаемся к vCenter по SSH под root

Включаем оболочку:

shell

Смотрим использование дисков:

df -h

/storage/log забит на 100%.
Находим, кто съел место:

du -h --max-depth=1

или

du -a /storage/log | sort -n -r | head -n 20

Выясняется, что почти весь объём занял файл:

/storage/log/vmware/vmware-sps/sps-runtime.log.stderr

Что внутри

Проверяем содержимое:

tail -n 1000 /storage/log/vmware/vmware-sps/sps-runtime.log.stderr

Файл забит сообщениями вроде:

org.bouncycastle.tls.TlsFatalAlert: certificate_unknown(46)

Это значит, что vCenter не доверяет сертификатам некоторых хостов.

Почему так

Скорее всего, дело в параметре:

vpxd.certmgmt.mode

Если он не в режиме vmca, а в ручном — сертификатами управляет не vCenter.

В моём случае проблема была в том, что гипервизор был подключён к другому vCenter, и сертификаты не совпадали.

Освобождаем место

Чистим файл:

cat /dev/null > /storage/log/vmware/vmware-sps/sps-runtime.log.stderr

Место освободилось.
Но имейте в виду: файл снова начнёт расти, если не устранить первопричину — проблему с сертификатами.

Итого

• /storage/log забит логами vmware-sps
• В логах ошибка certificate_unknown(46)
• Причина — неверное управление сертификатами (vpxd.certmgmt.mode)
• Временное решение — очистка файла, постоянное — исправление доверия к сертификатам

Источник: internet-lab.ru/vcenter_log_exhaustion