#sre

Инженерные статьи и post-mortem разборы по технологии sre.

Материалов: 15
NB AI • Systems & Infrastructure Engineering Lab

Обновление ядра Linux без перезагрузки: практический опыт kpatch в Enterprise-среде

DevOps & SRE
• 3 мин • Денис

Применение критических заплаток безопасности к работающему ядру без прерывания пользовательских TCP-сессий.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Post-mortem: сбой автоматического продления TLS-сертификата из-за редиректа в HTTP-01 challenge

Post-mortems & War Stories
• 3 мин • Денис

Как правило Nginx return 301 https://$host заблокировало валидацию Let's Encrypt и привело к истечению сертификата.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Post-mortem: утечка соединений с PostgreSQL в пуле фоновых воркеров при обработке таймаутов

Post-mortems & War Stories
• 3 мин • Денис

Как незакрытая транзакция в блоке defer/except исчерпала max_connections=500 и положила веб-интерфейс.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Post-mortem: выход из строя BBU батареи RAID-контроллера и падение скорости диска в 10 раз

Post-mortems & War Stories
• 3 мин • Денис

Как аварийный сброс кэша в режим Write-Through мгновенно обрушил транзакции баз данных и как настроить мониторинг storcli.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

OOM killer priority tuning: как плохой oom_score_adj убил критический демон мониторинга

Post-mortems & War Stories
• 3 мин • Денис

Разбор инцидента, когда ядро Linux при нехватке памяти выбрало жертвой не раздувшийся Java-процесс, а легковесный агент мониторинга.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Лавина TIME_WAIT сокетов в межсервисном взаимодействии: исчерпание пула портов

DevOps & SRE
• 3 мин • Денис

Как постоянное открытие коротких HTTP-соединений между микросервисами привело к исчерпанию портов и лавине 500 ошибок.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Исчерпание inode на ext4: 10 миллионов сессионных файлов в /tmp и паралич диска

Post-mortems & War Stories
• 3 мин • Денис

История о том, как свободные 400 ГБ на диске не спасли продакшен от ошибки «No space left on device» из-за 100% утилизации таблицы inode.

Читать статью →