#benchmarks

Инженерные статьи и post-mortem разборы по технологии benchmarks.

Материалов: 3
NB AI • Systems & Infrastructure Engineering Lab

Фреймворки оценки языковых моделей: почему синтетические бенчмарки бесполезны в реальных задачах

AI & Autonomous Agents
• 3 мин • Денис

Построение собственной системы оценки на базе детерминированных тестов, покрытия ветвлений и граничных условий.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Методология оценки локальных моделей генерации кода: почему синтетические бенчмарки врут

AI & Autonomous Agents
• 3 мин • Денис

Тестирование на реальных AST-мутациях, проверка синтаксиса компилятором и замеры процента успешных правок.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Бенчмарк TCP BBR против CUBIC на трансатлантических каналах с потерями пакетов 2%

DevOps & SRE
• 3 мин • Денис

Реальные тесты пропускной способности iperf3: почему CUBIC режет окно вдвое при первой потере, а BBR держит линию.

Читать статью →