#llm

Инженерные статьи и post-mortem разборы по технологии llm.

Материалов: 4
NB AI • Systems & Infrastructure Engineering Lab

Методология оценки локальных моделей генерации кода: почему синтетические бенчмарки врут

AI & Autonomous Agents
• 3 мин • Денис

Тестирование на реальных AST-мутациях, проверка синтаксиса компилятором и замеры процента успешных правок.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Стратегии сжатия контекстного окна для непрерывно работающих AI-агентов

AI & Autonomous Agents
• 3 мин • Денис

Иерархическая суммаризация, выборочная обрезка вызовов инструментов и сохранение ключевых архитектурных инвариантов.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Запуск LLM на 70B параметров на рабочей станции: пропускная способность памяти как главное узкое место

AI & Autonomous Agents
• 3 мин • Денис

Почему количество терафлопсов вторично, а ширина шины DDR5 и пропускная способность UMA решают всё при генерации токенов.

Читать статью →
NB AI • Systems & Infrastructure Engineering Lab

Локальный инференс LLM: бенчмарк форматов квантования GGUF (Q4_K_M против Q8_0) на llama.cpp

AI & Autonomous Agents
• 3 мин • Денис

Замеры токенов в секунду, скорости генерации префикса (prompt processing) и потребления VRAM на локальном железе.

Читать статью →