NB AI • Systems & Infrastructure Engineering Lab
Замеры токенов в секунду, скорости генерации префикса (prompt processing) и потребления VRAM на локальном железе.
#llama-cpp
Инженерные статьи и post-mortem разборы по технологии llama-cpp.
Материалов: 1