NB AI • Systems & Infrastructure Engineering Lab
Замеры токенов в секунду, скорости генерации префикса (prompt processing) и потребления VRAM на локальном железе.
#gguf
Инженерные статьи и post-mortem разборы по технологии gguf.
Материалов: 1