Текстовый чат
Модель 9B отвечает со скоростью 31–39 токенов в секунду и до 43, когда пишет код. Это возможно благодаря спекулятивному декодированию (MTP) и собственным 4-битным ядрам. Контекстное окно — 16K токенов.
Этот абзац появляется со скоростью 35 токенов в секунду — это середина диапазона, измеренного на консоли. Каждый кусочек — один токен: слово, часть слова или знак препинания. Короткий ответ из 60 токенов появляется на экране меньше чем за две секунды. Полный ответ из 300 токенов занимает меньше девяти секунд. Шестнадцать тысяч токенов, размер контекстного окна, заняли бы около восьми минут. Код выходит чуть быстрее, до 43 токенов в секунду. Ничего в этом блоке не написано моделью; он только показывает темп.




