Chat de texto
O modelo 9B responde a 31–39 tokens por segundo, e até 43 quando escreve código. Isso é possível com decodificação especulativa (MTP) e kernels próprios de 4 bits. A janela de contexto é de 16K tokens.
Este parágrafo chega a 35 tokens por segundo, o ponto médio da faixa medida no console. Cada pedaço é um token: uma palavra, parte de uma palavra ou um sinal de pontuação. Uma resposta curta de 60 tokens aparece na tela em menos de dois segundos. Uma resposta completa de 300 tokens leva menos de nove segundos. Dezesseis mil tokens, o tamanho da janela de contexto, levariam cerca de oito minutos. O código sai um pouco mais rápido, até 43 tokens por segundo. Nada deste quadro é saída do modelo; ele só mostra o ritmo.




