Tokens
Os tokens podem ser textos introdutórios ou unidades de arquivo que os LLMs (Modelos de Linguagem de Grande Escala) usam para processar e gerar linguagem. Na StackSpot AI, um token corresponde às palavras que você digita no prompt ou aos arquivos que você adiciona para criar Knowledge Sources. Eles são usados para otimizar o desempenho da plataforma e proporcionar uma experiência transparente para as pessoas usuárias.
Token LLM
São as unidades de texto (palavras, partes de palavras ou caracteres) que os modelos de linguagem (LLMs, como o GPT-4) usam para processar e gerar respostas. Cada mensagem enviada ou recebida pelo LLM é contabilizada em tokens.
Token Embedding
São as unidades de texto que são convertidas em vetores numéricos para que o modelo possa entender e comparar significados. O processo de "embedding" transforma tokens em representações matemáticas para buscas semânticas e análise de contexto.
Uso de Tokens
A StackSpot AI utiliza tokens para ajudar a controlar as atividades das pessoas usuárias dentro da plataforma. Ela monitora cada interação do usuário de acordo com o tipo de conta, neste caso, a conta pessoal. Quando o uso de tokens atinge os limites definidos:
- Novas interações que exigem o consumo de tokens são bloqueadas;
- Uma notificação será exibida informando que o limite de tokens foi atingido.
Limite de Token
A conta pessoal (login via GitHub) tem um limite de 1 milhão de tokens por mês. Esse número inclui as palavras em suas perguntas para a Inteligência Artificial e os arquivos de Knowledge Source que você adiciona na plataforma. Sobre o limite de tokens:
- Se você atingir o limite de 1 milhão, receberá um aviso de que o limite foi alcançado;
- Você receberá mais 1 milhão de tokens no início do mês seguinte;
- Precisa de um limite maior? Você pode adquirir o plano StackSpot AI Enterprise. Para mais informações, envie um e-mail para o time de suporte.
Monitorar o uso de tokens
Para acessar a seção de Analytics:
- Vá para a plataforma da StackSpot AI;
- Clique no botão 'Analytics'.