Customizar os LLMs

Atenção!

Para customizar os LLMs, você precisa ter a permissão de um Account Holder ou Administrador da Conta.

O que significa customizar um LLM?

Na sua conta StackSpot AI, você pode escolher e ativar os Large Language Models (LLMs) disponíveis e seus respectivos modelos. Confira os modelos hospedados pela StackSpot que estão disponíveis para você:

Bedrock - Claude 3.5 Sonnet
Bedrock - Claude 3.7 Sonnet
Bedrock - Claude 4 Opus
Bedrock - Claude 4 Sonnet
Bedrock - Claude 4.5 Sonnet
Bedrock - DeepSeek R1
Bedrock - Llama 4 Maverick
Bedrock - Llama 4 Scout
Bedrock - Mistral Pixtral
Gemini - 2.5 Pro Preview 06-05
Gemini 3
Open AI - GPT 4.1
Open AI - GPT 4.1 mini
Open AI - GPT 4.1 nano
Open AI - GPT 4.5 preview
Open AI - GPT 4o
Open AI - GPT 4o mini
Open AI - GPT 5
Open AI - GPT 5.1
Open AI - GPT 5 mini
Open AI - GPT 5 nano
Open AI - o3 mini
Open AI - o4 mini

O que você pode customizar?

A StackSpot AI permite que você configure como os LLMs serão utilizados em diferentes funcionalidades. Algumas funcionalidades exigem a seleção de um modelo LLM padrão:

Agentes: ao criar Agentes, você deve selecionar um modelo LLM padrão que irá gerar as respostas. A opção padrão é Open AI - GPT 4o.
Deep Knowledge Search: esta funcionalidade utiliza um LLM para buscar contexto relevante dentro do seu projeto e gerar respostas mais precisas utilizando RAG (Retrieval-Augmented Generation). O modelo padrão para esta funcionalidade é o Open AI - GPT 4o mini.

Você pode alterar esses padrões a qualquer momento, conforme as necessidades do seu projeto.

Regras para gerenciar os LLMs

1. Você pode alterar o modelo de linguagem padrão (LLM) de qualquer recurso para um dos modelos disponíveis. No entanto, se você selecionar um modelo hospedado pela StackSpot para qualquer recurso, exceto Agentes, a opção padrão de LLM será o GPT-4o Mini.
2. Restrição para remover ou desativar o LLM padrão para Agentes
Não é possível remover ou desativar o LLM configurada como padrão para Agentes. As pessoas usuárias devem alterar o LLM padrão para outra opção antes de excluí-la ou desativá-la.
3. Restrição para alterar o LLM para Deep Knowledge Search ou Auto-Complete
As pessoas usuárias só podem modificar o LLM usado para Deep Knowledge Search e/ou Auto-Complete para um modelo Self-Hosted, que deve ser pago pela pessoa usuária.

Definir os LLMs

Para ativar e escolher qual LLM você deseja, siga os passos a seguir:

Passo 1. Faça login na sua Organização no Portal da StackSpot AI.

Passo 2. Em AI, clique em ‘Integração LLM‘;

Passo 3. Você pode visualizar os modelos e a configuração padrão. Selecione a que deseja. Para modificá-lo, clique no botão ‘Mais Opções‘;

Passo 4. Em seguida, clique em ‘Editar‘; Você irá visualizar a página de Edição de LLM:

Recursos: os modelos da StackSpot permitem apenas que você habilite as seguintes opções:

1. Agente: habilite esta opção para permitir que o LLM seja utilizado por Agentes na plataforma. 2. Deep Knowledge Search: habilite esta opção para ativar buscas avançadas por similaridade, permitindo um raciocínio mais aprofundado nas respostas.

Você pode ter mais de um LLM ativa.

Atenção!

Você não pode alterar os modelos para os recursos Deep Knowledge Search e Auto-Complete em modelos hospedados pela StackSpot; nesse caso já vem o modelo padrão 4o mini.

Desativar um LLM

Você pode desativar um LLM. Uma vez desativada, ela não poderá ser usada para nenhum recurso.

Siga as instruções:

Clique no botão ‘Mais Opções‘;
Em seguida, clique em ‘Desativar‘.

Você não pode desativar um LLM configurada como padrão. É necessário definir uma nova como padrão antes de desativá-la.

Imagem mostra a tela de Account na seção da StackSpot AI e a seção do LLM

Adicionar um LLM

Você pode integrar seu próprio modelo de Large Language Model (LLM) self-hosted a StackSpot AI. Selecione um modelo e preencha os campos obrigatórios para cada provedor: Azure, OpenAI e Gemini.

Siga os passos a seguir para adicionar um LLM:

Azure OpenAI

Você precisa já ter um recurso Azure OpenAI.

Passo 1. Acesse o Portal da Azure;

Passo 2. Use a barra de pesquisa ou navegue pelo menu de recursos para localizar ‘Azure OpenAI‘;

Passo 3. Selecione o seu recurso Azure OpenAI;

Passo 4. Acesse as chaves e endpoints:

Na seção Endpoints, clique em ‘Clique aqui para ver os endpoints‘.

Para encontrar as chaves e o endpoint, vá até o menu Resource Management e clique em ‘Chaves e Endpoint‘.

Nesta página, visualize a Chave 1, Chave 2 e o Endpoint. Você pode usar qualquer uma das chaves para autenticação.

Passo 5. Agora, faça login no Portal da StackSpot AI, vá até a seção Organização;

Passo 6. Acesse ‘StackSpot AI > Integração LLM‘ e clique no botão ‘Adicionar LLM‘;

Passo 7. Selecione Azure e preencha os campos obrigatórios:

Nome do modelo: adicione um nome para o seu modelo.

API Key: crie uma Secret. Siga as instruções a seguir:

Clique no ícone de cadeado e no botão ‘Registrar Secret’.

Crie um tipo Chave/Valor (Key/Value) e preencha:
- Local de Armazenamento da Secret: Conta
- Tipo de Credencial: Key Value
- Nome da Secret: example-azure
- Chave: api_key
- Valor: insira o valor que você salvou anteriormente no site da Azure.
O valor se parece com esse exemplo: XE4iNqxAT8z6EjuRuma0nBiF3BStfvqQwanDBo6VKsFDlrFkyaZZJQQJ99BJACZoyfiXJ3w3AAABACO

Clique no botão ‘Criar e Adicionar‘ para finalizar o processo. Pronto, você criou uma Secret.

Agora, continue preenchendo:

Versão da API: adicione a versão da API.
Chave da Organização: adicione a chave da sua organização.
Endpoint: você precisa criar outra Secret do tipo Key/Value. Clique no ícone de cadeado e no botão ‘Registrar Secret’.
- Adicione um novo par Key/Value:
  - Chave: exemplo: resource-brazil-south
  - Valor: https://{resource-name}.openai.azure.com
  {resource-name}: nome do recurso que você possui ou criou no Azure OpenAI.
Nome do Deployment: Adicione um nome.

Passo 8. Selecione Agente ou Deep Knowledge Source na seção Recursos.

Você pode defini-los como opção padrão.

Passo 9. Clique no botão ‘Salvar‘.

Gemini

Você precisa já ter uma conta no Google Cloud Platform (GCP).

Passo 1. Acesse sua conta GCP;

Passo 2. Pesquise por ‘Credenciais‘ na barra de pesquisa. Clique no botão ‘Criar credenciais‘ e selecione ‘Conta de serviço‘. Preencha os campos necessários.

Informe um nome e uma descrição.
O campo Permissão é opcional. Você pode adicionar permissões somente para o Vortex AI.
Clique no botão ‘Criar e continuar‘.

Passo 3. Clique na Conta criada, acesse a aba ‘Chaves‘ e clique em ‘Adicionar uma chave‘. A chave privada deve ser no formato JSON.

Clique no botão ‘Criar‘. O arquivo da chave será salvo automaticamente no seu computador.

Para mais detalhes, confira a documentação do GCP.

Passo 4. Faça login no Portal da StackSpot AI, vá até a seção Organização;

Passo 5. Vá para ‘StackSpot AI > Integração LLM’ e clique no botão ‘Adicionar LLM’;

Passo 6. Selecione Gemini e preencha os campos obrigatórios:

Nome: informe um nome para o modelo.

Você deve criar uma Secret. Siga as instruções a seguir:

Clique no ícone de cadeado e no botão ‘Registrar Secret‘. Preencha os campos:
- Local de Armazenamento da Secret: Conta
- Tipo de Credencial: Key Value
- Nome do Secret: exemplo-self-hosted
- Chave: api_key
  - Valor: insira o valor que você salvou anteriormente no site do GCP.
Crie uma nova Secret. Adicione um novo par Key/Value:
- Chave: url
- Valor: https://{location}-aiplatform.googleapis.com/v1/projects/{yourproject_id}/locations/{location}/endpoints/openapi
yourproject_id: nome do seu projeto.

Clique no botão ‘Criar e Adicionar‘ para finalizar o processo. Pronto, você criou uma Secret.

Agora, continue preenchendo:

API Key: clique na Secret que você criou e adicione o primeiro par Key/Value. Neste exemplo, é exemplo-self-hosted.
Endpoint: clique na Secret e adicione o segundo par Key/Value. Neste exemplo, é url.

Passo 7. Selecione Agente ou Deep Knowledge Source na seção Recursos.

Você pode defini-los como opção padrão.

Passo 8. Clique no botão ‘Salvar‘.

Open AI

Para continuar, você deve possuir uma conta na OpenAI.

Passo 1. Faça login na sua conta OpenAI;

Passo 2. Clique em ‘Default Project’ e selecione ‘Create Project’. Insira um nome para o projeto da sua organização;

Passo 3. Acesse a seção ‘Manage Projects’ e clique no nome do projeto recém-criado. No menu lateral, selecione ‘API Keys’ e clique em ‘Create New Secret Key’;

Clique em Service account e adicione um nome para a chave de serviço. Por exemplo: OPENAI_APIKEY.
Adicione as permissões necessárias.
Escolha um projeto e clique em ‘Create secret key’. Copie e salve a sua chave, não será possível visualizá-la novamente. Você precisará dela mais tarde.

Passo 4. Na sua conta OpenAI, vá até o menu ‘Settings’ ao lado do seu perfil.
Localize e copie o Organization ID. Salve esta informação, você irá utilizá-la depois;

Passo 5. Faça login no Portal da StackSpot AI, vá até a seção Organização;

Passo 6. Acesse ‘StackSpot AI > Integração LLM’ e clique no botão ‘Adicionar LLM’;

Passo 7. Selecione OpenAI e preencha os campos obrigatórios:

API Key: você deve criar uma Secret. Siga as instruções a seguir:

Clique no ícone de cadeado e no botão ‘Registrar Secret’. Preencha os campos:
- Local de Armazenamento da Secret: Conta
- Tipo de Credencial: Key Value
- Nome da Secret: adicione um nome para sua Secret. Exemplo: OPENAI_APIKEY.

Em Secret Key:
- Chave: você pode inserir qualquer nome que preferir.
- Valor: adicione o valor que você salvou anteriormente no site da OpenAI.

Clique no botão ‘Criar e Adicionar’. Pronto, a Secret foi criada.

Agora, continue preenchendo:

Chave da Organização: adicione a chave da organização que você copiou anteriormente.
Endpoint: este campo é opcional. Utilize apenas se você tiver um modelo LLM self-hosted para acessar por uma URL personalizada. Se você utiliza um modelo padrão da OpenAI, não é necessário preencher.
- Exemplo: https://{companylink}/v1/chat/completions
- Na StackSpot: http://{companylink}

Passo 8. Selecione Agente ou Deep Knowledge Source na seção de Recursos.

Você pode defini-los como opção padrão.

Clique no botão ‘Salvar’ para finalizar o processo.

Confira um vídeo com os passos a seguir:

Teste seu LLM

Crie um Agente e verifique o nome do LLM que você configurou. Isso ajudará a confirmar que está tudo funcionando corretamente.