Instâncias

A seção de Instâncias permite criar, visualizar e gerenciar instâncias personalizadas para executar seus modelos em ambientes dedicados. Essa é uma opção ideal para usuários com requisitos de alto volume que preferem não pagar por consumo (como tokens, minutos ou caracteres) e, em vez disso, desejam uma instância dedicada executando um modelo local. Nessa configuração, você paga apenas pelo uso da instância.

Principais Recursos

• Ambiente Dedicado: Execute seus modelos em um ambiente dedicado com várias opções de GPU oferecendo até 12 núcleos.
• Disponibilidade de Modelos: Apenas modelos de código aberto e modelos da SipPulse AI estão disponíveis para instâncias. Modelos proprietários como GPT e Claude não são suportados.
• Gerenciamento de Instâncias: Inicie, pare, edite e exclua instâncias conforme necessário.
• Privacidade: As instâncias são particularmente úteis para lidar com informações sensíveis ou privadas que você não deseja compartilhar com empresas de terceiros como a OpenAI.

Visão Geral da Página de Instâncias

Na página de Instâncias, você encontrará uma tabela listando todas as suas instâncias. Cada entrada na tabela inclui:

• Nome: O nome atribuído à instância.
• Instância: O tipo de GPU alocado para a instância.
• Modelo: O modelo em execução na instância.
• Status: O status atual da instância (por exemplo, em execução, parada).
• Último Uso: A última vez que a instância foi usada.
• Custo: O custo por hora de execução da instância.

Ações da Instância

• Playground: Acesse o playground para testar e interagir com sua instância.
• Iniciar/Parar: Inicie ou pare a instância conforme necessário.
• Editar: Modifique a configuração da instância (GPU e número de núcleos) quando a instância estiver parada.
• Excluir: Exclua permanentemente a instância quando ela estiver parada.

Criando uma Instância

Para criar uma instância, siga estes passos:

1. Selecionar Modelo: Escolha o modelo que deseja usar (as opções incluem geração de texto, texto para fala e fala para texto).
2. Selecionar GPU: Escolha a GPU que deseja usar. A interface recomendará uma GPU e indicará a GPU mínima necessária. GPUs que não atendam aos requisitos do modelo serão desabilitadas.
3. Definir Número de Núcleos: Ajuste o número de núcleos (até o máximo suportado pela GPU selecionada).
4. Opções de Configuração:
   • Iniciar na Criação: Inicie automaticamente a instância assim que ela for criada.
   • Desligamento por Inatividade: Configure a instância para parar após um período especificado de inatividade para economizar custos.

Notas Importantes

• Edição de Instâncias: Você pode editar a instância posteriormente, mas observe que não é possível alterar o modelo. A alteração da GPU só é possível quando a instância está parada.
• Status da Instância: Após criar uma instância, ela começará a ser carregada. Esse processo pode levar algum tempo. Verifique o status na tabela de instâncias. Assim que o status estiver "em serviço", a instância estará disponível para integração com a API e teste no playground.

Fluxo de Trabalho de Exemplo

1. Criar uma Instância: Selecione um modelo, escolha uma GPU adequada e configure a instância.
2. Monitorar o Status: Acompanhe o status de carregamento na tabela de instâncias.
3. Iniciar/Parar: Gerencie o status de execução da instância conforme necessário.
4. Integrar e Testar: Use o playground para testar a instância e integrá-la à sua API.

Essa configuração garante que seus modelos operem com a eficiência e escalabilidade necessárias, atendendo às suas demandas específicas de recursos e desempenho, e fornece um ambiente seguro para lidar com dados sensíveis.