2.4 - Ajuste da Base de Conhecimento

NeuralSeek oferece várias maneiras de melhorar as respostas geradas a partir do seu KnowledgeBase conectado. Dentro da aba Configure do NeuralSeek, você pode ajustar diferentes parâmetros mais adequados ao seu caso de uso para melhorar respostas de baixa qualidade. Para mais informações sobre as melhores práticas de ajuste de KB, confira nosso Guia de Ajuste do KnowledgeBase na nossa documentação.

Reduzindo o Número Máximo de Documentos, Aumentando o Tamanho do Trecho

A opção Max Documents per Seek define o número de documentos enviados ao LLM em cada ação de Seek. A opção Snippet Size define a contagem de caracteres a ser enviada ao KB para o tamanho do trecho do documento. Quanto maior o número, maior o pedaço de documentação.

Vamos brincar com essas configurações e revisar como nossas respostas geradas são afetadas.

• Vá para a aba Configure no NeuralSeek.
• Expanda o acordeão KnowledgeBase Tuning.
• Use a escala deslizante para definir o Max Documents per Seek para 1.
• Use a escala deslizante para definir o Snippet Size para 1000.
• Clique no botão vermelho Salvar para salvar suas mudanças de configuração.

• Vá para a aba Seek dentro do NeuralSeek.
• Consulte "Como o NeuralSeek filtra?"
• Veja a saída abaixo.

Aumentando o Número Máximo de Documentos, Reduzindo o Tamanho do Trecho

Agora, vamos ver como nossas respostas geradas são afetadas quando o Max Documents per Seek é configurado para um número alto, e o Snippet Size é configurado para um número baixo.

• Vá para a aba Configure no NeuralSeek.
• Expanda o acordeão KnowledgeBase Tuning.
• Use a escala deslizante para definir o Max Documents per Seek para 30.
• Use a escala deslizante para definir o Snippet Size para 250.
• Clique no botão vermelho Salvar para salvar suas mudanças de configuração.

• Vá para a aba Seek dentro do NeuralSeek.
• Consulte "Como o NeuralSeek filtra?"
• Veja a saída abaixo.

• Vá para a seção KnowledgeBase Tuning da aba Configure para redefinir os valores ideais para:
  • Max Documents per Seek: 4
  • Snippet Size: 500
• Clique em Salvar.

Reduzindo o Intervalo de Pontuação do Documento

Document Score Range define o intervalo de possíveis pontuações de relevância que o NeuralSeek retornará como resultado. Por exemplo, se o intervalo de pontuação for definido como 0.8, os resultados serão documentos com uma pontuação de relevância entre 20% e 100%. Quando o Document Score Range é reduzido, há uma maior rigorosidade ao enviar o resultado correspondente mais adequado.

Vamos ver como a redução do Document Score Range afeta nossos resultados de Seek.

• Vá para a aba Configure no NeuralSeek.
• Expanda o acordeão KnowledgeBase Tuning.
• Use a escala deslizante para definir o Document Score Range para 0.2, ou 20%.
• Clique no botão vermelho Salvar para salvar suas mudanças de configuração.

• Vá para a aba Seek dentro do NeuralSeek.
• Consulte "Como o PII é seguro pelo NeuralSeek?"
• Veja a saída abaixo. Os 20% superiores dos nossos documentos com maior pontuação para esta consulta foram enviados de volta para geração de resposta.

• Vá para a seção KnowledgeBase Tuning da aba Configure para redefinir o valor do Document Score Range para as configurações ideais de 0.8, ou 80%.
• Clique em Salvar.

Priorizando a Documentação

A ferramenta Re-Sort Values List permite que os usuários priorizem valores, sem excluir totalmente outros valores.

Vamos ver um exemplo onde gostaríamos de priorizar o conteúdo nas fontes do nosso KnowledgeBase para gerar respostas.

• Vá para a aba Configure no NeuralSeek.
• Expanda o acordeão KnowledgeBase Connection.
• No campo Re-Sort, adicione a propriedade de metadados title.
• Clique no ícone da lâmpada para adicionar uma nova linha de prioridade.
• Para Prioridade 1, adicione /^KnowledgeBase Tuning/ como o valor. Isso priorizará valores que começam com "KnowledgeBase Tuning" - com nosso objetivo sendo o guia de documentação NeuralSeek para ajuste do KnowledgeBase - para a geração de resposta.
• Clique no botão vermelho Salvar para salvar suas mudanças de configuração.

• Vá para a aba Seek dentro do NeuralSeek.
• Consulte "Como a documentação da fonte pode ser melhorada?"
• Veja a saída abaixo. A priorização do documento intitulado "KnowledgeBase Tuning NeuralSeek Documentation" está ocorrendo nos bastidores. Os detalhes do Contexto do KnowledgeBase são baseados em classificação visual, então enquanto uma fonte diferente pode aparecer no topo desta seção, a priorização do conteúdo do documento de ajuste do KnowledgeBase ainda ocorre para a geração de resposta.

Governança da Análise de Intenção

A aba de Governança do NeuralSeek serve como uma plataforma centralizada onde os usuários podem acessar vários insights e métricas relacionadas à governança de seu sistema NeuralSeek.

Insights de Configuração

• Vá para a aba de Governança dentro do NeuralSeek.
• Clique em Insights de Configuração. Aqui, podemos revisar cada versão de nossa configuração do NeuralSeek contendo as diferentes alterações feitas durante as etapas de ajuste do NeuralSeek.
• Clique em uma versão para mostrar as modificações feitas na aba de Configure.
• Clique no ícone de lupa com o sinal de mais para ampliar a data de hoje.

Insights de Documentação

• Clique em Insights de Documentação. Aqui, podemos revisar as fontes e referências frequentemente utilizadas pelo NeuralSeek para geração de respostas.

• Clique no ícone de filtro no canto superior esquerdo.
• Clique em uma intenção para filtrar por ela, então clique no 'x' no canto direito para fechar a tela de filtro.
• Observe como os gráficos mudam para fornecer detalhes sobre a documentação relacionada a essa intenção filtrada.

Insights Semânticos

• Por fim, clique em Insights Semânticos. Aqui, podemos ver gráficos com insights sobre nossa Confiança Semântica, Cobertura de Principais Fontes, Saltos de Fontes e mais. Isso proporciona aos usuários uma compreensão mais profunda do contexto gerado e permite monitorar a qualidade.

• Clique no ícone de filtro no canto superior esquerdo.
• Clique em uma intenção para filtrar por ela, então clique no 'x' no canto direito para fechar a tela de filtro.
• Observe como os gráficos mudam para fornecer uma análise mais estreita sobre os insights semânticos da intenção filtrada

Tratamento de PII

O NeuralSeek apresenta uma rotina avançada de detecção de Informações Pessoais Identificáveis (PII) que identifica automaticamente qualquer PII dentro de entradas de usuário. Isso permite que os usuários mantenham um ambiente seguro e ainda forneçam respostas precisas às consultas do usuário.

Desativar "Forçar Respostas da Base de Conhecimento"

Navegue até à tela Configurar no NeuralSeek e expanda os detalhes de Engenharia de Resposta e Preferências.

• Mude a seleção de Forçar Respostas da Base de Conhecimento para False.

Desenvolvemos essa configuração para geração de resposta ideal para este próximo exemplo, já que a informação não estará em nossa documentação de origem.

Definir os Filtros baseados em LLM PII

Expandir os detalhes de Tratamento de Informações Pessoais Identificáveis (PII).

• Clique no ícone da lâmpada para adicionar uma nova linha.
• Adicione uma frase de exemplo. Por exemplo: I graduated college from JMU..
• Na caixa à direita, adicione o elemento PII da frase de exemplo. Neste exemplo: JMU.
• Clique no ícone Salvar vermelho na parte inferior da tela.

Procure uma resposta

Navegue até a aba Buscar do NeuralSeek.

• Procurar a pergunta garantindo referenciar o PII. Neste exemplo, procure por: What colleges are in Virginia?

Observe que a resposta é vaga e não inclui informações sobre colégios específicos naquela área.

Verificação de PII

Navegue até a aba Curadoria do NeuralSeek. Aqui, podemos ver a intenção recém-criada com um símbolo indicando que essa intenção contém PII.

• Expanda a intenção para ver as respostas. Observe que a localização de Virginia que perguntamos na pergunta está mascarada para esconder o PII.

Faça uma pergunta adicional

O usuário pode continuar a procurar consultas e ver como o PII relacionado é mascarado na tela Curar. Por exemplo, procure pela pergunta Where is JMU located?.

• A resposta será vaga e não conterá informações sobre a localização por conter PII.
• Na tela Curate, a intenção aparecerá com o mesmo símbolo indicando PII. Dentro da consulta, JMU também será mascarado para proteger as PII.