Agregar un modelo de lenguaje grande (LLM) a NeuralSeek
Mejora tu experiencia en NeuralSeek siguiendo estas instrucciones para agregar al menos un LLM (Modelo de lenguaje grande) para optimizar sus funcionalidades sin problemas. Si agregas más de uno, NeuralSeek los equilibrará para las funciones que pueden usar varios LLM. Si un LLM no puede manejar ciertas funciones, esas funciones no estarán disponibles. Si no agregas un LLM para una función, esa parte de NeuralSeek no funcionará.
⚠ Para configurar un LLM, asegúrate de haber suscrito al plan Bring Your Own LLM (BYOLLM). Todos los demás planes tendrán asignado de forma predeterminada el LLM seleccionado por NeuralSeek, y esta opción no estará disponible. Recuerda que es responsabilidad de cada participante comprender y administrar los costos asociados con el uso de NeuralSeek y cualquier otro servicio integrado dentro de su entorno de IBM Cloud.
Agregar un LLM
Dirígete a la interfaz de usuario de NeuralSeek.
En la pestaña de inicio, sigue los pasos para conectarte a tu LLM.
⚠️ Debes agregar al menos un LLM.
- (a) Haz clic en Agregar LLM.
Selección de plataforma y LLM
Para los usuarios de IBM, se recomienda conectarse a la plataforma watsonx y seleccionar el LLM Llama-2-chat 70B.
- (a) Haz clic en el menú desplegable para seleccionar la plataforma LLM. Para este ejemplo, selecciona watsonx.
- (b) Haz clic en el menú desplegable para seleccionar el LLM. Para este ejemplo, selecciona Llama-2-chat 70B.
- (c) Haz clic en Agregar para agregar el LLM.
Funciones de LLM
La ubicación de la clave de API IAM de watsonx, la URL de punto de conexión y la información del ID de proyecto se pueden encontrar en tu cuenta de IBM Cloud dentro de la instancia activa que se encuentra en la Lista de recursos.
- Ingresa la clave de API IAM de watsonx.
- Ingresa la URL de punto de conexión de watsonx.
- Ingresa el ID del proyecto de watsonx.
- Habilita los idiomas disponibles de LLM. NeuralSeek por defecto habilitará los 56 idiomas disponibles.
- Selecciona las funciones de LLM deseadas. NeuralSeek por defecto seleccionará todas las funciones disponibles. Para el propósito de este laboratorio, selecciona las siguientes: Detección de PII, Generación de conversaciones, Extracción de entidades, Categorización, Generación de ejemplos, Creación de intenciones, Traducción, Sentimiento de retroceso y mAIstro.
Probar el LLM
- Haz clic en Probar para probar el LLM.
Un modelo de lenguaje grande está ahora conectado a NeuralSeek.
⚠️ Los LLM pueden variar en sus capacidades y rendimiento. Algunos LLM pueden tardar hasta 30 segundos o más para generar una respuesta completa. Usa con precaución al usar en conjunto con una plataforma de agente virtual que imponga un tiempo de espera estricto.