Saltar al contenido principal

LLM Genérico

El componente LLM Genérico proporciona una interfaz flexible para interactuar con varios Modelos de Lenguaje Grande (LLM), incluyendo modelos multimodales capaces de procesar tanto texto como imágenes. Ofrece opciones de configuración completas para controlar el comportamiento del modelo y la gestión de memoria.

Costo de Créditos​

Varía según el modelo. Cada modelo tiene costos específicos de créditos para tokens de entrada (mostrados en azul) y tokens de salida (mostrados en naranja) por millón de tokens. Por ejemplo:

  • MiniMax-01: 2,000 créditos entrada / 11,000 créditos salida
  • Mistral Codestral 2501: 3,000 créditos entrada / 9,000 créditos salida

Uso​

El componente LLM Genérico tiene un único conexión de entrada que acepta múltiples variables de tipo 'texto' o 'imagen', y un único conexión de salida que produce la respuesta de texto del modelo. Puedes referenciar variables de texto tanto en los prompts de sistema como de usuario usando la sintaxis {{variable}}.

Como componente central de la plataforma, el LLM Genérico ofrece una flexibilidad excepcional en el manejo y transformación de datos dentro de tus flujos de trabajo. Puedes:

  • Combinar y procesar datos de múltiples componentes anteriores
  • Generar salidas estructuradas (como JSON) que pueden ser analizadas por componentes posteriores
  • Realizar varias operaciones como:
    • Resumen y análisis de texto
    • Generación y transformación de contenido
    • Resolución de problemas y toma de decisiones
    • Estructuración y reorganización de datos
    • Tareas de procesamiento de lenguaje natural

Esta flexibilidad lo convierte en un centro poderoso para conectar diferentes partes de tu flujo de trabajo, permitiéndote procesar datos exactamente como lo necesitas para tu caso de uso específico.

Manejo de Variables​

El componente acepta:

  • Múltiples variables de texto que pueden ser referenciadas en los prompts usando la sintaxis {{variable}}
  • Múltiples variables de imagen que pueden ser habilitadas para que el modelo las "vea" a través de la propiedad Imágenes
  • La salida es siempre una única variable de texto que contiene la respuesta del modelo

Si una variable referenciada contiene datos vacíos, será reemplazada con una cadena vacía en los prompts.

Propiedades​

Título​

  • Tipo: texto
  • Descripción: Un identificador para el componente. Se usa solo con fines organizativos y no afecta la ejecución.
  • Por defecto: "LLM"

Modelo​

  • Tipo: selector de modelo
  • Descripción: Busca y selecciona entre los modelos LLM disponibles. Cada modelo muestra:
    • Nombre y fecha de creación
    • Modalidad (texto->texto o texto+imagen->texto)
    • Costos de créditos (entrada/salida por millón de tokens)
    • Longitud de contexto
    • Breve descripción

Tipo de Memoria​

  • Tipo: opción
  • Opciones:
    • Sin Memoria: El modelo comienza fresco cada vez, sin recordar interacciones previas
    • Memoria de Ciclo: El modelo recuerda interacciones dentro de un solo ciclo de ejecución (útil para bucles), pero olvida entre ejecuciones
    • Memoria Completa: El modelo mantiene la memoria a través de múltiples ejecuciones dentro de la misma conversación
  • Por defecto: "Memoria Completa"

Prompt de Sistema​

  • Tipo: texto
  • Descripción: Define el rol y objetivo del modelo. Aquí es donde debes establecer el comportamiento y propósito del modelo, ya que impacta significativamente en el rendimiento. Puedes usar la sintaxis {{variable}} para incluir contenido dinámico.
  • Mejores Prácticas:
    • Sé específico sobre el rol del modelo
    • Define objetivos y restricciones claras
    • Establece expectativas de tono y estilo
    • Especifica requisitos de formato de salida

Prompt de Usuario​

  • Tipo: texto
  • Descripción: Contiene el contexto o datos para que el modelo trabaje. Con el rol ya establecido en el prompt de sistema, esto debe enfocarse en la tarea o consulta específica. Admite la sintaxis {{variable}} para contenido dinámico.
  • Mejores Prácticas:
    • Proporciona contexto relevante
    • Haz preguntas claras o da instrucciones específicas
    • Referencia variables conectadas según sea necesario

Imágenes​

  • Tipo: lista de casillas de verificación
  • Descripción: Solo aparece cuando hay variables de imagen conectadas. Selecciona qué imágenes debe "ver" y procesar el modelo.
  • Nota: Solo disponible para modelos multimodales que soportan procesamiento de imágenes

Parámetros Avanzados​

Parámetros opcionales para ajustar el comportamiento del modelo:

  • Temperatura (0.0-2.0): Controla la aleatoriedad de la respuesta
  • Top P (0.0-1.0): Limita las opciones de tokens por probabilidad acumulativa
  • Top K (0 o más): Limita el número de tokens considerados
  • Penalización de Frecuencia (-2.0-2.0): Reduce la repetición basada en la frecuencia de tokens
  • Penalización de Presencia (-2.0-2.0): Reduce la repetición de tokens de entrada
  • Tokens Máximos (1 o más): Limita la longitud de la respuesta
  • Ver todos los parámetros

Ejemplos​

{
  "title": "Generador de Descripciones de Productos",
  "system_prompt": "Eres un escritor profesional de descripciones de productos. Crea descripciones convincentes y precisas.",
  "user_prompt": "Escribe una descripción para: {{a}}\nCaracterísticas: {{b}}",
  "memory_type": "no_memory"
}