NVIDIA

Desarrollo de soluciones de inferencia con GPU NVIDIA

Desarrollamos asistentes que consultan documentos internos y ejecutan el modelo en su infraestructura. Con consultas representativas, evaluamos cuántas solicitudes puede procesar la GPU a la vez y cuánto espera cada usuario.

¿Qué lote cabe en la memoria de la GPU?

Esta simulación de inferencia usa cifras hipotéticas. Reserva 12 GiB para el modelo, 2 GiB para el motor y 1,5 GiB por solicitud. Todas las solicitudes tienen la misma cantidad de tokens.

Datos simulados
Memoria disponible
Tamaño del lote
Resultado

El lote cabe en la GPU. Quedan 4 GiB libres con las condiciones del ejemplo.

  1. Memoria disponible24 GiB
  2. Tamaño del lote4 solicitudes
  3. Memoria necesaria20 GiB

Ejemplo práctico

Cuatro consultas a los manuales internos en un mismo lote

En este ejemplo hipotético, un equipo diseña un asistente que responde preguntas sobre manuales internos. Dispone de 24 GiB de memoria en una GPU NVIDIA y necesita fijar un límite de solicitudes por lote antes de habilitar el servicio.

Seleccione una etapa

Cargar el modelo · 14 GiB de base

Qué ocurre
El cálculo reserva 12 GiB para los pesos del modelo y 2 GiB para el motor de inferencia. Quedan 10 GiB para las solicitudes.
Cómo comprobarlo
Al cargar el modelo sin consultas, el equipo puede medir el consumo inicial y contrastarlo con los 14 GiB previstos.

Elegir el lote · 4 consultas

Qué ocurre
Con una reserva hipotética de 1,5 GiB por consulta, cuatro solicitudes necesitan 20 GiB en total. Ocho necesitarían 26 GiB y superarían la memoria disponible.
Cómo comprobarlo
El equipo elige el lote de cuatro para la prueba y registra un margen estimado de 4 GiB.

Validar la carga · Memoria y latencia

Qué ocurre
El equipo ejecuta lotes de cuatro consultas representativas, incluidas las que recuperan los fragmentos de manual más largos. Registra el pico de memoria de la GPU y el tiempo que tarda cada respuesta.
Cómo comprobarlo
Antes de habilitar el asistente, verifica que el pico medido cabe en los 24 GiB y que las respuestas llegan dentro del tiempo acordado.

¿Qué consultas debería resolver su asistente?

A partir de ejemplos de preguntas, fuentes documentales y tiempos de respuesta aceptables, diseñamos una prueba de inferencia con GPU NVIDIA y acordamos cómo evaluar las respuestas.

Consultar por mi proyecto de inferencia