Desarrollo de soluciones de inferencia con GPU NVIDIA
Desarrollamos asistentes que consultan documentos internos y ejecutan el modelo en su infraestructura. Con consultas representativas, evaluamos cuántas solicitudes puede procesar la GPU a la vez y cuánto espera cada usuario.
¿Qué lote cabe en la memoria de la GPU?
Esta simulación de inferencia usa cifras hipotéticas. Reserva 12 GiB para el modelo, 2 GiB para el motor y 1,5 GiB por solicitud. Todas las solicitudes tienen la misma cantidad de tokens.
El lote cabe en la GPU. Quedan 4 GiB libres con las condiciones del ejemplo.
- Memoria disponible24 GiB
- Tamaño del lote4 solicitudes
- Memoria necesaria20 GiB
Ejemplo práctico
Cuatro consultas a los manuales internos en un mismo lote
En este ejemplo hipotético, un equipo diseña un asistente que responde preguntas sobre manuales internos. Dispone de 24 GiB de memoria en una GPU NVIDIA y necesita fijar un límite de solicitudes por lote antes de habilitar el servicio.
Cargar el modelo · 14 GiB de base
- Qué ocurre
- El cálculo reserva 12 GiB para los pesos del modelo y 2 GiB para el motor de inferencia. Quedan 10 GiB para las solicitudes.
- Cómo comprobarlo
- Al cargar el modelo sin consultas, el equipo puede medir el consumo inicial y contrastarlo con los 14 GiB previstos.
Elegir el lote · 4 consultas
- Qué ocurre
- Con una reserva hipotética de 1,5 GiB por consulta, cuatro solicitudes necesitan 20 GiB en total. Ocho necesitarían 26 GiB y superarían la memoria disponible.
- Cómo comprobarlo
- El equipo elige el lote de cuatro para la prueba y registra un margen estimado de 4 GiB.
Validar la carga · Memoria y latencia
- Qué ocurre
- El equipo ejecuta lotes de cuatro consultas representativas, incluidas las que recuperan los fragmentos de manual más largos. Registra el pico de memoria de la GPU y el tiempo que tarda cada respuesta.
- Cómo comprobarlo
- Antes de habilitar el asistente, verifica que el pico medido cabe en los 24 GiB y que las respuestas llegan dentro del tiempo acordado.
¿Qué consultas debería resolver su asistente?
A partir de ejemplos de preguntas, fuentes documentales y tiempos de respuesta aceptables, diseñamos una prueba de inferencia con GPU NVIDIA y acordamos cómo evaluar las respuestas.
Consultar por mi proyecto de inferencia