Open WebUI
Open WebUI es una interfaz de chat autoalojada. Agrega Inferray como conexión OpenAI y todos los modelos del catálogo aparecerán en su selector de modelos.
En la configuración de administración
- Abre Admin Panel → Settings → Connections.
- En OpenAI API, agrega una conexión.
- Configura la URL como
https://api.inferray.com/v1y la clave con tu clave de Inferray. - Guarda. Open WebUI carga la lista de modelos desde
GET /v1/models.
Para mantener el selector corto, agrega los IDs de modelo que quieras a la lista de modelos permitidos de la conexión.
Con variables de entorno
Al iniciar el contenedor:
docker run -d -p 3000:8080 \
-e OPENAI_API_BASE_URL="https://api.inferray.com/v1" \
-e OPENAI_API_KEY="inferray_..." \
-v open-webui:/app/backend/data \
--name open-webui ghcr.io/open-webui/open-webui:main
Notas
- La carga de imágenes funciona con los modelos que aceptan imágenes.
- Cada chat se factura al proyecto de la clave. Crea una clave dedicada para Open WebUI para que su uso sea fácil de encontrar en analytics.