LlamaIndex

LlamaIndex se conecta a Inferray mediante sus clases compatibles con OpenAI. OpenAILike acepta cualquier ID de modelo, así que Claude, Gemini y los modelos open-weight funcionan sin problema.

pip install llama-index llama-index-llms-openai-like llama-index-embeddings-openai

Modelo de chat

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="claude-sonnet-4-6",
    api_base="https://api.inferray.com/v1",
    api_key=os.environ["INFERRAY_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=1000000,
)

print(llm.complete("Summarise the CAP theorem in one sentence."))

Asigna a context_window la longitud de contexto del modelo que aparece en el catálogo, para que LlamaIndex dimensione sus prompts correctamente. is_function_calling_model=True permite que los agentes usen herramientas en los modelos que las admiten.

Embeddings y un índice

from llama_index.core import Settings, SimpleDirectoryReader, VectorStoreIndex
from llama_index.embeddings.openai import OpenAIEmbedding

Settings.llm = llm
Settings.embed_model = OpenAIEmbedding(
    model_name="text-embedding-3-small",
    api_base="https://api.inferray.com/v1",
    api_key=os.environ["INFERRAY_API_KEY"],
)

documents = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(documents)
print(index.as_query_engine().query("How do I rotate an API key?"))

Tanto la indexación como las consultas se cobran a la clave que uses y aparecen en tus logs.