LlamaIndex

LlamaIndex terhubung ke Inferray melalui class yang kompatibel dengan OpenAI. OpenAILike menerima ID model apa pun, sehingga Claude, Gemini, dan model open-weight semuanya dapat digunakan.

pip install llama-index llama-index-llms-openai-like llama-index-embeddings-openai

Model chat

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="claude-sonnet-4-6",
    api_base="https://api.inferray.com/v1",
    api_key=os.environ["INFERRAY_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=1000000,
)

print(llm.complete("Summarise the CAP theorem in one sentence."))

Atur context_window ke panjang konteks model dari katalog, agar LlamaIndex menentukan ukuran prompt dengan benar. is_function_calling_model=True memungkinkan agent menggunakan tool pada model yang mendukungnya.

Embedding dan indeks

from llama_index.core import Settings, SimpleDirectoryReader, VectorStoreIndex
from llama_index.embeddings.openai import OpenAIEmbedding

Settings.llm = llm
Settings.embed_model = OpenAIEmbedding(
    model_name="text-embedding-3-small",
    api_base="https://api.inferray.com/v1",
    api_key=os.environ["INFERRAY_API_KEY"],
)

documents = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(documents)
print(index.as_query_engine().query("How do I rotate an API key?"))

Proses indexing maupun query ditagihkan ke key yang Anda gunakan, dan muncul di log Anda.