Langsung ke konten

Dari Vercel AI Gateway

Inferray menggunakan protokol yang sama dengan provider gateway AI SDK, sehingga aplikasi yang dibangun di atas Vercel AI Gateway dapat dipindahkan tanpa mengubah pemanggilan modelnya.

Aplikasi yang menggunakan string model polos

Jika kode Anda meneruskan string seperti model: "anthropic/claude-sonnet-4.6", AI SDK mengirimkannya melalui provider gateway default-nya. Arahkan ulang provider tersebut satu kali, sebelum pemanggilan model pertama — di instrumentation.ts atau entri server Anda:

import { createGateway } from "@ai-sdk/gateway";

globalThis.AI_SDK_DEFAULT_PROVIDER = createGateway({
  baseURL: "https://api.inferray.com/v3/ai",
  apiKey: process.env.INFERRAY_API_KEY,
});

Gunakan /v1/ai untuk AI SDK 5, /v3/ai untuk AI SDK 6, dan /v4/ai untuk AI SDK 7.

Lalu ubah string model menjadi ID Inferray, yang tidak memiliki prefiks provider: anthropic/claude-sonnet-4.6 menjadi claude-sonnet-4-6, openai/gpt-5.5 menjadi gpt-5.5. Halaman model memuat semua ID.

Aplikasi yang menggunakan endpoint yang kompatibel dengan OpenAI

 const client = new OpenAI({
-  baseURL: "https://ai-gateway.vercel.sh/v1",
-  apiKey: process.env.AI_GATEWAY_API_KEY,
+  baseURL: "https://api.inferray.com/v1",
+  apiKey: process.env.INFERRAY_API_KEY,
 });

Apa yang berubah

  • providerOptions.gateway (urutan provider dan allowlist) tidak didukung; hapus parameter tersebut.
  • gateway.getAvailableModels() mencantumkan model teks Inferray beserta harganya, dan gateway.getCredits() mengembalikan saldo Anda.
  • Setiap respons melaporkan biaya yang ditagihkan dalam usage.cost (penggunaan dan biaya), dan setiap permintaan muncul di log dan analitik.

Lihat Vercel AI SDK untuk cara terhubung lainnya, termasuk provider yang kompatibel dengan OpenAI dan Anthropic.