Moderation

POST /v1/moderations memeriksa teks dan gambar untuk konten berbahaya — pelecehan, kebencian, menyakiti diri sendiri, konten seksual, kekerasan — lalu mengembalikan flag dan skor untuk setiap kategori. Gunakan untuk menyaring input pengguna sebelum sampai ke aplikasi Anda atau ke model, atau untuk memeriksa output sebelum Anda menampilkannya.

Endpoint ini mengikuti format moderation OpenAI. Modelnya adalah openai-moderation (juga dikenal sebagai omni-moderation-latest), dan model ini digunakan saat Anda tidak menyertakan model.

Memeriksa teks

curl https://api.inferray.com/v1/moderations \
  -H "Authorization: Bearer $INFERRAY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"input": "I want to hurt someone."}'

const result = await client.moderations.create({
  model: "omni-moderation-latest",
  input: "I want to hurt someone.",
});

if (result.results[0].flagged) {
  // block, queue for review, or respond carefully
}

input dapat berupa string, array string (masing-masing menghasilkan satu hasil), atau array bagian yang mencampur text dan image_url:

{
  "input": [
    { "type": "text", "text": "Is this image OK to post?" },
    { "type": "image_url", "image_url": { "url": "https://example.com/upload.jpg" } }
  ]
}

Respons

{
  "id": "modr-...",
  "model": "openai-moderation",
  "results": [
    {
      "flagged": true,
      "categories": { "violence": true, "harassment": false, "self-harm": false },
      "category_scores": { "violence": 0.97, "harassment": 0.04, "self-harm": 0.01 }
    }
  ]
}

flagged bernilai true jika ada kategori yang bernilai true. Untuk ambang batas Anda sendiri, gunakan category_scores (0 hingga 1).

Harga

Moderation ditagih per request, dengan harga tetap yang rendah seperti yang tertera di halaman model.