Una sola llamada a la API te dice allow, review o block, y por qué: la categoría, el motivo explicado y las palabras que lo han provocado.
POST /v1/text
Así es casi todo el tráfico. Lo resuelven las comprobaciones gratuitas, sin pagar ningún modelo.
allow 7 ms
{
"decision": "allow",
"flagged": [],
"signals": [],
"used_ai": false,
"took_ms": 7
}Respuesta resumida: la real incluye además un id, tu reference, la política aplicada y los créditos cobrados.
POST /v1/text
Los asteriscos y los números no esconden una palabra: el texto se normaliza antes de buscar nada. Decir tacos e insultar son dos categorías distintas, cada una con su umbral.
block 1 ms
{
"decision": "block",
"flagged": [
"harassment",
"toxicity"
],
"scores": {
"harassment": 0.8,
"toxicity": 0.55
},
"signals": [
{
"category": "toxicity",
"score": 0.55,
"reason": "Contains 1 profanity, aimed at the reader. On its own this says the tone is casual, not that the content is abusive.",
"evidence": [
"mierda"
]
},
{
"category": "harassment",
"score": 0.8,
"reason": "Contains 1 insult(s), aimed at the reader.",
"evidence": [
"idiota"
]
}
],
"used_ai": false,
"took_ms": 1
}Respuesta resumida: la real incluye además un id, tu reference, la política aplicada y los créditos cobrados.
POST /v1/text con redact: true
Queda retenido en vez de rechazado, y el texto vuelve con el teléfono y la dirección ocultos, así que se puede publicar el resto del anuncio.
review 6 ms
{
"decision": "review",
"flagged": [
"personal_data"
],
"scores": {
"personal_data": 0.6
},
"signals": [
{
"category": "personal_data",
"score": 0.6,
"reason": "Contains an email address.",
"evidence": [
"marta.ruiz@gmail.com"
]
},
{
"category": "personal_data",
"score": 0.5,
"reason": "Contains what looks like a phone number.",
"evidence": [
"346••••••78"
]
}
],
"redacted": "Vendo mi bici, 120 euros. Llámame al [redacted] o escríbeme a [redacted]",
"used_ai": false,
"took_ms": 6
}Respuesta resumida: la real incluye además un id, tu reference, la política aplicada y los créditos cobrados.
POST /v1/text
Tres hallazgos distintos, cada uno explicado con su propia frase, en vez de una puntuación de spam que nadie sabe interpretar.
review 7 ms
{
"decision": "review",
"flagged": [
"spam"
],
"scores": {
"spam": 0.7
},
"signals": [
{
"category": "spam",
"score": 0.65,
"reason": "2 links in about 18 words: mostly links, barely a message.",
"evidence": [
"https://bit.ly/3xFree",
"https://t.me/freecash_vip"
]
},
{
"category": "spam",
"score": 0.7,
"reason": "Uses a link shortener, which hides where the link goes.",
"evidence": [
"https://bit.ly/3xFree"
]
},
{
"category": "spam",
"score": 0.55,
"reason": "Links to a chat invite or a free landing page, which is where promotion parks itself.",
"evidence": [
"https://t.me/freecash_vip"
]
}
],
"used_ai": false,
"took_ms": 7
}Respuesta resumida: la real incluye además un id, tu reference, la política aplicada y los créditos cobrados.
POST /v1/conversation
Ninguno de los mensajes es un problema por separado. La secuencia sí, y el motivo describe lo que ha ocurrido sin acusar a nadie.
block 15 ms
{
"decision": "block",
"flagged": [
"minor_safety"
],
"scores": {
"minor_safety": 0.9
},
"signals": [
{
"category": "minor_safety",
"score": 0.9,
"reason": "Somebody in this conversation has said they are 13. The other participant asked for it to be kept secret, asked for photographs. This needs a person now.",
"evidence": []
}
],
"used_ai": false,
"took_ms": 15
}Respuesta resumida: la real incluye además un id, tu reference, la política aplicada y los créditos cobrados.
POST /v1/conversation
No hace daño a nadie, así que se permite, pero se mide aparte: una regla en tu formulario de contacto puede descartar las propuestas de trabajar a cambio de participaciones.
allow 8 ms
{
"decision": "allow",
"flagged": [],
"leads": {
"free_work_for_equity": 0.9,
"no_budget": 0.45
},
"signals": [],
"used_ai": false,
"took_ms": 8
}Respuesta resumida: la real incluye además un id, tu reference, la política aplicada y los créditos cobrados.
POST /v1/prompt
Para el texto que va a entrar en tu propio modelo, donde estas palabras no son una opinión, sino una orden.
block 8 ms
{
"decision": "block",
"flagged": [
"prompt_injection"
],
"scores": {
"prompt_injection": 0.87
},
"signals": [
{
"category": "prompt_injection",
"score": 0.87,
"reason": "Reads as an attempt to give the model orders: tells the model to disregard the instructions it was given. names a known jailbreak.",
"evidence": [
"ignora todas las instrucciones",
"modo desarrollador"
]
}
],
"used_ai": false,
"took_ms": 8
}Respuesta resumida: la real incluye además un id, tu reference, la política aplicada y los créditos cobrados.
Cada tipo de daño tiene su puntuación y su umbral, porque un insulto y una amenaza no son el mismo problema, y lo que una web rechaza, otra lo publica.
Spam
spam
Retiene a partir de 0,50 Rechaza a partir de 0,80
Toxicidad
toxicity
Retiene a partir de 0,45 Nunca rechaza
Acoso
harassment
Retiene a partir de 0,45 Rechaza a partir de 0,80
Discurso de odio
hate
Retiene a partir de 0,40 Rechaza a partir de 0,70
Contenido sexual
sexual
Retiene a partir de 0,45 Rechaza a partir de 0,75
Violencia
violence
Retiene a partir de 0,40 Rechaza a partir de 0,75
Autolesiones
self_harm
Retiene a partir de 0,30 Nunca rechaza
Estafa
scam
Retiene a partir de 0,45 Rechaza a partir de 0,75
Datos personales
personal_data
Retiene a partir de 0,45 Rechaza a partir de 0,95
Elusión del filtro
evasion
Retiene a partir de 0,50 Rechaza a partir de 0,85
Texto sin sentido
gibberish
Retiene a partir de 0,60 Nunca rechaza
Idioma fuera de lugar
off_topic
Retiene a partir de 0,50 Nunca rechaza
Acercamiento a menores
minor_safety
Retiene a partir de 0,35 Rechaza a partir de 0,85
Inyección de prompt
prompt_injection
Retiene a partir de 0,40 Rechaza a partir de 0,75
Tus propias reglas
policy
Retiene a partir de 0,50 Rechaza a partir de 0,80
Cuatro categorías nunca rechazan por sí solas, sea cual sea la puntuación, y por dos razones distintas. Borrar una publicación sobre autolesiones deja fuera justo a quien pedía ayuda, y una discusión que se ha calentado sigue siendo una conversación: esas se retienen para que alguien las lea. El texto sin sentido y el idioma equivocado no hacen daño a nadie, así que solo se informan. Cada cifra es nuestro punto de partida, y puedes cambiar cualquiera, por categoría y según dónde se publique.
POST /v1/image
El modelo lee el texto que aparece en una imagen en la misma llamada en la que la analiza, y ese texto pasa por las mismas comprobaciones que un comentario: el teléfono de un folleto, el insulto de una pancarta, tus palabras prohibidas en una captura de pantalla. Una imagen que ya se rechazó se reconoce la siguiente vez por un solo crédito.
shadow_slug
Pon una segunda política a funcionar en paralelo con la que está activa: se calculan los dos veredictos, solo uno decide, y el panel te enseña en qué no coinciden con tu propio tráfico. La prueba nunca cuesta una llamada al modelo.
moderation.resolved
Todo lo que vuelve como review espera en una cola, en tu panel o por la API. Cuando lo apruebas, un webhook firmado avisa a tu web para que lo publique, así que lo que decides aquí llega a donde tiene que llegar.
statement
Cada bloqueo puede incluir la declaración de motivos que el artículo 17 del Reglamento de Servicios Digitales te obliga a darle al autor: qué se ha hecho, qué norma tuya ha incumplido (citada en la versión vigente), si la decisión fue automática y cómo recurrirla. En ocho idiomas y lista para enviar, con recursos que resuelve una persona y el envío a la Comisión cuando lo necesites.
Inglés, español, portugués, francés, italiano, alemán, catalán y neerlandés tienen listas de palabras que se aplican gratis en cada llamada. El modelo entiende muchos más, y tus propios términos sirven en cualquier idioma.
Es lo que tardan las comprobaciones gratuitas en resolverlo, que es casi todo el tráfico, y es lo que indica la respuesta en took_ms. El modelo solo entra cuando esas comprobaciones dejan la duda abierta, y solo entonces lo pagas.
Cambia cualquier umbral por categoría y según dónde se publique, añade tus propias palabras y guárdalo como una política con versiones, o envía rules en la llamada y solo se aplicará eso. Cada veredicto indica qué política y qué versión lo produjeron.
Python, PHP y JavaScript, con los mismos nombres en los tres y sin dependencias. Documentación de los SDK.
pip install toxicfilter-sdkCódigo en GitHub
from toxicfilter import Client
tf = Client("tf_live_...")
verdict = tf.text(comment, locales=["en"])
if verdict.blocked:
refuse()
elif verdict.needs_review:
hold(verdict.id, verdict.reasons)
else:
publish()composer require edulazaro/toxicfilter-sdkCódigo en GitHub
use ToxicFilter\Client;
$tf = new Client('tf_live_...');
$verdict = $tf->text($comment, [
'locales' => ['en'],
]);
if ($verdict->blocked()) {
return refuse();
}
if ($verdict->needsReview()) {
return hold($verdict->id());
}
publish();npm install toxicfilter-sdkCódigo en GitHub
import ToxicFilter from 'toxicfilter-sdk'
const tf = new ToxicFilter('tf_live_...')
const verdict = await tf.text(comment, {
locales: ['en'],
})
if (verdict.blocked) return refuse()
if (verdict.needsReview) {
return hold(verdict.id, verdict.reasons)
}
publish()Una comprobación es un crédito; si interviene el modelo, se suma lo que lea.
2.000 créditos al mes
Equivale a unas
2.000 comprobaciones instantáneas
250 comentarios leídos por el modelo
200 imágenes
25.000 créditos al mes
Equivale a unas
25.000 comprobaciones instantáneas
3.125 comentarios leídos por el modelo
2.500 imágenes
El más elegido
150.000 créditos al mes
Equivale a unas
150.000 comprobaciones instantáneas
18.750 comentarios leídos por el modelo
15.000 imágenes
750.000 créditos al mes
Equivale a unas
750.000 comprobaciones instantáneas
93.750 comentarios leídos por el modelo
75.000 imágenes
Una comprobación cuesta 1 crédito. Si la lee el modelo, se suman los tokens que haya usado: unos 8 créditos por un comentario y unos 10 por una imagen. Qué incluye cada plan y qué no se cobra nunca.
2.000 créditos al mes en el plan gratuito, sin tarjeta. Suficiente para pasarle una semana de tus comentarios y ver qué opina de ellos.