Por qué no basta con una puntuación de toxicidad
Un foro de videojuegos y una plataforma para menores no deberían rechazar las mismas frases. Un solo número con un solo corte impone la tolerancia de una web a todas las demás. ToxicFilter puntúa quince categorías por separado, más los temas (apuestas, criptomonedas, falsificaciones) y los tipos de contacto en sus propios ejes, y cada una actúa solo en el umbral que le da la política. Los dos ejemplos de arriba que cambian de decisión son el mismo texto con la misma puntuación: lo único que se ha movido son los umbrales.
Cómo funciona una política de moderación
Una política guarda lo que has cambiado y nada más. Las categorías que no has tocado siguen nuestros valores, así que cuando estos mejoran, el cambio también te llega. Desactivar una categoría es ponerle un umbral por encima de 1: sigue puntuando y saliendo en la respuesta, pero nunca actúa. Junto a los umbrales están tus listas de palabras: las que se rechazan, las que hay que mirar y las que nunca se marcan, que se borran del texto antes de que busque nuestra propia lista. Una descripción de a qué se dedica tu negocio ayuda al modelo a juzgar qué está fuera de tema para ti. Los umbrales también pueden cambiar según la superficie, de modo que un perfil y un comentario tengan valores distintos con la misma política.
Plantillas según el tipo de negocio
Al crear una política eliges para qué es: una comunidad o un juego, un marketplace, un formulario de contacto, una app de citas, anuncios clasificados, un portal de empleo, reseñas, un producto de IA o una plataforma para menores. Los umbrales de la plantilla se copian en ese momento y a partir de ahí son reglas como cualquier otra. No se vuelve a consultar nada después, así que si cambiamos una plantilla, tu política sigue igual.
Modo sombra: probar una política con tráfico real
Antes de mover un umbral, la pregunta es qué habría hecho con lo de la semana pasada. Asigna una segunda política como sombra de la activa. Cada llamada se juzga con las dos, solo decide la activa y el registro guarda ambas decisiones, así que el panel te enseña en qué no coinciden durante el periodo que elijas de tu propio tráfico. Lo que encontró el modelo se reutiliza tal cual y solo se repiten las comprobaciones gratuitas, así que la prueba no duplica la factura. Las imágenes no se vuelven a juzgar, y nada más cambia: misma respuesta, mismo cobro, ningún webhook de más.
Versiones, registros y reglas en la llamada
Guardar una política crea una versión nueva. El slug y la versión vuelven en cada respuesta y se copian en cada registro, y la versión forma parte de la clave de la caché, así que un veredicto alcanzado con las reglas anteriores no se vuelve a servir. Un nombre que no existe es un 422, nunca una sustitución silenciosa. Si prefieres no configurar nada antes, rules en la petición lleva los umbrales solo para esa llamada; se registra como inline, y por eso una decisión que tengas que justificar más adelante debe salir de una política con nombre.
La reputación, con la correa corta
Una política puede dejar que el historial de una persona en el mismo proyecto mueva un poco los umbrales: como mucho 0,10, solo a partir de 20 veredictos, nunca entre cuentas distintas y siempre indicando el ajuste. Nunca activa ni desactiva un umbral, y un buen historial nunca relaja la protección de menores, las autolesiones, la violencia ni el odio, porque ganarse la confianza primero es justo el patrón que esas categorías existen para detectar.
