Falsos positivos en moderación: cómo medirlos y reducirlos

Un falso positivo en moderación es un contenido legítimo que acaba bloqueado. A primera vista parece poca cosa: un mensaje rebota, el usuario lo edita y sigue. En la práctica, los falsos positivos son la principal causa de reacciones negativas a un sistema de moderación, porque afectan a la gente equivocada: tus mejores usuarios.

Los spammers no se quejan cuando los bloquean. El miembro más implicado de tu comunidad sí se quejará, y mucho, cuando su publicación más sentida se marque como discurso de odio. Y con razón.

Por qué los falsos positivos importan más de lo que crees

• Daño asimétrico. Un mensaje tóxico que se escapa molesta a su destinatario. Un falso positivo con un usuario fiel le hace dudar de si la plataforma le entiende. Lo uno es un mal día; lo otro rompe la relación.
• Coste de soporte. Cada falso positivo es una incidencia de soporte, una reclamación y tiempo de personal. A cierto volumen, es una partida real del presupuesto.
• Incentivos perversos. Si los usuarios legítimos aprenden a "suavizar" su lenguaje para esquivar el filtro, ya no estás moderando, estás cambiando cómo habla la gente.

Medir los falsos positivos con honestidad

No puedes reducir lo que no mides. Y la métrica que parece la buena, la "tasa de reclamaciones", es una trampa. La mayoría de los usuarios bloqueados injustamente simplemente se van; no reclaman.

El enfoque de referencia es el muestreo estratificado:

1. Cada semana, toma una muestra de N elementos marcados por categoría (recomendamos 100 por categoría como mínimo).
2. Haz que dos revisores independientes etiqueten cada elemento como infracción real o no.
3. Calcula la precisión = (verdaderos positivos) / (verdaderos positivos + falsos positivos).
4. Desglosa por tramo de confianza (0,5 a 0,6, 0,6 a 0,7, 0,7 a 0,8, 0,8 a 0,9, 0,9 a 1,0).

El último paso es el que lo cambia todo. Casi siempre te encontrarás con que:

• Por encima de 0,9 de confianza, la precisión es del 98% o más. Puedes aplicar la decisión automáticamente.
• Entre 0,7 y 0,9, la precisión baja a entre el 85% y el 92%. A la cola de revisión humana.
• Entre 0,5 y 0,7, la precisión suele quedar por debajo del 75%. No apliques la decisión; relégalo o márcalo.

Reducir los falsos positivos en la práctica

1. Ajusta los umbrales por categoría, no de forma global

El spam y el discurso de odio tienen frecuencias de base distintas y funciones de coste distintas. Un único umbral que funciona para la "toxicidad" se disparará de más en una y de menos en otra. Cada categoría necesita su propio ajuste.

2. Añade una "segunda opinión" para los casos límite

Para los elementos en la zona gris (0,5 a 0,8), haz una segunda comprobación con otro modelo o un prompt más estricto. Cuando dos modelos independientes coinciden, la precisión sube de forma notable. Cuando no coinciden, acabas de encontrar tu cola de revisión humana.

3. Aprovecha lo que aprendes

Cada falso positivo confirmado por tus revisiones humanas vale oro. ToxicFilter recoge feedback sobre cada veredicto (correcto, falso positivo, falso negativo) y lo guarda junto al veredicto. No entrena ningún modelo a medida con él: lo que te dice el feedback es qué umbral de qué categoría mover en tu política, y de ahí sale la mayor parte de la reducción.

4. Listas de permitidos según el contexto

Hay palabras que en ciertos contextos están bien. En los foros médicos se habla del suicidio con toda legitimidad; en los chats de videojuegos se dice "matar" con toda legitimidad; en las comunidades que reivindican su identidad se usan insultos reapropiados. Las listas de permitidos limitadas a la comunidad o al canal son mucho más seguras que las excepciones globales de palabras clave.

5. Ofrece a los usuarios una vía de reclamación rápida y honesta

"Tu mensaje se ha bloqueado. Si crees que es un error, toca aquí." Con un plazo de 24 horas. La mera existencia de una vía de reclamación reduce la frustración incluso cuando el usuario no la usa: transmite buena fe.

El equilibrio del que nadie te habla

Toda táctica que reduce los falsos positivos también reduce los falsos negativos de forma menos eficiente. Puedes mover el punto de operación sobre la curva ROC, pero no puedes llevar los dos a cero. Llega un momento en que la pregunta se vuelve filosófica: ¿priorizas cazar el contenido dañino o no perjudicar nunca a los buenos usuarios?

La respuesta honesta: depende de la categoría. Para el CSAM y la violencia explícita aceptamos tasas altas de falsos positivos, porque el coste de un falso negativo es catastrófico. Para las palabrotas leves aceptamos muchos falsos negativos, porque el coste de un falso positivo (molestar a un usuario) es alto en relación con el daño.

Los equipos que lo hacen bien dejan claros estos equilibrios, categoría por categoría, y los documentan. Los que no, acaban tarde o temprano en una sala de juntas o en un juzgado explicando su "estrategia de moderación con IA", y dándose cuenta de que en realidad no tenían ninguna.