Metodología
Solo cifras medidas
Cada número de esta página sale de una ejecución real del motor completo sobre datasets públicos, con fecha y versión. Si no está medido, no se publica.
- Versión del motor
adarve-l1@2026.10.2+l2-onnx[deberta-pi-v2+horizon-pi+e5-small-cmknn4496]- Fecha
- 12 de octubre de 2026
| Conjunto de evaluación | umbral 0.8 | umbral 0.5 | ||
|---|---|---|---|---|
| Recall | Falsos positivos | Recall | Falsos positivos | |
| Adarve curated ES/EN80 textos · CC0-1.0 | 90 % | 2,5 % | 100 % | 5 % |
| deepset/prompt-injections (test)116 textos · Apache-2.0 | 25 % | 0 % | 58,3 % | 0 % |
| Lakera/gandalf_ignore_instructions (test)112 textos · MIT | 98,2 % | — | 99,1 % | — |
| jackhhao/jailbreak-classification (test)262 textos · Apache-2.0 | 86,3 % | 0,8 % | 91,4 % | 1,6 % |
| SPML Chatbot Prompt Injection (1k slice)999 textos · MIT | 36 % | 0 % | 80 % | 1 % |
Cómo leer la tabla
- Recall: proporción de ataques que superan el umbral. Falsos positivos: proporción de textos benignos que lo superan.
- 0,5 es el punto de trabajo recomendado: los falsos positivos se mantienen en un 5 % o menos en todos los conjuntos. 0,8 solo marca ataques casi seguros: un 2,5 % o menos de falsos positivos, con menos recall.
- deepset es el caso difícil: ataques sutiles, a menudo en alemán. Es nuestra principal línea de mejora, y la página del Motor muestra la diferencia con honestidad junto a la referencia pública.
Limitaciones honestas
- El clasificador de ProtectAI se entrenó con datasets públicos que podrían solaparse con estos conjuntos de prueba. La memoria de ataques usa solo splits de entrenamiento y excluye cualquier texto presente en la evaluación.
- El conjunto ES/EN lo escribió el mismo autor que las firmas de la capa 1: su recall de capa 1 es optimista.
- Todavía no publicamos latencias: no se han medido en el hardware de producción.
- Ningún detector es inmune a ataques adaptativos. Adarve devuelve una puntuación, no una garantía.
Componentes del motor
- Normalisation, bounded de-obfuscation, multilingual signatureslayer 1deterministic
- Transformer prompt-injection classifier ensemble (ONNX, CPU)layer 2sliding windows
- Multilingual embeddings + labelled attack memory (7 languages)layer 2kNN margin
Reprodúcelo
La herramienta de evaluación ejecuta el código de producción de la capa 1 y la capa 2 y los combina exactamente igual que la API. Cada cifra publicada indica dataset, fecha y versión del motor.