Los resultados de las pruebas independientes de antivirus de 2014

En Kaspersky Lab estamos siempre en ello. Seguir mejorando, esto es. Nuestra investigación, desarrollo, productos, colaboradores… sí – todo esto. Pero para que todos sigamos mejorando – y en la dirección correcta – necesitamos trabajar hacia un objetivo común, nuestra misión.

La nuestra es salvar el mundo de todo tipo de ciberamenazas. Pero ¿cómo de bien hacemos esto? Después de todo, muchos, si no todos los vendedores de antivirus tienen una declaración de objetivos similar. Así que lo qué nosotros y – más importante – los usuarios necesitan saber es cómo de bien desempeñamos nuestra misión – comparado con el resto…

Para hacer esto, se utilizan varias medidas. Una de las más importantes es el análisis de la calidad de los productos y las tecnologías por parte de diferentes laboratorios independientes de pruebas. Es realmente simple: cuanto mejor sea el resultado de este o aquel – o todos – los criterios, mejor será nuestra tecnología al combatir las ciberinfecciones – para objetivamente salvar mejor el mundo:).

La cuestión es que, al margen de las cientos de pruebas que se desarrollan en los centros de pruebas independientes alrededor del mundo, ¿cuál debería utilizarse? Quiero decir, ¿cómo pueden ser clasificados y perfeccionados los datos para dejar de ser difíciles, es decir – resultados fáciles de entender y comparar? También existe el problema de que no solo hay cientos de laboratorios de pruebas, sino que también hay cientos de vendedores de antivirus, así que otra vez, ¿cómo podemos cribar – para separar el trigo de la paja y solo comparar el mejor trigo? Aún hay otro problema (en realidad no es tan complejo, lo prometo – ya lo verás :)) – aquel test de resultados parcial o selectivo, que no da la imagen entera – lo que hace la publicidad y el marketing desde siempre.

Bien, adivina qué. Hace unos años ideamos la siguiente fórmula para evaluar los antivirus de forma accesible, precisa y honesta: la clasificación top-3.

¿Y cómo funciona?

Primero, debemos asegurarnos de que hemos incluido los resultados de todos los laboratorios de pruebas independientes conocidos y respetados de sus comparativas investigaciones sobre la protección anti-malware en un período de tiempo determinado.

En segundo lugar, necesitamos incluir todos los distintos tipos de prueba de las muestras clave elegidos– y de todos los vendedores participantes.

En tercer lugar, necesitamos tener en cuenta (i) el número total de pruebas en las que el vendedor participó; (ii) el % de ‘medallas de oro’; y (iii) el % de los puestos top-3.

Lo que obtenemos es simplicidad, transparencia, significativo de cribar, y ninguna ‘prueba de marketing’ distorsionada (si es que tal cosa existe). Por supuesto será posible añadir a la matriz, aproximadamente, 25.000 parámetros – solo por el 0,025% extra de objetividad, pero esto solo será para la satisfacción de narcisistas y otros apasionados de la tecnología, e indudablemente perderemos el usuario medio… y tal vez los que están por debajo de la media también.

En resumen: utilizamos un período específico para tomar en cuenta todos los tests de todos los laboratorios de pruebas – de todos los vendedores – y no dejar nada (como resultados pobres en este o aquel test) – y por supuesto eso también ocurre en Kaspersky Lab.

Muy bien. La teoría ha terminado. Ahora vamos a aplicar esta metodología en el mundo real- en 2014.

• Primero, unos detalles y cláusulas para los apasionados de la tecnología. Literalmente, la letra pequeña:
  En 2014 hubo el estudio comparativo de ocho laboratorios de pruebas (con años de experiencia, el requisito tecnológico (vi algunos por mí mismo)– tanto para los vendedores como para las distintas tecnologías protectoras, y todos miembros de AMTSO): AV-Comparatives, AV-Test, Anti-malware, Dennis Technology Labs, MRG EFFITAS, NSS Labs, PC Security Labs y Virus Bulletin. Encontrarás una explicación detallada de la metodología – en este vídeo y este documento.
• Solo se tuvieron en cuenta los vendedores que participaron en más del 35% de las pruebas. Si no sería posible tener un ‘ganador’ que lo hizo bien en solo unas cuantas pruebas, pero que no lo hizo considerablemente bien en la mayoría – si hubiera participado en ellas (aquí es donde filtramos las pruebas falsas de marketing).

Analizando los resultados de las pruebas en 2014, obtenemos….

…Redoble de tambores…

…bocas abiertas…

…conteniendo la respiración…

…¡obtenemos esto!:

En el eje X tenemos el número de pruebas en las que un vendedor participó. En el eje Y encontramos el porcentaje de las posiciones top-3 de cada vendedor sobre todos los resultados. El diámetro del círculo es el número de medallas de oro.

Bien, bien, bien. Mira esto amigo.

(En pocas palabras – para cínicos por naturaleza: antes de decir ‘ah, pero por supuesto’, vuelve a leer la metodología que escribí antes. Si tienes preguntas, comentarios u objeciones, vamos a comentarlo debajo.

Solo tengo una cosa que decir a aquellos resultados que han ganado medalla de oro: felicitar a nuestro departamento I+D y a todo el resto de trabajadores de Kaspersky Lab que nos ayudaron a ganar el campeonato. También felicitar a nuestros colaboradores, clientes, contratistas, amigos, novias, toda la familia y parientes, mi productor y director, y por supuesto dios. ¡Os felicito a todos por esta espectacular, merecedora y sorprendente victoria! ¡Sigamos con el buen trabajo y sigamos salvando el mundo! ¡Hurra!

¡Pero esto no es todo! Todavía quedan por llegar: el postre – para los expertos más perspicaces de la industria del antivirus…

El método que he descrito antes ha sido utilizado durante tres años. Funciona. Una razón por la que funciona particularmente es por la habilidad de ocuparse de la crítica ‘todas las marcas de detergente en polvo son iguales’. Sí, la opinión de que todos los antivirus son iguales en términos del nivel de protección y la funcionalidad está aún viva y coleando.

• Ahora hay más pruebas (en 2013 los vendedores participaron en una media de 50 pruebas, y en 2014 en 55), y ganar se volvió más difícil (el promedio de errores en el top-3 de las pruebas se ha reducido del 32% al 29%).
• Tres vendedores cayeron considerablemente de la clasificación del top-3: Symantec (-28%), F-Secure (-25%) y Avast (-19%).
• Otros tres vendedores hicieron lo opuesto: la clasificación de top-3 incrementó para Trend Micro (+16%), ESET (+12%) y Panda (+11%).
• Curiosamente, la posición relativa entre un vendedor y otro no ha cambiado mucho. Solo dos vendedores mejoraron sus puestos en la top-3 con más de 5 puntos de porcentaje. Esto indica que la calidad de protección está determinada no solo por las marcas, sino por los años dedicados a investigar minuciosamente y crear tecnología innovadora; robar marcas no te lleva a ninguna parte.
• Para las pruebas de antivirus de más nivel: los siete primeros ganadores del top-3 tuvieron por doble tantos premios como los 13 restantes (240 aciertos contra 115) y obtuvieron el 63% de las medallas de oro. Ah, y el 19% de las medallas de oro fueron para un solo vendedor – adivina cuál.

El lector detallista se preguntará: ¿la incorporación de estadísticas de otros laboratorios de pruebas afectará los resultados?

La respuesta – teóricamente todo es posible. Existen teorías alternativas de la gravedad y hay geometría hiperbólica que reta a la geometría euclidiana. Todo es posible. Sin embargo, probablemente significaría que los laboratorios de pruebas desconocidos con resultados cuestionables, o sus resultados adicionales a las estadísticas totales no cambiarían toda la imagen. ¡La magia de los números grandes!

Y… la conclusión principal:

Las pruebas son uno de los criterios más importantes para elegir la protección. Después de todo, la mayoría de los usuarios creerán más en una fuente acreditada independiente que en un bonito folleto, el cual, seamos realistas, siempre asegura ser el mejor. Todos los vendedores entienden esto bien, pero cada uno trata el problema basándose en su habilidad tecnológica. Algunos tienden a preocuparse mucho por la calidad, constantemente perfeccionando la protección, mientras que otros manipulan los resultados: un solo certificado de cumplimiento en un año, la medalla orgullosamente abrochada en la solapa, y piensan que son aspirantes. No. Lo siento. No lo son. Necesitamos toda la imagen, por favor, no solo para poder juzgar en ciertos resultados de prueba, sino también el grado de participación.

Por esto, se recomienda a los usuarios no elegir la protección a la ligera – y no permitir el engaño:).

¿Cómo identificar los antivirus que lo hicieron mejor en las pruebas? Mira la clasificación top-3 de @kasperskyTweet

Esto es todo por esta semana amigos. Hasta pronto…