Mayo 9, 2013
Un paso adelante y dos atrás
“Todo debería suceder de forma lenta, pero, si no nos volvemos engreídos, seguimos estando confusos y siendo miserables”.
Nunca pensé que iba utilizar esta cita en un post sobre la industria antivirus, pero encaja a la perfección. Ya sabréis que no todo en este mundo avanza como debería. La realidad económica y la necesidad de conseguir nuevos clientes hace que salga nuestro lado más oscuro. En esta ocasión, uno de los laboratorios más famosos de la industria antivirus -AV-TEST- ha sucumbido a la tentación.
Testing comparativo: bases para principiantes
¿Cómo sabéis cuáles son las mejores funciones de un producto? Y ¿Cómo sabéis que es el mejor? Me imagino que empezaréis cotejando los resultados de un test comparativo en un revista especializada del sector. Esto no es nada nuevo. Pues lo mismo sucede con las soluciones antivirus. Existe un gran número de laboratorios que evalúan y comparan un sinfín de productos antivirus para publicar, posteriormente, los resultados.
En cambio, por alguna razón desconocida (a continuación intentaré adivinar el por qué) el famoso laboratorio alemán AV-TEST ha modificado (sin avisar) su proceso de certificación. Así, los certificados, que se emiten siguiendo nuevos criterios, son inútiles a la hora de medir los méritos de los diferentes productos antivirus.
¡Eso es! Declaro oficialmente que el certificado de AV-TEST de soluciones antivirus para usuarios domésticos no compara adecuadamente la calidad del producto. En otras palabras, no recomiendo usar su listado de certificados como guía para escoger una solución de seguridad que proteja los equipos domésticos. Es natural pensar que dos productos que tengan el mismo certificado deben ofrecer el mismo rendimiento. Con los nuevos estándares de certificación de AV-TEST, la responsabilidad recae en el usuario, que tiene que investigar, en detalle, los resultados de cada test. Así, se encontrará que un producto que bloquea el 99,9% de los ataques tiene el mismo “certificado” que un producto que sólo bloquea el 55%.
Echemos un vistazo a lo que está sucediendo y el por qué, interpretando los resultados de AV-TEST.
Ya se ideó, hace tiempo, la fórmula perfecta para una solución antivirus. Era algo como esto:
- 100% protección y 0% de falsos positivos.
- Cero impacto en los recursos del sistema.
- Sin preguntas para los usuarios.
(4. Y algo totalmente utópico… que fuera gratuito).
Obviamente, esta idea es insostenible, pero, al menos, podemos aspirar a acercarnos lo más posible a lo siguiente:
- Capturar el mayor número posible de programas maliciosos y ser capaces de tratar la infección (e instalar una protección en un equipo ya infectado).
- Reducir los falsos positivos y si los hay, eliminarlos lo antes posible.
- “Nuestra integral no conoce límites”, como dice un buen amigo mío. No existen límites a la hora de optimizar el uso de la memoria del sistema o el número y el tamaño de las actualizaciones en Internet. Por supuesto, ninguno de estos factores puede influir en el nivel de seguridad.
Esto parece muy claro y directo. Pero, ¿qué compara un usuario medio cuando busca entre docenas de productos antivirus? ¿Cuál es el mejor y por qué? ¿Quién es capaz de crear un ranking de productos según la fórmula del antivirus perfecto? (Recordad que todos los productos se venden a sí mismos como los mejores del mercado).
Entonces, ¿en quién podemos confiar para que nos diga la verdad? En los evaluadores independientes, por supuesto. Y entre ellos se incluye AV-TEST.
Hace unos años, el equipo de AV-TEST creó un método muy bueno para evaluar los productos. Para que estos se ganasen el certificado, necesitaban funcionar perfectamente en cada categoría. Los productos se evaluaban según estos tres criterios:
- PROTECCIÓN (prevención de infecciones).
- REPARACIÓN (eliminación de los virus en un equipo).
- USABILIDAD (facilidad de uso, rendimiento y número de falsos positivos).
Se emitían los certificados basándose en los resultados y los puntos acumulados. Nosotros apoyábamos este sistema y lo considerábamos un ejemplo para otros evaluadores de la “Premier League” de los test comparativos.
¿Qué cambios han habido en AV-TEST? ¿Por qué ya no se puede confiar en su sistema de cerfificación?
En primer lugar, han cambiado los criterios a cumplir para obtener un certificado. El parámetro REPARACIÓN se ha descartado. ¿Qué sentido tiene que un antivirus detecte un virus pero no sea capaz de tratarlo? (Os pongo un ejemplo con un dentista: “Te ha caído un diente pero no te lo podemos arreglar”). Hace poco descubrimos que el 5% de todos los equipos del mundo estaban infectados. ¡Uno de cada 20! Por supuesto, un producto antivirus capaz de eliminar la infección es muy importante para millones de usuario en el planeta.
AV-TEST ha prometido crear un test de REPARACIÓN por separado… pero no influirá en los resultados de las certificaciones y será opcional. Si un proveedor de seguridad tiene dudas sobre la calidad de su producto a la hora de eliminar un virus, optará por no participar en este test. Al menos, los consumidores podrán saber quién sí participa en esta evaluación y conocer los resultados, siendo un buen indicador a la hora de escoger un antivirus que proteja su equipo.
En segundo lugar, se ha bajo el listón. Sólo son necesarios10 puntos de los 18 posibles para obtener el “galardón”.
Y por último, a partir de ahora la USABILIDAD solo medirá los falsos positivos. Hay gran diferencia entre la usabilidad y la usabilidad que solo tiene en cuenta el rendimiento. Teniendo en cuenta los nuevos criterios de AV-TEST, los falsos positivos deberían incluirse en la categoría PROTECCIÓN como contrarresto (algo que hacen la mayoría de los laboratorios).
¿Cuáles son las consecuencias de este cambio repentino en el proceso de certificación de AV-TEST?
Lo primero y más importante, los certificados estarán devaluados. El número de participantes en el test aumentará, ya que muchos proveedores antivirus no solían participar en estas pruebas porque sabían que no tenían oportunidad de obtener el certificado. Ahora, quien no consiga un certificado de AV-TEST tiene que ser muy inepto.
De hecho, según estos nuevos criterios, deducimos que un programa antivirus básico puede obtener un “certificado” de AV-TEST. ¿Por qué no? Ya no hay necesidad de buscar nuevo malware, solo es necesario monitorizar el flujo de escáneres como VirusTotal. Ya no habrá que analizar nada, solo bastará con “detectar” los archivos que otros ya hayan detectado (usando MD5 para evitar que hayan falsos positivos). Luego, se diseña una interfaz, se añade un mini-updater y un par de funciones Windows que simulen una protección continuada, pegamos un icono en la bandeja del sistema, lo unimos todo en un instalador… y ¡Bingo! Lo enviamos a AV-TEST y esperamos por nuestro certificado.
Básicamente, se ha perdido el equilibrio a la hora de evaluar la tecnología antivirus y la usabilidad. Los resultados de los tests individuales todavía son válidos y los empollones de la industria de la seguridad seguirán teniéndolos en cuenta. Sin embargo, al bajar el listón, los certificados de AV-TEST resultará inútiles para los usuarios medios que quieren informarse antes de comprar una solución antivirus.
La cuestión es: ¿por qué lo han hecho?
No sabemos los motivos reales (la compañía apenas ha hecho declaraciones al respecto), pero podemos imaginárnoslas. Primero tenemos que hablar sobre la economía del negocio de los tests.
¡Sí, señor! Los tests son un negocio con su propia economía. Realizar un buen test no es solo cuestión de cerebro, también se necesita inversión en su infraestructura, espacio y salarios. Como en todos los negocios, existe una correlación entre calidad y beneficio. A veces, las compañías bajan la calidad para aumentar los beneficios. A corto plazo, esto resulta rentable, pero con el tiempo supone la degradación y el olvido.
¿Es éste el caso? Se ha eliminado la prueba más difícil del programa: tratar un sistema infectado (REPARACIÓN). Ahora solo es necesario probar los productos ante una lista de malware y archivos limpios… y…. voilà.
Este nuevo procedimiento conseguirá nuevos clientes para AV-TEST, quienes lucirán orgullosamente sus “medallas” en sus páginas web. En cambio, el laboratorio perderá su autenticidad y la confianza de los proveedores antivirus líderes, en quienes confía el sector.
Por supuesto que no condeno el deseo de ganar más dinero. De hecho, los beneficios ayudan a mejorar la calidad de un producto y, por ende, a ganar más dinero. Este sector no es diferente. No obstante, tal vez perseguir un par de céntimos extra, sólo suponga bajar la media, devaluando el veredicto hasta el nivel “certificados para todos” a buen precio.
La siguiente pregunta lógica es: ¿Por qué nuestros productos siguen en el sistema de AV-TEST?
En primer lugar, nuestro principio es cuanto más tests tengamos, más objetivos serán los resultados. No tenemos miedo a nada. Confiamos en nuestra tecnología y en nuestro nivel de protección. Si tenemos quejas sobre un test u otro, lo decimos directa y públicamente.
Además, AV-TEST ofrece otros muchos certificados y tests útiles, incluyendo aquellos especiales para los sectores corporativos y móviles. La categoría de reparación es menos importante para los clientes corporativos que para los domésticos. Incluso en las pymes, suele haber una administrador de sistemas y se realizan copias de seguridad, que pueden luchar contra los virus que un producto antivirus no puede tratar.
Resumen
- Dado el nuevo proceso de certificación, NO RECOMENDAMOS a los usuarios tener en cuenta a AV-TEST a la hora de elegir una solución de seguridad informática para los equipos domésticos.
- Sin embargo, creemos que es adecuado tener en cuenta los resultados de las categorías separadas de PROTECCIÓN y RENDIMIENTO y por supuesto, el test de REPARACIÓN. De nuevo, estamos de acuerdo con la metodología de los test individuales… simplemente discrepamos con la puntuación necesaria para obtener el “certificado”.
- AV-TEST debería interesarse y escuchar la opinión de los expertos de la industria antivirus para crear un sistema de certificación que ayude a los usuarios a realizar una buena elección. Esto supone, por ejemplo, volver al AMTSO (Anti-Malware Testing Standards Organization)y debatir los temas de disputa con los expertos y proveedores.
