Febrero 8, 2013
Mucho ruido y pocas nueces
“Todos los animales son iguales, pero algunos más iguales que otros” decía el cerdito Napoleón del clásico de George Orwell, Rebelión en la Granja. La genialidad de esta expresión reside en su universalidad, aunque las últimas palabras saquen la verdad a la luz. Esta paradoja, aunque parezca increíble, también se puede aplicar al mundo de los test que se realizan a los antivirus. De esta manera, podemos decir: “Todos los resultados publicados de los test de antivirus son iguales, pero algunos más iguales que otros”. De hecho, después de que los astutos expertos en marketing hagan su trabajo y “procesen” los resultados de los test comparativos de antivirus; el producto final (me refiero al resultado publicado por ciertas compañías antivirus) ha sido manipulado y no se puede sacar provecho de éste.
Pensemos en una compañía antivirus imaginaria (de ésas que no pueden distinguirse de los competidores por su poder tecnológico o su calidad de protección), la cual tiene unas metas muy ambiciosas y utiliza un plan de ventas magnífico para conseguirlas. ¿Qué será lo primero que haga para conseguir su objetivo de dominar el mundo? ¿Mejorar su motor antivirus, optimizar la base de datos o mejorar la velocidad de detección? ¡Nada de esto! Para conseguir esto se necesita muchísimo dinero y tiempo. No es difícil entrar en la Primera División de los Antivirus; en cambio, cuanto más nos acercamos a los puestos de la Champions League, es imprescindible gastar hasta el último céntimo en ofrecer una detección de amenazas real y es necesario contar con un equipo humano muy preparado.
En cambio, es más barato y rápido escoger otra ruta (no la tecnológica), sino la del marketing. Así, se compensa la falta de maestría tecnológica y de calidad en la detección de antivirus con una estrategia informativa eficiente.
¿Cómo se consigue esto?
Ésta es la forma…
¿Cuál es el mejor método para evaluar la calidad de protección de un producto antivirus? Por supuesto, a través de la opinión objetiva e independiente de terceros. Los analistas, los clientes y los partners pueden ofrecer buena información, pero la imparcialidad no siempre está garantizada. En cambio, los tests –realizados por laboratorios independientes y especializados- sí pueden conseguirlo. No obstante, dichas entidades se concentran sólo en su trabajo y -aunque ofrecer una evaluación correcta y exacta no es tarea fácil- muchas veces los resultados son aburridos y necesitan un poco de imaginación. Y en este punto es donde empieza a trabajar el equipo de marketing: manipulando los resultados objetivos del test para limpiar la imagen del producto y/o situar a las compañías líderes en segunda posición. Esto me recuerda a la parábola de la India sobre los ciegos y el elefante. A través de esta parábola se expresa la incapacidad del hombre para conocer la totalidad de la realidad. En este caso, los hombres ciegos son el equipo de marketing, el cual “comprende” los resultados, deliberadamente, de forma sesgada e incompleta. Al contrario de los hombres ciegos que no podían evitar malinterpretar la realidad.
Aunque no se considere un acto criminal manipular los resultados de un test; es realmente difícil para los usuarios separar la paja del grano. Os muestro un ejemplo de cómo se pueden distorsionar los resultados de un test: seleccionamos aquellos datos de diferentes pruebas -poco profesionales- que son favorables para nuestro producto (por ejemplo: el uso de recursos del sistema). Mientras tanto, ignoramos otros aspectos negativos (pero más importantes) que muestran la capacidad de detección de malware por parte del antivirus. Además, comparamos nuestro producto con el de la competencia, basándonos sólo en el aspecto súper positivo que hemos escogido: el uso de los recursos. Finalmente, el equipo de marketing lanza una campaña que utiliza esta característica (el uso de los recursos) como claro diferenciador del producto. ¿Queréis otro ejemplo? Una compañía antivirus que compara su nuevo producto con una versión antigua de un producto de la competencia. ¿Creéis que estoy bromeando? ¡En absoluto! Este tipo de cosas suceden.
Estas técnicas no conllevan ninguna mentira, sólo seleccionan los datos favorables del producto; pasando por alto los criterios éticos. Como no existen rutas legales que nos lleven hacia la “justicia”, sólo podemos aconsejaros que tengáis cuidado con la información que se publica porque se corre el riesgo de escoger un software antivirus sobrevalorado y perder la confianza tanto en los tests y en la industria de la seguridad en general.
Aunque ya hemos hablado, anteriormente, sobre este tipo de marketing carente de escrúpulos; hoy examinaremos los trucos que se utilizan para ayudaros a reconocerlos y combatirlos. Empecemos uno a uno…
1.Uso de laboratorios “poco transparentes” que evalúan la calidad del malware detectado. Ésta es la forma más sencilla y fácil. La usan las compañías antivirus pequeñas o los proveedores de tecnología deficiente. Normalmente, encuentran un “centro de investigación” poco conocido y barato, que no revela su metodología; impidiendo que se pueda comprobar la veracidad de los resultados.
Conclusión: si los resultados del test no proporcionan una descripción de la metodología que usan, o dicha metodología contiene serios “bugs”, no podemos confiar en sus resultados.
2.Uso de tests antiguos. ¿Por qué pasar, año tras año, una test cuando es posible hacerlo cada tres años; obteniendo una buena calificación y vivir, durante los siguientes años, de una sola victoria como si fuera la prueba irrefutable de la superioridad del producto?
Conclusión: Comprueba la fecha del test. Si es antiguo o no contiene un enlace a la fuente (los resultados públicos del test con la fecha de publicación), tampoco confíes en dicha evaluación.
3.Comparación con versiones antiguas. Existen dos posibilidades. Primero: la comparación de dos productos antiguos; en la cual el producto de una compañía antivirus determinada, sorprendentemente, es la clara ganadora. Por supuesto, mientras tanto, la industria ha evolucionado; avanzando en la detección de virus. Segundo: comparación del producto de una compañía antivirus determinada con la versión antigua de un producto de la competencia. ¡Eso es un golpe muy bajo!
Conclusión: comprueba las versiones de los productos. Si existen discrepancias entre ellas, seguramente nos están engañando. Olvídate, también, de “los resultados de esos tests”.
4.Comparación de lo incomparable. ¿Cuál es la mejor forma de demostrar tu destreza tecnológica? Comparar lo incomparable en una o dos áreas determinadas, por supuesto. Por ejemplo: productos de diferentes categorías (domésticos o profesionales) o diferenciar tecnologías de protección (métodos con y sin agentes para la protección de entornos virtuales).
Conclusión: Presta atención no sólo a las versiones y a las fechas de los productos que se están comparando, sino también a los títulos.
5. Enfatizar en exceso ciertas características sin mencionar otras. ¿Has suspendido un test? ¿Has suspendido todos los test? ¡No hay problema! El marketing puede solucionarlo. La forma es sencilla: escoge una característica específica (la velocidad de escáner o el uso reducido de los recursos del sistema); resalta sólo este rasgo de los resultados del test y enfatízalo en toda la publicidad que hagas en el mundo, como si fuera una prueba de la grandeza de tu producto. ¿Queréis conocer un ejemplo de esto?
Conclusión: si sólo se publicita la “rapidez, eficiencia y precio”, es una estafa; así de sencillo.
6.Uso de metodologías irrelevantes. Aquí hay mucho lugar para maniobras muy astutas. El usuario medio, normalmente, no entra en detalle en las metodologías de evaluación (tiene mejores cosas que hacer). Sin embargo, el diablo siempre se esconde en los detalles. Lo que suele suceder es que los tests no se corresponden con las condiciones del mundo real y no reflejan la calidad verdadera de protección antivirus del producto en el mundo real. Otro ejemplo: ponderación subjetiva de la importancia que se da a los parámetros de evaluación.
Conclusión: si se comparan manzanas con peras; tú también puedes comparar los resultados del test con… los resultados de un test de higiene sanitaria: ambos son igual de útiles.
7. Evaluación selectiva. Esto conlleva un esfuerzo analítico importante y una gran experiencia y habilidad para embaucar y engañar. Se utilizan el conocimiento en metodologías y estadísticas para seleccionar los aspectos fuertes del producto en diferentes tests y, después, se lleva a cabo un análisis “comparativo” que usa los métodos descritos anteriormente. En este enlace, os mostramos un ejemplo descarado de esto.
Conclusión: “Si vas a mentir, sé breve©” Si se explayan demasiado, sin centrarse en el tema… la respuesta es obvia.
8. Engaño claro. En este punto, existen muchas posibilidades. La más extendida es robar buenos productos de detección para tests específicos. A menudo, se debate dentro del sector de antivirus sobre otras formas abusivas de robo. Por ejemplo: se ha revelado que un desarrollador anónimo dio al centro de evaluación una versión especial de su producto, que funcionaba sólo en ese entorno. El truco era fácil: para compensar su incapacidad para detectar todos los archivos infectados en la prueba, el producto detectó todos los archivos que se encontraba. Por supuesto, la consecuencia de esto fue una cantidad anormal de falsos positivos. Pero ¿sabéis qué? El material de marketing nunca incluyó una sola palabra al respecto.
Conclusión: Sólo los profesionales pueden atrapar a los estafadores. Lamentablemente, el usuario medio no puede. Entonces… ¿Qué se puede hacer? Si un test de un producto determinado muestra un resultado excelente, mientras que en otros no; es una muestra clara de que nos están engañando.
9. El último truco: negarse a participar en una evaluación o prohibir al evaluador que publiquen el nombre del producto, usando, en su lugar, “Proveedor A”, “Proveedor B”, etc. ¿Por qué participar en un test que nos va dejar en mal lugar? Si desaparece el nombre del listado de productos, no se puede confiar en dicho producto.
Conclusión: comprueba si un producto determinado participa en todos los test de confianza. Si sólo forma parte de aquellos donde se muestran sus méritos y ningún fallo: ¡desconfía! El marketing puede estar haciendo, de nuevo, de las suyas.
A propósito, si cualquier lector de este blog quiere investigar diferentes resultados de tests antivirus con más detalle y encuentra que, en Kaspersky Lab, hemos utilizado algún truco de marketing de los anteriormente mencionados, no seas tímido: por favor, menciónalo en los comentarios. Os prometo que lo tomaremos en cuenta y hablaremos con los responsables :).
Y ahora, para resumir brevemente lo que debe hacer un usuario, a quién debe creer y cómo se roban cientos de tablas, tests y gráficas (ya hemos hablado con anterioridad sobre este tema). Os muestro algunas reglas importantes para “estudiar” los resultados de los tests y descubrir las técnicas de marketing engañosas:
- Comprueba la fecha del test, las versiones y las características de los productos evaluados.
- Comprueba el historial de “apariciones” de un producto en tests.
- No te fijes sólo en una sola funcionalidad. Mira todas las capacidades del producto y, lo más importante, la calidad de la protección.
- Fíjate en la metodología y comprueba la reputación del laboratorio evaluador.
El último punto (4) no concierne a todos los lectores, sólo a los especialistas en el tema. Para aquellos que no son profesionales al respecto, os recomiendo que conozcáis la siguiente lista de centros de evaluación. Estos son equipos respetados, con muchos años de experiencia en la industria, que trabajan con metodologías comprobadas y que cumplen con los estándares de AMTSO (the Anti-Malware Testing Standards Organization).
Pero, primero, quiero deciros que nosotros no siempre estamos en primera posición en las pruebas de los evaluadores. Sólo me baso en su profesionalidad para esta recomendación:
Para finalizar: el ranking de centros de evaluación del periodo 2011-2012, para aquellos que quieran un poco más de información:
Y ahora en serio para terminar… un resumen de todo lo que os he explicado:
Probablemente, alguien querrá decirme que todo lo mencionado, anteriormente, es mala publicidad contra los competidores. Pero, el objetivo principal es debatir públicamente un tema sobre el que se ha discutido durante años y para el cual no se ha encontrado una solución. Concretamente: todavía no existe, a día de hoy, unanimidad en el sector sobre las metodologías para realizar tests comparativos de productos antivirus. De hecho, las metodologías que existen no se comprenden del todo; ni los usuarios, ni incluso los desarrolladores pueden hacerlo.
Mientras tanto, sigamos atentos a este problema y mantengamos la calma sabiendo que la “manipulación creativa” de las estadísticas tiene ciertos límites. Los usuarios, simplemente, deben elegir con cuidado, indagando en los datos publicados y separando el grano de la paja. No obstante, no todo el mundo tiene la paciencia o el tiempo para hacerlo. Comprensible pero… ¡Una pena!
Mis últimas palabras al respecto: ¡Precaución!
