Возможны лишь тесты для проверки одной из сторон деятельности антивируса – быстродействия, качества лечения, уровня детектирования, и т.д. Все это означает, что на независимые измерения можно полагаться не больше, чем на мнение знакомых.
Антивирусное ПО - один из очень конкурентных сегментов IT-рынка.
Фактически, из программ, которые присутствуют на компьютере буквально у каждого пользователя, только антивирусы и браузеры бывают принципиально разными. В России антивирусы - один из драйверов роста всего рынка лицензионного программного обеспечения. Даже в кризис пользователи «поджались», начали экономить на софте, но антивирусов стали покупать даже больше.Антивирус - это программа, которая есть и на домашнем, и на офисном компьютере. Крупные фирмы или фирмы, которым необходима особенно серьезная забота о безопасности, пользуются специально разрабатываемыми комплексными решениями, причем зачастую сразу от двух производителей. Малый бизнес и домашние пользователи нуждаются в готовом коробочном продукте. Выбор такого продукта обычно делают в условиях минимума информации - на руках у выбирающего только результаты разнообразных тестов. Что печально, едва ли этим тестам можно доверять.
К числу наиболее известных относятся тесты Virus Bulletin, AV-Test, AV-Comparatives. В России известен Anti Malware, который, как говорят эксперты, тесно связан с одним из вендоров. Различные специализированные и неспециализированные издания, такие как CNet, тоже производят собственные исследования. Каждое исследование отличается методологией, измеряемыми данными и результатами - иногда диаметрально. Или вовсе не имеет того, что можно было бы назвать методикой теста.
Сложно сказать, что именно проверяют эти тесты. Из одного и того же теста разные издания делают противоположные выводы: одно считает, что победа досталась Eset NOD32, другое присуждает победу «Лаборатории Касперского». Какие-то тесты проверяют только один параметр, иные считают некий интегральный показатель - но неясна сама их структура. Ни один тест не объясняет главного для потребителя – какой антивирус лучше решает возлагаемые на него задачи, а, значит, их нельзя использовать для всесторонней оценки потребительских качеств продуктов. Уж очень разные потребители, и очень разные у них требования к антивирусной защите.
«Среди основных проблем существующих тестов можно выделить низкую точность и нерепрезентативность получаемых результатов. Точность не оценивается вообще нигде.
Источники поступления вирусных образцов не уточняются, но не трудно предположить, что берутся они из коллекции какого-то вендора – того, с кем сотрудничает тестер и кто однозначно выиграет в этом тесте. Репрезентативность исследуемых образцов вредоносных программ оставляет желать лучшего. На низкую точность указывает также и тот факт, что корреляция между результатами тестирований, проводимых различными тестовыми лабораториями, весьма низкая», - поделился мнением аналитик компании «Доктор Веб» Валерий Ледовской.
Создание же по-настоящему хорошего теста - задача комплексная. Г-н Ледовской полагает, что тестирования следовало бы производить при участии специалистов от разных антивирусных вендоров - вирусных аналитиков, разработчиков программных модулей. Они могли бы на профессиональном уровне оценить различия в функционале антивирусных продуктов, на основе чего выработать единую методику тестирования. При тесте подробному анализу должен подвергаться каждый файл, а само тестирование - производиться на различных аппаратно-программных конфигурациях. В направлении разработки отраслевых стандартов работает организация AMTSO. Некоторые рамочные документы уже опубликованы. Однако, полагает Валерий Ледовской, до практических результатов AMTSO еще далеко.