Самые-самые антивирусы

Сравнительный обзор антивирусных программ

12.11.2009
15:00
Василий Бердников, Сергей Ильин

 

Многие классические тесты антивирусов на качество защиты подвергались критическим замечаниям, касающимся их синтетичности и оторванности от реальной жизни.

 

Первая претензия сводилась к тому, что при запуске проверки файловых коллекций обычно тестируются только некоторые составляющие антивирусной защиты, такие как классический сигнатурный детект (по части вредоносного кода) или эвристика (анализ на потенциальный вред), в то время как совершенно не учитывается возможный вклад других технологий, например, поведенческий анализ, HIPS или репутационные сервисы, Firewall/IDS, проверка http-трафика «на лету» и т.д.

 

Вторая причина критики состояла в том, что реальный пользователь не хранит и не запускает старинные вредоносные программы на своем жестком диске, а именно они входят в файловые коллекции, лежащие в основе любых тестов антивирусов. К пользователю попадают, как правило, совсем новые самплы (так называемые Zero-day), от которых антивирус довольно часто просто не может защитить.

 

Кроме того, эффективность антивирусных программ в значительной степени может зависеть и от метода проникновения, ведь у некоторых антивирусов угроза заражения может быть ликвидирована еще на стадии запуска вредоносного скрипта на веб-странице, у других - только при активации загруженного эксплойтом программы-загрузчика, а у третьего – вообще при запуске загруженной вредоносной программы.

 

Именно поэтому информационно-аналитический центр Anti-Malware решил провести собственный независимый «краш-тест» современных антивирусов. В этом сравнительном тестировании изучалась комплексная эффективность антивирусов по противодействию новейшим образцам вредоносных программ, передаваемых пользователям наиболее распространенным сейчас способом - через зараженные веб-сайты. Для тестирования было отобрано несколько десятков ссылок на веб-ресурсы, зараженные новейшими вирусами и несущие угрозу пользователю интернета. Как правило, на такие ссылки каждый из нас наталкивается в поисковиках, получает по e-mail, ICQ или другие средства интернет-коммуникации, включая социальные сети.

 

Методология проведения теста

 

Тест проводился в период с 7 июля по 22 октября 2009 года. Перед стартом производилась подготовка среды тестирования, для чего под управлением VMware Workstation 6.0 был создан набор чистых виртуальных машин, на которые была установлена операционная система Microsoft Windows XP Pro SP3 (последние обновления намеренно не ставились). На каждую машину по отдельности была установлена своя программа защиты из числа приведенных ниже.

 

В тест, по возможности, отбирались продукты для интегрированной защиты класса Internet Security, но если таковых в линейке разработчика не было, то использовались младшие в линейке продукты. В итоге в сравнении участвовали 18 антивирусных программ от различных производителей:

 

1. Avast Antivirus Professional 4.8-1335

2. AVG Internet Security 8.5.386

3. Avira Premium Security Suite 9.0.0.377

4. BitDefender Internet Security 2009 (12.0.12)

5. Comodo Internet Security 3.9.95478.509

6. Dr.Web Security Space 5.0.1.06018

7. Eset Smart Security 4.0.437

8. F-Secure Internet Security 2009 (9.00 build 149, он же СТРИМ.Антивирус)

9. G-DATA Internet Security 2010 (20.0.2)

10. Kaspersky Internet Security 2010 (9.0.0.459)

11. McAfee Internet Security Suite 13.11

12. Microsoft Security Essential 1.0.2140.0

13. Norton Internet Security 2009 (16.5.0.135)

14. Outpost Security Suite 2009 (6.5.5.2535.385.0692)

15. Panda Internet Security 2010 (15.00.00)

16. Sophos Anti-Virus 7.6.9

17. Trend Micro Internet Security 2009 (17.1.1250/8.913.1006)

18. *VBA32 Workstation 3.12.10.10

 

*Антивирус VBA32 Workstation был дисквалифицирован, так как в процессе его тестирования возникли многочисленные технические проблемы, продукт некорректно работал, и в итоге часть результатов была потеряна. 

 

Также в тесте участвовали две специальные программы для проактивной защиты от новейших видов угроз класса HIPS (Hosted Intrusion Prevention System):

 

1. DefenceWall HIPS 2.56

2. Safe'n'Sec Personal 3.5.0.490

 

К сожалению, в ходе длительного проведения теста полученных результатов, некоторые разработчики выпустили обновления своих продуктов, что не могло быть отражено в итоговых результатах.

 

Важно отметить, что все антивирусы тестировались со стандартными настройками по умолчанию и со всеми актуальными обновления, полученными в автоматическом режиме. По сути, моделировалась ситуация, как если бы рядовой пользователь с установленной у себя одной из тестируемых программ защиты пользовался интернетом и переходил по интересующим его ссылкам (полученным тем или иным образом).

 

Отбор вредоносных программ

 

Для теста выбирались ссылки на сайты, зараженные только новейшими образцами вредоносных программ. Что означает «новейшие»? Это означает, что эти загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов, что проверялось через сервис VirusTotal (всего на этом сервисе подключен 41 антивирусный движок). Если отобранные самплы и детектировались кем-то, то вердикты, как правило, были неточными (подозрение на заражение или упакованный объект).

 

Количество образов, удовлетворяющих таким требованиям, было очень небольшим, что существенно отразилось на размере итоговой выборки и сроках тестирования. За несколько месяцев тестирования было отобрано всего 36 рабочих ссылок на новейшие вредоносные программы, которые и использовались в тесте.

 

Анализ результатов теста

 

При переходе по ссылкам на опасные веб-страницы фиксировались все изменения тестовой системы, сообщения от установленных HIPS и антивирусных программ.

 

При открытии опасной ссылки заражение системы могло быть предотвращено на одной из следующих стадий:

1. Обнаружение эксплойта на открытой веб-странице (вредоносного скрипта) или блокировка открытия страницы анти-фишинговым модулем.

2. Обнаружение программы-загрузчика, переданной при помощи эксплойта (специальной программы, которая используется для загрузки на компьютер жертвы других вредоносных программ, например, трояна) веб-антивирусом или файловым антивирусом.

3. Обнаружение загруженной вредоносной программы в процессе ее установки (как правило, при помощи поведенческого анализа).

4. Предупреждение пользователя о потенциально опасном сайте или файле, основываясь на его рейтинге в репутационных сервисах (модель «In The Cloud»).

 

При любом из приведенных выше вариантов предотвращения заражения антивирусу ставился 1 балл. Различий не делалось, так как с точки зрения пользователя не имеет значения, на каком этапе, и какой именно компонент защиты устранил угрозу заражения. Главное – чтобы она была ликвидирована. Если заражение не было предотвращено, в том числе и частично, то антивирусу ставилось 0 баллов.

 

На деле такая система оценки означает следующее. 1 балл ставился, если попытка заражения  была обнаружена в явной форме или было обнаружено подозрительное действие, и при этом заражение полностью приостановлено при условии правильного выбора пользователя в диалоговом окне (об обнаружении опасного действия, предотвращении попытки заражения, обнаружении попытки запуска подозрительной программы, обнаружении попытка изменения файлов и т.д.). Во всех остальных случаях ставилось 0 баллов.

 

Стоит отметить, что в некоторых случаях присутствие вредоносной программы на компьютере могло обнаруживаться уже после заражения при помощи файлового монитора или firewall/IDS, но справиться с заражением антивирус не мог. В этом случае антивирусу все равно ставилось 0 баллов, так как он не защитил от заражения.

 

Программы класса HIPS оценивались по такому же принципу, что и антивирусы. Им ставилось 1 балл во всех случаях, когда было обнаружена вредоносная или подозрительная активность и было предотвращено заражение.

 

Схема награждения

 

Для каждого тестируемого антивируса или HIPS-продуктов подсчитывалось суммарное количество баллов и их процент от максимально возможного (36 баллов). В итоге лучшие продукты получают соответствующие награды при выполнении определенных условий:

 

 

 

Если антивирус обнаружил менее 40% новейших вредоносных программ, то он считается провалившим тест, а его общая эффективность против новейших видов угроз – крайне низкой.

 

Итоговые результаты теста

 

Без лишних слов оглашаем результаты этого тестирования:

 

 

 

Более подробно итоговые результаты сравнительного тестирования антивирусных программ и HIPS представлены в таблице (HIPS помечены звездочкой):

 

 

 

По результатам теста лучшим по эффективности защиты от новейших вредоносных программ оказался HIPS DefenseWall, сумевший предотвратить заражение в 100% случаев (!). Он становится единственным продуктом, получившим наивысшую награду - Platinum Zero-day Protection Award.

 

Кроме того, очень высокие результаты показали антивирусные продукты «Лаборатории Касперского», Comodo и Trend Micro, которые смогли предотвратить заражение более чем в 80% случаев и получили высокую награду Gold Zero-day Protection Award.

 

Хорошую эффективность защиты от новейших вредоносных программ продемонстрировали антивирусы от Sophos, Avira, Norton, Avast и HIPS Safe'n'Sec . Они получили награду Silver Zero-day Protection Award.

 

Чуть хуже оказались антивирусы под брендами Eset, AVG, Microsoft и G-DATA, преодолевшие барьер в 40% и получившие награду Bronze Zero-day Protection Award. Важно отметить, что новый бесплатный антивирус Microsoft Security Essential весьма неплохо дебютировал, опередив многих платных конкурентов.

 

Все остальные антивирусы откровенно провалили тест. Среди них: F-Secure, McAfee, Agnitum, Panda Security, BitDefender и Dr.Web. Увы, эти продукты нельзя считать эффективными против новейших вредоносных программ.