Как мы тестируем антивирусы и программное обеспечение

Какие продукты безопасности делает лучшую работу, держа вас и ваш компьютер в безопасности? Чтобы выяснить это, мы положить их на испытания.

How We Test Antivirus and Security Software

Каждый антивирус или безопасность продукта люкс обещает защитить вас от множества рисков безопасности и неприятностей. Но они на самом деле живут до своих обещаний? При оценке этих продуктов на рассмотрение, мы ставим свои требования к испытание по-разному. Каждый обзор отчетов по результатам наших испытаний, а также практический опыт работы с продуктом. В этой статье будут копать глубже, объясняя, как эти тесты работают.

Конечно, не каждый тест уместен для каждого продукта. Многие антивирусные утилиты включают в себя защиту от фишинга, а некоторые нет. Большинство номеров включают в себя фильтрацию спама, но некоторые опускают эту функцию, и некоторые антивирусные продукты добавить его в качестве бонуса. Все особенности данного продукта предлагает, Мы положить их на испытания.

Каждый год в начале весны, когда большинство поставщиков систем безопасности завершили годовой цикл обновления, мы собираем новую коллекцию образцов вредоносных программ для данного теста. Мы начинаем с подачи последних вредоносных программ-таких URL-адресов, скачать сотни образцов, и отсеять их до приемлемого количества.

Мы анализируем каждый образец, используя различные силы-кодовый инструменты. Некоторые из образцов обнаружить, когда они работают в виртуальной машине и воздерживаться от вредоносной активности, мы просто не используем их. Мы смотрим на различные типы, и для образцов, которые вносят изменения в файловой системы и реестра. С некоторым усилием, мы сократили сбор до приемлемого количества, и записать именно то, что система меняется каждый образец делает.

Для тестирования продукта вредоносных программ-блокирование способностей, мы скачать папку образцов из облачного хранилища. Защита в режиме реального времени в некоторых пинков продуктов сразу, уничтожая известные вредоносные программы. Если необходимо, чтобы вызвать защиту в реальном времени, мы в один клик каждый образец, или копию коллекции в новую папку. Мы принимаем во внимание, сколько образцов антивирус устраняет на месте.

Далее мы запускаем каждый оставшийся образец и обратите внимание, является ли антивирус обнаружить его. Мы записываем общий процент обнаружены, независимо от того, когда произошло обнаружение.

Обнаружение вредоносных атак недостаточно; антивирус должны предотвратить нападение. Небольшой дом в программу проверки системы, чтобы определить, является ли вредоносные программы удалось внести изменения в реестр или установить любой из его файлов. В случае исполняемых файлов, она также проверяет, являются ли эти процессы на самом деле работает. И как только измерение закончено, мы закрываем виртуальную машину.

Если продукт предотвращает установку всех исполняемых следы от образца вредоносного ПО, оно зарабатывает 8, 9 или 10 баллов, в зависимости от того, насколько хорошо он предотвратить захламление системы с неисполняющих следы. Обнаружение вредоносных программ, но не в состоянии запретить установку программ получает половину-кредит, 5 баллов. Наконец, если, несмотря на попытки антивирус на защите, один или более процессов вредоносных программ, на самом деле работает, это стоит всего лишь 3 очка. В среднем все эти баллы становится окончательным продукта вредоносных программ, блокирующих результат.

Пока пошел основных вредоносных программ, блокирующих тест использует тот же набор образцов за сезон, вредоносных программ-таких URL-адресов, которые мы используем для проверки веб-защиты каждый раз разные. Мы получаем питание от новейших вредоносных URL-адресов из Лондонского МРГ-тестировании приняли участие и, как правило, используют URL-адреса, которые являются не более суток.

С помощью небольшой цель-встроена утилита,мы идем вниз по списку, запуская каждый URL, в свою очередь. Отбросить любые, которые на самом деле не указывают на загрузку вредоносной программы, и любой, которые возвращают сообщения об ошибках. Для остальных, мы отмечаем ли антивирус блокирует доступ к URL-адрес, стирает скачать, или ничего не делает. После записи результата, программа переходит к следующему URL-адрес в список, который находится не в том же домене. Мы не пропустить какие-либо файлы размером более 5МБ, а также пропускать файлы, которые уже появились в один и тот же тест. Мы держать его, пока мы собирали данные по крайней мере 100 проверенных вредоносных программ-таких URL-адресов.

Оценка в этом тесте-это просто процент URL-адреса, по которым антивирус предотвратить загрузку вредоносного ПО, ли, отрезав доступ к URL-адрес полностью или уничтожить скачанный файл. Оценки сильно разнятся, но самые лучшие инструменты для обеспечения безопасности Управления 90 процентов или больше.

Эти поддельные веб-сайты, как правило, попадут в черные списки не долго после их создания, поэтому для тестирования мы используем только самые новейшие фишинговых веб-адресов. Мы собираем данные от фишинга-ориентированных сайтах, в пользу тех, которые были представлены как мошенничество, но еще не проверен. Это заставляет программы безопасности, использовать анализ в режиме реального времени, а не полагаться на простодушные черные списки.

Мы используем четыре виртуальные машины для этого теста, один продукт на стадии тестирования, и по одному с помощью защиты от фишинга, встроенный в Хром, Firefox и Microsoft края. Небольшая программа утилита запускает каждый URL в четырех браузерах. Если любой из них возвращает сообщение об ошибке, мы отбрасываем этот URL-адрес. Если на открывшейся странице не активно пытаться подражать другим сайтом, или не пытается захватить имя пользователя и пароль, то сбросьте его. Для остальных, мы записываем, является ли или не каждый продукт обнаружил мошенничество.

Во многих случаях, продукт на стадии тестирования могут даже не делать, а также встроенная защита в одном или нескольких браузерах.

Тестирование Фильтрации Спама

В эти дни учетные записи электронной почты для большинства потребителей есть спам пылесосить их поставщику по электронной почте или утилита запущена на сервере электронной почты. В самом деле, потребность в фильтрации спама неуклонно сокращается. Австрийской тестовой лабораторией AV-Comparatives протестировал функционал антиспама несколько лет назад, обнаружив, что даже только в Microsoft Outlook блокировал почти 90% спама, и большинство люксов сделал лучше, некоторые из них гораздо лучше. Лаборатории даже не обещают продолжить тестирование потребителей перед спам-фильтров, отметив, что “некоторые поставщики мышления удаления спама из своих продуктов бытовой безопасности”.

В прошлом, мы провели наши собственные тесты, антиспам, используя реальный счет, который получает как спам и действует почты. Процесс скачивания тысячи сообщений и вручную, анализируя содержимое папки “Входящие” и папку “Спам” ушло больше времени и усилий, чем какие-либо другие практические испытания. Затратив максимум усилий на минимальное значение уже не имеет смысла.

Есть еще важные моменты в отчете о спам-фильтр люкса. Какие почтовые клиенты поддерживают? Вы можете использовать его с неподдерживаемой клиента? Это Общества с POP3 учетных записей электронной почты, или она также обрабатывать по протоколу IMAP, Exchange или даже веб-почта? Идя вперед, мы внимательно рассмотрим возможности каждого люкса антиспам, но мы больше не будет загружать и анализировать тысячи писем.

Для обеспечения безопасности необходимо, как рано в процессе загрузки, как возможную нагрузку, чтобы уже найти вредоносные программы в контроль. Но пользователи не хотят ждать дольше, чем необходимо, чтобы начать использовать Windows после перезагрузки. Наш тестовый скрипт запускается сразу после загрузки и начинает задавать Windows для отчет об уровне загрузки процессора раз в секунду. После 10 секунд подряд с ЦП не более чем на 5 процентов, он объявляет система готова к использованию. Вычитая начала процесса загрузки (как сообщалось на Windows) мы знаем, как долго процесс загрузки занял. Мы предлагаем множество повторений этого теста и сравните среднюю со многими повторениями, когда не люкс присутствовал.

По правде говоря, вы, вероятно, перезагрузки не чаще, чем раз в день. Люкс безопасности, который замедлял повседневной файловые операции может иметь более существенное влияние на вашу деятельность. Для проверки такого рода замедление, то время скрипт, который перемещает и копирует большие коллекции большие-для больших файлов между дисками. В среднем несколько прогонов С нет Suite и несколько работает при активном люкс безопасности, мы можем определить сколько в люксе замедлился этих файловых деятельности. Подобный сценарий мероприятия эффект люкса на скрипт, который молнии и расстегивает одной и той же коллекции файлов.

Среднее замедление в этих трех тестов в люксах с очень светлым оттенком может быть менее 1 процента. На другом конце спектра, очень мало люксы в среднем на 25%, или даже больше. Вы можете фактически видеть последствия более тяжелой люксы.

Как правило, брандмауэр работает на двух работах, защита компьютера от внешних атак и обеспечения того, чтобы программы не злоупотреблять сетевого подключения. Для проверки защиты от нападения, мы используем физический компьютер, который подключается через маршрутизатор в порт DMZ. Это дает эффект компьютера, подключенного напрямую к интернету. Это важно для тестирования, потому что компьютер, подключенный через маршрутизатор практически невидимы для сети в целом. Мы попали в тестовую систему с сканирование портов и другие веб-ориентированные тесты. В большинстве случаев мы обнаруживаем, что брандмауэр полностью скрывает тест-системы от этих нападений, ставя все порты в режим невидимости.

Встроенный в Windows брандмауэр обрабатывает становясь невидимым, все порты, так что этот тест-это просто базовый. Но даже здесь, есть разные мнения. Дизайнеры Касперского не вижу никакой ценности в порты становясь невидимым, при условии, что порты закрыты и брандмауэр активно предотвращает атаки.

Управление программами в первых персональных брандмауэров был чрезвычайно практический. Каждый раз, когда неизвестная программа пытается получить доступ к сети, брандмауэр выскочил запрос у пользователя, следует ли разрешить доступ. Этот подход не очень эффективен, так как пользователь вообще не имеет никакого понятия, какое действие является правильным. Большинство будет просто разрешить все. Другие будут кликать блока каждый раз, пока они не сломаются некоторые важные программы, после чего они разрешают все. Мы провести практическую проверку этой функции с помощью крохотной утилиты браузере закодированные в час, тот, который всегда будет квалифицироваться как неизвестная программа.

Некоторые вредоносные программы пытаются обойти этот вид простой управляющей программы путем манипулирования или маскируются под надежные программы. Когда мы сталкиваемся старой школы брандмауэр, мы тестируем свои навыки с помощью утилиты под названием испытания на герметичность. Эти программы используют те же методы, чтобы обойти контроль программы, но без каких-либо вредоносных полезной нагрузки. Мы находим все меньше и меньше утечка тестов, которые все еще работают под современными версиями Windows.

На другом конце спектра, лучшие брандмауэры автоматически настроить сетевые разрешения для программ, устранить известные плохие программы, а также активизировать наблюдение за неизвестными. Если неизвестная программа пытается подозрительное соединение, пинки брандмауэра в этот момент, чтобы остановить его.

Программного обеспечения и не может быть совершенным, поэтому плохие парни прилагаем все усилия, чтобы найти дыры в безопасности в популярных операционных систем, браузеров и приложений. Они разрабатывают уязвимостей для нарушения безопасности системы, используя уязвимости их найти. Естественно, создатель эксплуатации продукта обновление для системы безопасности как можно скорее, но пока вы не примените этот патч, вы уязвимы.

Самые умные брандмауэры перехватывают этих вредоносных атак на уровне сети, поэтому они никогда не попадут на ваш компьютер. Даже для тех, кто не сканирование на сетевом уровне, во многих случаях антивирусный компонент стирает эксплоита вредоносные полезной нагрузки. Мы используем инструмент проникновения влияния основных поразить каждого тест-системы С о 30 последних подвигах и показатель того, насколько хорошо продукт безопасности отмахивались от них.

Наконец, мы проводим проверки, чтобы увидеть, является ли вредоносные программы программист может легко отключить защиту безопасности. Мы ищем вкл/выкл в реестр и проверить, действительно ли он может быть использован, чтобы отключить защиту (хотя это было лет так как мы нашли продукт, уязвимы для этой атаки). Мы пытаемся прекратить процессы обеспечения безопасности, используя диспетчер задач. И мы проверяем, можно ли остановить или отключить необходимые услуги, продукта для Windows.

Мы всегда проверьте, чтобы убедиться, что контент-фильтр действительно работает. Как выясняется, найти порно сайты для тестирования оснастки. Просто о каких-либо URL-адреса, состоящие из прилагательного размер и название нормально-закрытая часть тела-это уже порно сайт. Очень немногие продукты не пройдут этот тест.

Мы используем крошечный внутренний утилиты браузере, чтобы убедиться, что фильтрация контента-это зависит от используемого браузера. Мы выдаем трех слов команды (нет, мы не будем публиковать его здесь), который отключает некоторые простодушные фильтров контента. И мы проверяем, можем ли мы обойти фильтр, используя безопасный анонимайзер прокси сайт.

Введение ограничений по времени на компьютер для детей или использовать интернет только в случае, если дети не могут мешать хронометража. Мы убедитесь, что время-планирование функция работает, то попробуйте ее избежать путем сброса системных даты и времени. Самые лучшие продукты не опираются на системные часы на их дату и время.

После этого, это просто вопрос тестирования функций, что программа утверждает, что. Если это сулит возможность блокировать использование определенных программ, мы привлекаем эту функцию и попытаться разбить его перемещения, копирования или переименования. Если он говорит, что уберет плохих слов в сообщениях электронной почты или мгновенных сообщений, то добавить случайное слово в список блокировок и убедиться, что оно не отправлено. Если он утверждает, что это может ограничить контакты обмена мгновенными сообщениями, мы создали разговор двух наших счетах, а затем запрет одного из них. Любой контроль или контроль питания программа обещает, Мы сделаем все возможное, чтобы поставить его на испытания.

Икса лабораториях и лабораториях западного побережья предлагают широкий спектр сертификационных испытаний безопасности. Мы специально следить за их сертификаты для обнаружения вредоносных программ и удаления вредоносных программ. Поставщиков систем безопасности, заплатить за то, чтобы их продукция испытана, а сам процесс включает в себя справки из лаборатории, чтобы исправить любые проблемы предотвращения сертификации. Что мы смотрим здесь является тот факт, что в лаборатории нашли продукт достаточно значительным, чтобы проверить, и продавец был готов заплатить за тестирование.

Основан в Магдебурге, Германия, АВ-испытательного института постоянно ставит антивирусные программы с помощью различных тестов. В одном мы ориентируемся на три-часть теста, присуждает до 6 баллов в каждой из трех категориях: защита, производительность и юзабилити. Чтобы достигнуть сертификации, продукт должен заработать в общей сложности 10 очков без нулей. Самые лучшие продукты взять домой идеальный 18 очков в этом тесте.

Для тестирования защиты, исследователи не подвергайте каждого продукта для AV-тестовые набор из более чем 100 000 образцов, и до нескольких тысяч крайне распространены образцы. Продукты получить кредит для предотвращения заражения на любой стадии, будь то блокирование доступа к вредоносным URL-адрес хостинг, обнаруживать вредоносное ПО с помощью сигнатур, или предотвратить запуск вредоносной программы. Лучшие продукты часто достигать 100% успеха в этом тесте.

Производительность очень важна—если антивирус заметно тормозящей производительность системы, некоторые пользователи будут его выключить. Исследователи АВ-теста измерить разницу в времени, необходимого для выполнения 13 общие действия системы и безопасности продукта. Среди таких действий являются скачивание файлов из интернета, копирование файлов как локально, так и по сети, и запуск стандартных программ. Усреднение нескольких запусков, они могут определить, сколько влияние каждого продукта.

Тест юзабилити не обязательно, что вы думаете. Это не имеет ничего общего с простотой использования и дизайн пользовательского интерфейса. Скорее всего, это меры, проблемы юзабилити, которые происходят, когда антивирусное программное обеспечение ошибочно флаги законные программы или сайт как вредоносный или подозрительный. Исследователи активно устанавливать и запускать постоянно меняющейся коллекции популярных программ, отмечая какое-либо странное поведение антивируса. Отдельного сканирования-только тест проверяет, чтобы убедиться, что антивирус не определяет любой из более чем 600,000 законные файлы как вредоносные.

Мы собираем результаты из четырех (ранее пять) из многочисленных тестов, регулярно выпускаемых компанией AV-Comparatives В, которая базируется в Австрии и работает в тесном сотрудничестве с Университетом Инсбрука. Инструменты безопасности, которые проходят тест, получают сертификат стандарта; те, которые не обозначены как лишь тестирование. Если программа идет сверх необходимого минимума, он может заработать дополнительно или Advanced+ сертификация.

Компания AV-Comparatives в тесте обнаружения файла-это простой, статический тест, который проверяет каждый антивирус против около 100 000 образцов вредоносных программ, с ложно-положительных тестов, чтобы гарантировать точность. И в тесте производительности, так же, как АВ-тестирования, меры влияния на производительность системы. Ранее, мы включили эвристического и поведенческого теста; этот тест был удален.

Мы считаем, АВ-сравнительные динамические весь продукт тест, чтобы быть самое значительное. Этот тест призван имитировать как можно ближе опыт реального пользователя, что позволяет всем компонентам продукта безопасности, чтобы принять меры против вредоносных программ. Наконец, тест восстановления начинается с коллекцией вредоносных программ, которые всех проверенных продуктов, как известно, обнаружить и проблемы безопасности продуктов для восстановления зараженной системы и полностью удалить вредоносные программы.

Где AV-Test и AV-Comparatives и, как правило, включают от 20 до 24 изделий в тестирование, лаборатории ГП вообще отчеты не более 10. Это в значительной степени из-за природы этой лаборатории тест. Исследователи захвата в реальном мире вредоносных программ-хостинг веб-сайтов и использовать технику преобразования, так что каждый продукт встречает точно такой же привод-скачать или другие веб-атаки. Это крайне реалистичный, но трудный.

Программа, которая полностью блокирует одну из этих атак зарабатывает три очка. Если он принял решение после того, как нападение началось, но удалось удалить все исполняемые следов, которая стоит два очка. И если она просто прекратила нападение, без полной очистки, она все равно получает одно очко. В прискорбном случае, что вредоносная программа работает бесплатно по системе тестирования, продукт на стадии тестирования теряет пять очков. Из-за этого некоторые продукты фактически набрал ниже нуля.

В отдельном тесте, исследователи оценивают, насколько хорошо каждый продукт воздерживается от ошибочно установлении обоснованных программ как вредоносных, оценивая результаты, основанные на распространенности каждой программы, и на сколько влияют на ложно-положительный идентификационный бы. Они сочетают в себе результаты этих двух испытаний и сертификации продукции на одном из пяти уровней: ААА, АА, А, B и C.

В течение некоторого времени мы использовали корма образцов, поставляемых МРГ-тестировании приняли участие в наших руках-на блокирование вредоносных проверки URL-адреса. Эта лаборатория также выпускает квартальные результаты для двух конкретных тестов, которые мы следуем. На 360 оценке и сертификации тест имитирует реальный инструмент для защиты от вредоносных программ, похож на динамический реальный тест используется с AV-Comparatives и. Продукт, который полностью предотвращает любые заражения установленного образца получает Уровень 1 сертификации. Уровень 2 сертификация означает, что по крайней мере некоторые из образцов вредоносных программ, посадили файлов и прочих следов на тестовой системе, но эти следы были устранены на момент следующей перезагрузки. Интернет-банк сертификации очень конкретно тесты для защиты от финансовых вредоносных программ и бот-сетей.

Придумывать общие сводные результаты лабораторных исследований не легко, так как в лаборатории не все испытания тот же набор программ. Мы разработали систему, которая нормализует баллы каждой лаборатории в диапазоне от 0 до 10. Наши совокупные результаты анализов диаграмме средние баллы, количество лабораторий и количество полученных сертификатов. Если только одна лаборатория включает продукт на тестирование, мы считаем, что недостаточно информации для счетом.

Вы могли заметить, что этот список методов тестирования не распространяется на виртуальные частные сети, или VPN. Тестирование VPN является очень отличается от проверки любой другой части пакета безопасности, поэтому мы снабдили отдельный объяснение, как мы тестируем VPN-сервисов.

Понравилась статья? Поделиться с друзьями:
Гуру ПК
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: