34 ответов в этой теме

[Engineer]

Вот опять почему-то мой любимый Dr.Web не прошел тест, пропустив просто очень большое количество вирусов...:-((
http://www.virusbtn.com/vb100/archive/2008/04
Неужели все 47 пропущенных - битые!

[In Web We Trust]

Наш доктор - самый сильный в мире антивирус!!! :P Хм , хотя нет , сильнее Kingsoft -тот 60 вирусов не знает.

[Valery Ledovskoy]

Вот опять почему-то мой любимый Dr.Web не прошел тест

Существует простая математика. Всего лишь несколько тезисов, и всё становится на свои места.
1. Коллекция в VB достаточно небольшая, количество источников поступления вирусов в коллекцию весьма ограничено -> VB не отражает качества антивирусов в реальных условиях.
2. В VB тестируется только детект файлов. При этом многие из тестируемых антивирусов не в состоянии вылечить систему от тех же руткитов, даже если файлы, из которых сконструированы эти руткиты, им известны.
3. VB - далеко не единственная организация, которая тестирует антивирусы. Посмотрите альтернативные тестирования (их сейчас проводится достаточно много). Сравните результаты - будете удивлены - корреляции практически никакой.
4. Ни в одном тесте не приводится точность полученных результатов (я пытался проанализировать точность, и она начинается где-то от +/- 10% детекта и более) и не исследуется их достоверность, а также не говорится что же они в реальности показывают. Относительно VB это означает, что, следуя правилам, которые придумали организаторы тестов, одни антивирусы прошли тест, другие не прошли, безо всяких претензий на более сильные интерпретации результатов. О реальных качествах антивирусов данный тест ничего не говорит.

Придумал ещё одну аналогию. Если ты победил в стрельбе из воздушки, то это совсем не значит, что ты победишь в биатлоне ;)

--
Сотрудничество в ЮФО: ICQ# 152737478

[In Web We Trust]

А как же многочисленные жалобы на то , что Доктор ненаходит некоторые вирусы? Вот например bmonq.exe программа-руткит ; её до сих пор не находит НИ ОДИН АНТИВИРУС (программа открыта 1.02.2008)

[MakRos-78]

ЛеКаРь
bmonq.exe это всего лишь название файла. Вирусов или модификаций вируса использующего такое имя файла может быть много.
Если этот файл не попадал ни одному вирусному аналитику, то разумеется о нем ни кто знать не будет.
Здесь http://www.virustotal.com/ru/ какие результаты?

Отправте файл туда http://support.drweb.com/sendnew/

[Пол Банки]

О реальных качествах антивирусов данный тест ничего не говорит.

а когда появится тест удовлетворяющий требованиям?
работы по его созданию ведутся?
есть успехи?

[Valery Ledovskoy]

А как же многочисленные жалобы на то , что Доктор ненаходит некоторые вирусы?

А у какого антивируса нет таких жалоб? Вы знаете какую-то панацею? Так поделитесь. Антивирус - это давно уже не только ПО в коробке, но и дополнительные сервисы (вирусная лаборатория, техподдержка, разработчики и т.д.), которые как раз и призваны устранять недостатки в продуктах.
И что тут считать многочисленностью? Единичные примеры, которые есть в Вашем распоряжении?
Или у Вас есть закрытая статистика от разных вендоров? (что вряд ли)

--
Сотрудничество в ЮФО: ICQ# 152737478

[Valery Ledovskoy]

а когда появится тест удовлетворяющий требованиям?

Вы хотели сказать, не тест, удовлетворяющий требованиям (никто никаких требований не выдвигает). Видимо, Вы имели в виду тест с методикой, которая позволит объективно оценить качество антивирусов?

Тут возникла тупиковая ситуация.
На одном из порталов было предложение о создании "интегрального" теста. Т.е. собрать в кучу результаты тестов различных характеристик антивирусов и попытаться их проанализировать.
Но тут возникает куча других проблем. Основные из них:
1. Одни эксперты считают наиболее важным один набор характеристик антивирусов, другие эксперты - совершенно другие характеристики.
2. Каждый из "интегрируемых" тестов имеет свои погрешности и недостатки, а эти ошибки при суммировании исказят общий результат ещё более сильно.
3. Набор тестов для суммирования результатов тоже можно выбрать разный - итоговый результат будет разный.
4. Существует куча методик суммирования результатов и ранжирования по этим признакам антивирусов.
5. Одни эксперты считают, что в антивирусах должны присутствовать такие-то компоненты, другие считают, что эти компоненты хотя и реализованы в некоторых продуктах, но пока далеки от совершенства и носят сугубо вспомогательную и пиар-функции.

Вам есть что предложить по теме, хотя бы принципиально? Я пока не вижу способов объективной оценки такого многогранного ПО, как антивирусы.

Вернее, способ один - пробовать продукты по очереди и выбирать подходящий для себя. Основываясь на собственном опыте. Но это, опять же, сугубо субъективно.

Что лучше - Hammer или Porsche?

--
Сотрудничество в ЮФО: ICQ# 152737478

[Bargain Buddy]

2. В VB тестируется только детект файлов. При этом многие из тестируемых антивирусов не в состоянии вылечить систему от тех же руткитов, даже если файлы, из которых сконструированы эти руткиты, им известны.

А другие, включая DrWeb, не в состоянии были вылечить систему от известных им руткитов, пока им не сообщили, что именно эти руткиты будут участвовать в тестировании.

[Valery Ledovskoy]

А другие, включая DrWeb, не в состоянии были вылечить систему от известных им руткитов, пока им не сообщили, что именно эти руткиты будут участвовать в тестировании.

Тоже верно, естественно. И в одну, и в другую сторону. Так о каком объективном тестировании мы здесь говорим? Куда дышло поварачивают "тестеры", туда и результаты выходят. За одну переменную потянули - результаты поползли в одну сторону, за другу потянули - вообще бессмыслица получается. Нет-нет, эту переменную тогда трогать не будем. Лучше, наверное, ещё вот так, по-другому попробовать. Сплошное гадание на кофейной гуще. Никакого практически обоснования методик и контроля качества полученных результатов.

--
Сотрудничество в ЮФО: ICQ# 152737478

[Пол Банки]

(никто никаких требований не выдвигает).

погрешность теста. я читал здесь об этом не раз. раз вы не считаете это требованием, знать работы не ведутся.... обычное ТЗ, чем не требование?;)

предложения по суммированию, увы, подтверждают то, что не ведутся...

Я пока не вижу способов объективной оценки такого многогранного ПО, как антивирусы.

дык тест, извините, чем не способ оценки? как понятие...другое дело, что его пока нет.

Что лучше - Hammer или Porsche?

пример не катит. функционал и понты разные.:)

на мой взгляд ни один независимый тест не выполнит задачу. неизбежна ангажированность и, увы, отсутствие мастерства для разработки теста вследствии отсутствия хорошей практики работы с вирусами. только сами разработчики совместно способны родить такой тест. в таком случае пользователи любого АВ будут в выигрыше. или вендорам деньги важнее? типа слабо?;)

[Valery Ledovskoy]

обычное ТЗ, чем не требование?;)

Хорошо. Пишем в ТЗ: "Обеспечить погрешность тестирования детекта не более 1%". От этого, что ли, такая точность будет достигнута? :)

пример не катит. функционал и понты разные.:)

Вот именно! Функционал разный, понты разные, как и у антивирусов, абсолютно точно так же. И одному пользователю нужно "чтобы не тормозило", а другому "чтобы отслеживались все файловые операции, и архивы чтоб проверялись, и пусть тормозит мой восьмиядерник", а третьему "да что это за интерфейс такой хреновый?" :) И какой антивирус лучше (если мы говорим объективно)? И кто больше должен влиять на выбор критериев этих тестов - разработчики антивирусов или пользователи, или журналисты, которые публикуют и интерпретируют результаты, или совместно должны все работать? Только вот разработчикам часто непонятны проблемы пользователей, а пользователям часто не хватает опыта для того, чтобы советовать улучшить методики тестирования, а журналистам нужно выпятить результаты тех, кто хорошо заплатил за публикацию. Но пользователь-то (тот самый неквалифицированный и ничего не понимающий в проблеме) своим кошельком в итоге и голосует, и для того, чтобы больше денег вытащить, и тесты проводятся, такие, какие есть, со своим множеством недостатков. Видите сколько противоречий? А вы про VB рассказываете :) Слишком узко мыслите :)

на мой взгляд ни один независимый тест не выполнит задачу.

В том-то и дело.

только сами разработчики совместно способны родить такой тест.

Попытки такие есть. Посмотрим, к чему приведут. Только у каждого вендора разработчики имеют разные точки зрения, опять же. И в таких альянсах тоже каждый пытается тянуть одеяло на себя.

или вендорам деньги важнее?

Важнее чего? Т.к. объективное тестирование антивируса - суть фикция, то деньги, конечно, важнее :)

--
Сотрудничество в ЮФО: ICQ# 152737478

[Пол Банки]

Хорошо. Пишем в ТЗ: "Обеспечить погрешность тестирования детекта не более 1%". От этого, что ли, такая точность будет достигнута? :)

не будет. а разве такая задача ставилась - составь ТЗ и тест будет готов? ТЗ это отправная точка для разрабов. кто обычно по жизни делает ТЗ?;) сами разрабы. возьмите приемлимую и возможную на данный момент точность , а потом его совершенствуйте. известная методика.

А вы про VB рассказываете :) Слишком узко мыслите :)

похоже я наступил на мозоль.:) извините. про VB я не рассказывал.
а мыслю я узко, это верно. главный функционал, замысел должен лечь в основу теста. странно, что в ваших обширных рассуждениях это не прозвучало.

Попытки такие есть. Посмотрим, к чему приведут. Только у каждого вендора разработчики имеют разные точки зрения, опять же. И в таких альянсах тоже каждый пытается тянуть одеяло на себя.

это уже хорошо. как грицца попытка не пытка;)
чего там тянуть, не понимаю. узко - максимум детекта и лечения реального вреда. видно альянс пока молоденький, раз тянут...

Т.к. объективное тестирование антивируса - суть фикция

надеюсь это ваше личное мнение.

[Valery Ledovskoy]

надеюсь это ваше личное мнение.

Да нет, в общем-то. Почитайте этот форум и другие. Много у кого подобное же мнение. Мне нравится чёткая позиция Borka, например, в этом вопросе, не менее жёсткая, чем у меня :)

--
Сотрудничество в ЮФО: ICQ# 152737478

[Borka]

Мне нравится чёткая позиция Borka, например, в этом вопросе, не менее жёсткая, чем у меня :)

О чем речь? Я что-то пропустил? ;)

---
С уважением,
Borka.

[Пол Банки]

Да нет, в общем-то. Почитайте этот форум и другие. Много у кого подобное же мнение.

я имел ввиду вас, как представителя компании.

[Valery Ledovskoy]

О чем речь? Я что-то пропустил? ;)

Мы про возможность проведения объективного тестирования антивирусов на сегодняшний момент :)

--
Сотрудничество в ЮФО: ICQ# 152737478

[Valery Ledovskoy]

я имел ввиду вас, как представителя компании.

Ну, другие представители компании выскажутся тоже, если посчитают необходимым. И высказывались уже неоднократно ранее.

А Вы правда считаете, что объективное тестирование антивирусов возможно?

Сильно сомневаюсь, даже если брать чисто детект. Формировать коллекцию можно по-разному, интерпретировать результаты можно тоже по-разному. Очень много зависит от мировоззрения того, кто проводит тест. И "рука тестера" часто более заметна, чем желание получить что-то объективное.

--
Сотрудничество в ЮФО: ICQ# 152737478

[Borka]

Мы про возможность проведения объективного тестирования антивирусов на сегодняшний момент :)

Все тесты - лажа! :)

---
С уважением,
Borka.

[Valery Ledovskoy]

Все тесты - лажа! :)

Хотел бы я так коротко излагать свои мысли ;)

--
Сотрудничество в ЮФО: ICQ# 152737478