Перейти к содержимому


Фото
- - - - -

Тестирование Доктор Веб 12 веосии


  • Закрыто Тема закрыта
267 ответов в этой теме

#201 Internet

Internet

    Member

  • Posters
  • 444 Сообщений:

Отправлено 07 Декабрь 2018 - 08:00

И такое мнение бытует постоянно)

Помнится год назад поставил себе каспера(18 версия) и ради прикола решил его завалить.Кароче там червь на горячую работал, жаль видео не снял или скриншот не сделал...

Прикрепленные файлы:


Сообщение было изменено Internet: 07 Декабрь 2018 - 08:01


#202 Konstantin Yudin

Konstantin Yudin

    Смотрящий

  • Dr.Web Staff
  • 19 577 Сообщений:

Отправлено 07 Декабрь 2018 - 09:29

любой антивирус пропускает вирусы, это даже нет смысла тестировать. смысл есть тестировать стек технологий, чтобы хоть как то понять на что способен ав составить матрицу и вывести общие черты. но для этого нужно понимать работу каждого тестируемого ав, что на сегодня не достижимая задача и ни один вендор не поможет вам в этом, ибо это ком. тайна.

да что говорить, 30 лет прошло, а методик тестирования антивируса до сих пор нет, были попытки составить их, но получались большие методички, помножив на кол-во тестируемых, утопическая модель. да и нет вообще смысла в этих паблик тестах, единственное что важно, это как ты защищаешь своих пользователей, которые доверились тебе и выразили это рублем.

с появлением облаков это стало очень наглядным. делаешь новый детект, выпускаешь, его в бету, часа не проходит а уже видишь как оно начало защищать реальных пользователей, коих под видом беты у нас полно. вот что важно, и это чертовски мотивирует. а все эти тесты, я скажу прямо, не можешь не берись, а то что не могут это факт, мало кто в компании даже знает как полностью устроен и защищает ав, а уж про черный ящик который доступен в паблике и подавно можно сказать что только через набор заранее подготовленных клише все тестируется.

Одних только детектов помноженные на комбинации поведения, окружения, сотни выходит, куда им это все охватить да еще по всем вендорам, да и в этом просто нет смысла. поэтому тестов антивирусов не существует в природе, есть тесты малых его частей которые хоть как то можно классифицировать и размножить на всех вендоров.
With best regards, Konstantin Yudin
Doctor Web, Ltd.

#203 Konstantin Yudin

Konstantin Yudin

    Смотрящий

  • Dr.Web Staff
  • 19 577 Сообщений:

Отправлено 07 Декабрь 2018 - 10:02

еще умиляют тесты вида, выключим реалтайм сканер, чтобы проверить не сигнатурные возможности. спрашивается, откуда тебе известно что отключение реал тайм сканера отключает только сигнатуры а не пол антивируса да еще и у всех вендоров идентично. вот у нас это не так, все подсистемы между собой связаны и отключив часть теряешь функционал, при этом у тестеров пропадает возможность избежать сигнатурного детекта. но мы то не для тестов свой ав делаем, так ведь, а для реальной защиты и защита эта многоуровневая и эффективна только когда работает полностью. даже отключение проверки трафика может изменить картину, т.к. алгоритмы не увидят важного элемента пазла. в общем без понимания конкретного ав нет смысла их тестить вообще.

еще ляп который я упоминал ранее, это не понимание работы детектирования. все современные ав строят модель детектирования исходя из данных о реальном поведении угроз, т.е. нельзя просто взять, загрузить произвольного суслика, любезно его положить и запустить (о скане мы даже не говорим, это не имеет вообще смысла уже годы), это не имеет смысла. этот суслик вообще через почту дропается, доставляется через LOLBINs, через эксплойты, и т.п. модели. но чтоб для каждого семпла помноженное на кол-во вендоров воссоздать его условия заражения, понадобится немереное кол-во времени и главное скилов, коих мало у кого есть, и затратность всех этих тестов сделает их бессмысленными. а самое забавное, что к этому моменту вендоры уже могут кардинально обновить модель детектирования тех или иных классов угроз ибо последние несколько лет счет идет на часы в некоторые моменты, и в итоге все будет напрасно. и это далеко не последний пункт.
With best regards, Konstantin Yudin
Doctor Web, Ltd.

#204 VVS

VVS

    The Master

  • Moderators
  • 19 860 Сообщений:

Отправлено 07 Декабрь 2018 - 10:18

касаемо скорости дезинфекции

Костя, то, что в этом "тесте" удаление сусликов длилось 6 дней, меня мало волнует, ибо ситуация искусственная.
А вот то, что, по словам "тестера", при этом приходилось перезагружать винду, т.к. она переставала отзываться - IMHO это гораздо интереснее и это имело бы смысл поисследовать.


меня вот что возмутило.  что даже не начинают толком диалог сразу дампы...... © alehas777
--------------------------------
Антивирус это как ремень безопасности - всего лишь увеличивает шансы выжить или получить менее тяжкую травму при аварии.
Есть, однако, категория людей, которые рассматривают средства безопасности как ауру неуязвимости. © basid


#205 Konstantin Yudin

Konstantin Yudin

    Смотрящий

  • Dr.Web Staff
  • 19 577 Сообщений:

Отправлено 07 Декабрь 2018 - 10:25

накапаем еще пожалуй, пока на волне :)

почему сигнатурный детект, сам по себе ничего не показывает и не является каким либо значимым пунктом тестирования ав?

многие известные личности на мировой сцене до сих пор меряются результатами того же вирустотала как показателем работы и качества ав, про локальных тестеров и экспертов я вообще молчу.

все банально до безобразия, суслик на диске и суслик в системе это совершенно разные вещи, т.е. смысл в том что даже зная сигнатурой суслика далеко не факт что его найдешь в зараженной машине. один вариантов который раньше был популярен но не умер полностью, это конечно же руткиты, т.е. суслик был под прикрытием драйвера, и далеко не каждый вендор мог его обойти, что много лет показывали на сайте антималваре.ру. Но это далеко не главный пункт.

второй вариант, это не знание ав мест куда прописался суслик, т.е. автозагрузка, тут вариантов доходит до нескольких сотен. я периодически с выходом новой винды открываю regedit и прям глазами иду и смотрю весь реестр на предмет потенциальных мест, и они частенько попадаются, ребята из редмонта в 10 работают не покладая рук. :)

третий вариант, это всевозможные трюки с путями, как на диске так и в реестре, нули в именах, RTL, особенности ntfs, коротких имен, и т.п. тут тоже поле для творчество.

в последнее время модно использовать LOLBINs техники, т.е. легальные модули внутри ОС, для скрытого проникновения и резаражения, попробуй пойми в этой каше скриптов, батников, бинарей, com объектов, .net а кого здесь вообще запускают и откуда берут. все это это обфусцированно вдобавок.

так же есть варианты сусликов которые после своего запуска удаляют все следы своего запуска, и восстанавливают и только по определенным событиям, или условиям.

так же есть варианты которые существуют только в памяти, т.е. после запуска файла уже не нужен и толку от го детекта ноль. он каждый старт прилетает по сети через десятки вариантов дыр и исчезает до ребута.

это только верхушка вариантов, самых очевидных.
With best regards, Konstantin Yudin
Doctor Web, Ltd.

#206 SergSG

SergSG

    The Master

  • Posters
  • 14 425 Сообщений:

Отправлено 07 Декабрь 2018 - 15:32

А мне кажется, что проблема еще в выкрученных настройках.Может быть, если оставить их по умолчанию и не удалять 32 к угроз, а обезвредить их так, как предлагает антивирус - было бы все хорошо.Но это догадки, не более

Это не совсем так - обезвреживание, а точнее поиск следов заражения, происходит при любом раскладе. При удалении просто не создается копии в карантине.

А поиски следов от 32000 сусликов штука не быстрая.



#207 SergSG

SergSG

    The Master

  • Posters
  • 14 425 Сообщений:

Отправлено 07 Декабрь 2018 - 15:44

 

 

За рядового юзера не стоит переживать. Хотя бы потому, что он не будет десятки тысяч мусора вирусов копировать себе на машину.

Так то оно так. И все же, лечение/удаление стало довольно длительным процессом. Реальные несколько вирусов много времени не займут, конечно, а если попал на массовку?
И на сколько оправдано такое тщательное лечение/удаление - тоже спорно.

 

часть этого времени тратится на не удаление чего не следует. таковы реалии. нельзя щас просто взять все и удалить что скажут.

 

Почему? Если б юзер выбрал "лечение", тогда другое дело.

Может в сканере стоит изменить формулировку, чтоб "удалить" означало только удалить, а вариант со всякими манипуляциями перед удалением назывался как то по другому. Тогда, во первых - это "удаление" не будет сбивать с толку пользователей, а во вторых - тесты будут проходить значительно лучше. И быстрее.  :)



#208 sergeyko

sergeyko

    Guru

  • Dr.Web Staff
  • 3 928 Сообщений:

Отправлено 07 Декабрь 2018 - 15:48

 

 

 

За рядового юзера не стоит переживать. Хотя бы потому, что он не будет десятки тысяч мусора вирусов копировать себе на машину.

Так то оно так. И все же, лечение/удаление стало довольно длительным процессом. Реальные несколько вирусов много времени не займут, конечно, а если попал на массовку?
И на сколько оправдано такое тщательное лечение/удаление - тоже спорно.

 

часть этого времени тратится на не удаление чего не следует. таковы реалии. нельзя щас просто взять все и удалить что скажут.

 

Почему? Если б юзер выбрал "лечение", тогда другое дело.

Может в сканере стоит изменить формулировку, чтоб "удалить" означало только удалить, а вариант со всякими манипуляциями перед удалением назывался как то по другому. Тогда, во первых - это "удаление" не будет сбивать с толку пользователей, а во вторых - тесты будут проходить значительно лучше. И быстрее.  :)

 

Вы, должно быть, не всерьез! 

Озадачивать пользователя еще и вариантами обезвреживания!? Это за гранью. А главное, ради чего? Ради вот такого теста? 


Sergey Komarov
R&D www.drweb.com

#209 VVS

VVS

    The Master

  • Moderators
  • 19 860 Сообщений:

Отправлено 07 Декабрь 2018 - 15:48

За рядового юзера не стоит переживать. Хотя бы потому, что он не будет десятки тысяч мусора вирусов копировать себе на машину.

Так то оно так. И все же, лечение/удаление стало довольно длительным процессом. Реальные несколько вирусов много времени не займут, конечно, а если попал на массовку?
И на сколько оправдано такое тщательное лечение/удаление - тоже спорно.

часть этого времени тратится на не удаление чего не следует. таковы реалии. нельзя щас просто взять все и удалить что скажут.

Почему? Если б юзер выбрал "лечение", тогда другое дело.
Может в сканере стоит изменить формулировку, чтоб "удалить" означало только удалить, а вариант со всякими манипуляциями перед удалением назывался как то по другому. Тогда, во первых - это "удаление" не будет сбивать с толку пользователей, а во вторых - тесты будут проходить значительно лучше. И быстрее.  :)

Если суслик поставил драйвер - ты можешь гарантировать, что, после удалении этого драйвера без чистки реестра, винда вообще запустится?

меня вот что возмутило.  что даже не начинают толком диалог сразу дампы...... © alehas777
--------------------------------
Антивирус это как ремень безопасности - всего лишь увеличивает шансы выжить или получить менее тяжкую травму при аварии.
Есть, однако, категория людей, которые рассматривают средства безопасности как ауру неуязвимости. © basid


#210 VVS

VVS

    The Master

  • Moderators
  • 19 860 Сообщений:

Отправлено 07 Декабрь 2018 - 15:55

И да, согласен с sergeyko - заниматься твиканьем антивируса только для того, чтобы лучше проходить подобные "тесты" как-то нелепо и бесполезно, ибо перед "тестером" стоит вполне определённая задача, которую он по любому исполнит, ибо способов шулерства можно придумать немерянно.


Сообщение было изменено VVS: 07 Декабрь 2018 - 15:56

меня вот что возмутило.  что даже не начинают толком диалог сразу дампы...... © alehas777
--------------------------------
Антивирус это как ремень безопасности - всего лишь увеличивает шансы выжить или получить менее тяжкую травму при аварии.
Есть, однако, категория людей, которые рассматривают средства безопасности как ауру неуязвимости. © basid


#211 SergSG

SergSG

    The Master

  • Posters
  • 14 425 Сообщений:

Отправлено 07 Декабрь 2018 - 16:19

 

Может в сканере стоит изменить формулировку, чтоб "удалить" означало только удалить, а вариант со всякими манипуляциями перед удалением назывался как то по другому. Тогда, во первых - это "удаление" не будет сбивать с толку пользователей, а во вторых - тесты будут проходить значительно лучше. И быстрее.  :)

Вы, должно быть, не всерьез! 

Озадачивать пользователя еще и вариантами обезвреживания!? Это за гранью. А главное, ради чего? Ради вот такого теста? 

Нет, очень даже всерьез.

Логика работы сканера изменилась, а названия вариантов обезвреживания остались от 4.32.

По ходу, этих вариантов и сейчас изобилие. Вот только понять по ним простому пациенту что  именно тут "лечат" и что происходит при удалении довольно мудрено.

 

Прикрепленный файл  Scan1.png   33,76К   0 Скачано раз

 

PS: Вот мне принесли ПК школьника с несколькими тысячами сусликов - я че реально буду это всё 6 дней "удалять"? Да мне проще новую ОС накатить и забыть.



#212 SergSG

SergSG

    The Master

  • Posters
  • 14 425 Сообщений:

Отправлено 07 Декабрь 2018 - 16:21

Если суслик поставил драйвер - ты можешь гарантировать, что, после удалении этого драйвера без чистки реестра, винда вообще запустится?

Ну останется в реестре ключ в никуда - там полно таких остается даже без вирусни.



#213 Saint-Petersburg

Saint-Petersburg

    Newbie

  • Posters
  • 74 Сообщений:

Отправлено 07 Декабрь 2018 - 16:25

А связаться с автором и взять образцы не? Разве не в ваших интересах? Хоть следущий тест провалить на этих образцах не будите.

Помню Kaspersky лажанул на каком-то интересном файле, так разработчики прям в комментариях копали инфу о файле, и получили на исследование.

ip9.gif

3fadbf9ddc56.gif

 


#214 VVS

VVS

    The Master

  • Moderators
  • 19 860 Сообщений:

Отправлено 07 Декабрь 2018 - 16:34

А связаться с автором и взять образцы не? Разве не в ваших интересах? Хоть следущий тест провалить на этих образцах не будите.

Образцы, я думаю, никому бы не помешали, но вот только к этому "тесту" это не имеет никакого отношения...


меня вот что возмутило.  что даже не начинают толком диалог сразу дампы...... © alehas777
--------------------------------
Антивирус это как ремень безопасности - всего лишь увеличивает шансы выжить или получить менее тяжкую травму при аварии.
Есть, однако, категория людей, которые рассматривают средства безопасности как ауру неуязвимости. © basid


#215 Internet

Internet

    Member

  • Posters
  • 444 Сообщений:

Отправлено 07 Декабрь 2018 - 16:45

А связаться с автором и взять образцы не? Разве не в ваших интересах? Хоть следущий тест провалить на этих образцах не будите.

Помню Kaspersky лажанул на каком-то интересном файле, так разработчики прям в комментариях копали инфу о файле, и получили на исследование.

Следующий тест будет готовиться уже по другим образцам



#216 Saint-Petersburg

Saint-Petersburg

    Newbie

  • Posters
  • 74 Сообщений:

Отправлено 07 Декабрь 2018 - 17:02

А связаться с автором и взять образцы не? Разве не в ваших интересах? Хоть следущий тест провалить на этих образцах не будите.
Помню Kaspersky лажанул на каком-то интересном файле, так разработчики прям в комментариях копали инфу о файле, и получили на исследование.

Следующий тест будет готовиться уже по другим образцам
Там накопительный архив есть. Задача нормальной антивирусной компании - выяснить почему так произошло и добавить эти файлы в базу, нужно быть заинтересованным в том, чтоб подобного не случалось. Хотя бы продемонстрировать для пользователей, вот смотрите, мы исправились и добавили все в базу. А пока я вижу, что тут сидят на жопе и ни черта не делают.

Какая мне разница, что следущий тест будет на других образцах? Если Вы и эти не спешите добавлять? Нужно быть заинтересованными, ребята.

ip9.gif

3fadbf9ddc56.gif

 


#217 Saint-Petersburg

Saint-Petersburg

    Newbie

  • Posters
  • 74 Сообщений:

Отправлено 07 Декабрь 2018 - 17:16

Проведут повторно через месяц на этих же образцах тест, и что будет? Опять провал? И что будут тогда разработчики говорить? Ой, простите, но мы за это время ничего не добавили и получайте такой же результат?

ip9.gif

3fadbf9ddc56.gif

 


#218 sergeyko

sergeyko

    Guru

  • Dr.Web Staff
  • 3 928 Сообщений:

Отправлено 07 Декабрь 2018 - 17:33

Saint-Petersburg, юноша, выбирайте выражения! Это для начала. 

 

А по существу, вы правы. Нам все равно, что мы там в этом "архивном элементе" пропустили, потому что нам все равно, какой результат мы покажем в каком-либо лабораторном тесте. Потому что для нас важно, что не продемонстрировать что-то там пользователям, а защитить их машины в реальной жизни. 

Вот если компании важно выглядеть хорошей, она гонит своих разработчиков заниматься всякой фигней, и прямо в каментах добывать никому ненужный мусор, чтобы потом через месяц выглядеть круто. Но кто в этом случае выиграет? Пользователи? Нет, потому что они этот мусор никогда не встретят. 


Сообщение было изменено sergeyko: 07 Декабрь 2018 - 17:34

Sergey Komarov
R&D www.drweb.com

#219 Saint-Petersburg

Saint-Petersburg

    Newbie

  • Posters
  • 74 Сообщений:

Отправлено 07 Декабрь 2018 - 17:44

sergeyko, а как вы можете защитить в реальной жизни, если скажем мне что-то попадётся из этого ненужного мусора? Это вредоносные файлы? Вредоносные. Вы их пропустили? Пропустили. Как вы защитите меня в реальной жизни от них, если антивирус их не ловит? И почему такая уверенность, что эти файлы не попадутся вашим пользователям? Там вполне свежие образцы со слов автора есть.

Сообщение было изменено Saint-Petersburg: 07 Декабрь 2018 - 17:47

ip9.gif

3fadbf9ddc56.gif

 


#220 Kirill Polubelov

Kirill Polubelov

    Hr. Schreibikus

  • Dr.Web Staff
  • 4 467 Сообщений:

Отправлено 07 Декабрь 2018 - 17:50

Как вы защитите меня в реальной жизни от них, если антивирус их не ловит? И почему такая уверенность, что эти файлы не попадутся вашим пользователям? Там вполне свежие образцы со слов автора есть.

Почитайте, пожалуйста, что чуть выше писал пользователь форума 'Konstantin Yudin'. В этом есть смысл.


(exit 0)