Перейти к содержимому


Фото
- - - - -

Drweb 10 b clamd


  • Please log in to reply
24 ответов в этой теме

#1 Alexls

Alexls

    Newbie

  • Posters
  • 70 Сообщений:

Отправлено 30 Май 2017 - 08:41

При использовании drweb 10 совместно с drweb-clamd получены следующие проблемы при проверке ZIP архива

 

1. Не возвращается путь из архива

2. при наличии более 1 -го файла с одинаковым вирусом (в тесте EICAR) возвращается только одна запись.

 

Анализ KTrace показал что drweb-se отдает информацию в drweb-clamd честно (тип архива(упаковщика) и n записей с вирусом и путем) а вот drweb-clamd уже выдает одну единственную запись

 

stream: EICAR Test File (NOT a Virus!) FOUND

 

Таким образом вопрос

 

Возможно ли исправить данное поведение с помощью параметров или оно неизменно

 

P.S

Переход на 11 - версию, к сожалению, не вариант


Сообщение было изменено Alexls: 30 Май 2017 - 08:44


#2 Danil Biruykov-Romanov

Danil Biruykov-Romanov

    Member

  • Members
  • 180 Сообщений:

Отправлено 30 Май 2017 - 14:03

Здравствуйте!

 

Спасибо за подробное описание, однако пожалуйста, уточните:

- clamd используется в рамках File-server?

- На какой ОС воспроизводится ошибка?

- Если не сложно, уточните - почему 11-я версия не подходит? Нужна сертификация или что-то другое?

Так же прикрепите, пожалуйста, debug логи для drweb-se и clamd - это нужно для анализа.

Просто установите Loglevel для ScanEngine и Clamd в Debug, повторите ошибку и прикрепите лог.


Прямо сейчас боюсь не могу ответить на Ваш вопрос о исправлении, но получив все данные, мы сможем провести анализ и уже по итогу сказать.


Оптимальное соотношение сигнал/шум в музыке noise.

#3 Alexls

Alexls

    Newbie

  • Posters
  • 70 Сообщений:

Отправлено 30 Май 2017 - 15:00

1. Drweb-workstations_10.1.0.015041411848 (Единственный вменяемый run который я смог найти)

 

Используются модули

 

config

ctl

filecheck

netcheck

spider

clamd

se

 

2. ОС Free-BSD 11 (как следствие не работает(сваливается с ошибкой)  Spider, Без него запуск не происходит

3. При этом сканирование через drweb-ctl scan -a работает прекрасно

4. ограничение по 10 (из -за наличия у него сертификата и соответственно отсутсвия оного у 11)

5. по поводу логов пока есть непонятки. А именно не создается указанный в конфиге файл, а сообщения пишутся в syslog, но на мой взгляд их очень мало

6 Запуск идет путем drweb-configd -d.

7. Работа с clamd через tcp сокет

 

P.S Как разберусь логами постараюсь выслать

 



#4 Dmitry Mikhirev

Dmitry Mikhirev

    Advanced Member

  • Dr.Web Staff
  • 591 Сообщений:

Отправлено 30 Май 2017 - 15:18

В drweb-workstations нет clamd, да и самого drweb-workstations (и, соответственно, spider — кстати, причём он тут вообще?) под FreeBSD нет.

#5 Igorn

Igorn

    Advanced Member

  • Dr.Web Staff
  • 514 Сообщений:

Отправлено 30 Май 2017 - 15:20

Уровни логирования и файлы, в которые пишутся логи,  настраиваются таким образом

drweb-ctl cfset scanengine.log /tmp/log

drweb-ctl cfset scanengine.loglevel debug

 

Посмотреть текущие настройки можно так:

drweb-ctl cfshow  - покажет настройки всех компонентов

drweb-ctl cfshow scanengine - настройки конкретного компонента



#6 Alexls

Alexls

    Newbie

  • Posters
  • 70 Сообщений:

Отправлено 30 Май 2017 - 15:39

to Igorn

К сожалению везде стоит Debug

 

Dmitry Mikhirev

Drweb 10 для FreeBsd мне найти не удалось. Единственный вариант якобы для фри был с rpm (!!!) файлами. (фтп дома на ноуте. Вечером напишу ссылку)

Clamd с этого фтп.

Без Spider Drweb-ctl стартовать отказывается. Но при этом,  его последующее падение видимых проблем не создает.

 

Но, как я уже писал выше

1.Drweb-se через Drweb-ctl работает

2. Связка Drweb-se и Drweb-clamd работает

3. Проблема в том, что Drweb-clamd модифицирует относительно корректный вывод  Drweb-se в абсолютно некорректный


Сообщение было изменено Alexls: 30 Май 2017 - 15:42


#7 Dmitry Mikhirev

Dmitry Mikhirev

    Advanced Member

  • Dr.Web Staff
  • 591 Сообщений:

Отправлено 30 Май 2017 - 15:53

Dmitry Mikhirev
Drweb 10 для FreeBsd мне найти не удалось. Единственный вариант якобы для фри был с rpm (!!!) файлами.

Начиная с версии 11.0 у нас в инсталляторе rpm для всех платформ, это правильно, так и должно быть. Но если речь о 10.1 (или более ранних версиях), никаких rpm там быть не может.
 

Без Spider Drweb-ctl стартовать отказывается. Но при этом,  его последующее падение видимых проблем не создает.
 
Но, как я уже писал выше
1.Drweb-se через Drweb-ctl работает
2. Связка Drweb-se и Drweb-clamd работает
3. Проблема в том, что Drweb-clamd модифицирует относительно корректный вывод  Drweb-se в абсолютно некорректный

Что работает, drweb-se и drweb-clamd, собранные под GNU/Linux, работают на FreeBSD? И откуда Вы всё-таки взяли этот самый clamd?



#8 Alexls

Alexls

    Newbie

  • Posters
  • 70 Сообщений:

Отправлено 30 Май 2017 - 16:01

 

Dmitry Mikhirev
Drweb 10 для FreeBsd мне найти не удалось. Единственный вариант якобы для фри был с rpm (!!!) файлами.

Начиная с версии 11.0 у нас в инсталляторе rpm для всех платформ, это правильно, так и должно быть. Но если речь о 10.1 (или более ранних версиях), никаких rpm там быть не может.
 

Без Spider Drweb-ctl стартовать отказывается. Но при этом,  его последующее падение видимых проблем не создает.
 
Но, как я уже писал выше
1.Drweb-se через Drweb-ctl работает
2. Связка Drweb-se и Drweb-clamd работает
3. Проблема в том, что Drweb-clamd модифицирует относительно корректный вывод  Drweb-se в абсолютно некорректный

Что работает, drweb-se и drweb-clamd, собранные под GNU/Linux, работают на FreeBSD? И откуда Вы всё-таки взяли этот самый clamd?

 

 

1. Таки работает (с compat6)

2. Дойду домой дам ссылку



#9 Dmitry Mikhirev

Dmitry Mikhirev

    Advanced Member

  • Dr.Web Staff
  • 591 Сообщений:

Отправлено 30 Май 2017 - 16:09

Я правильно понимаю, что Вы хотите протестировать работу clamd перед покупкой сертифицированного продукта? Обратитесь в техподдержку, пусть дадут Вам правильный инсталлятор (drweb-file-servers 10.1 для FreeBSD).
Впрочем, о чём это я. drweb-file-servers 10.1 так и остался бетой и сертификацию не проходил. Выходит, сертифицированного clamd на данный момент просто нет. Будет когда 11.0.2 пройдёт сертификацию. Так что лучше начинайте сразу эксперименты с 11 версией.

Сообщение было изменено Dmitry Mikhirev: 30 Май 2017 - 16:19


#10 Alexls

Alexls

    Newbie

  • Posters
  • 70 Сообщений:

Отправлено 30 Май 2017 - 18:33

Я правильно понимаю, что Вы хотите протестировать работу clamd перед покупкой сертифицированного продукта? Обратитесь в техподдержку, пусть дадут Вам правильный инсталлятор (drweb-file-servers 10.1 для FreeBSD).
Впрочем, о чём это я. drweb-file-servers 10.1 так и остался бетой и сертификацию не проходил. Выходит, сертифицированного clamd на данный момент просто нет. Будет когда 11.0.2 пройдёт сертификацию. Так что лучше начинайте сразу эксперименты с 11 версией.

Честно говоря не вижу зависимости между фактом сертификации и соответствия  работы программы некой логике

На мой взгляд проблема сводится к следущему вопросу - подобная модификация сообщения при прохождений через clamd является ошибкой или заложена в логику и если таки заложена то по каким причинам. Плюс есть ли возможность измениния подобного поведения.

Ну и (на сладкое) есть ли возможность работы с движком (минуя ctl и clamd) путем посылки ему отдельных файлов и получения вменяемых ответов (хотя бы так как это было для демонов 4,5 и 7 версий)

 

PS

clamd отсюда

repo.drweb.com/drweb/linux/10.1.0/x86_64/



#11 Dmitry Mikhirev

Dmitry Mikhirev

    Advanced Member

  • Dr.Web Staff
  • 591 Сообщений:

Отправлено 30 Май 2017 - 18:46

На мой взгляд проблема сводится к следущему вопросу - подобная модификация сообщения при прохождений через clamd является ошибкой или заложена в логику и если таки заложена то по каким причинам. Плюс есть ли возможность измениния подобного поведения.

Насколько я понимаю, это ошибка, но она вполне может быть вызвана установкой рассогласованных версий компонентов, да ещё и не на ту систему, под которую эти компоненты собирались и на которой тестировались. Воссоздавать такое окружение для воспроизведения ошибки просто не имеет смысла.
 

Ну и (на сладкое) есть ли возможность работы с движком (минуя ctl и clamd) путем посылки ему отдельных файлов и получения вменяемых ответов (хотя бы так как это было для демонов 4,5 и 7 версий)

Только через ctl.

Сообщение было изменено Dmitry Mikhirev: 30 Май 2017 - 18:47


#12 Boris Savelev

Boris Savelev

    Member

  • Beta Testers
  • 154 Сообщений:

Отправлено 30 Май 2017 - 18:52

1. Не возвращается путь из архива

2. при наличии более 1 -го файла с одинаковым вирусом (в тесте EICAR) возвращается только одна запись.

 

1) надо уточнить в спеке протокола clamd

2) это поведение по умолчанию. для иного в drweb-clamd надо реализовать ALLMATCHSCAN

сейчас это выглядит так:

clamdscan -z --config-file=/home/boris/clamdscan.conf ./v.zip
clamd replied "UNKNOWN COMMAND". Command was ALLMATCHSCAN

 


telegram: @bsavelev


#13 Alexls

Alexls

    Newbie

  • Posters
  • 70 Сообщений:

Отправлено 30 Май 2017 - 19:03


 

Ну и (на сладкое) есть ли возможность работы с движком (минуя ctl и clamd) путем посылки ему отдельных файлов и получения вменяемых ответов (хотя бы так как это было для демонов 4,5 и 7 версий)

Только через ctl.

 

 

Так то да.

Но, к сожалению при этом программа распадается на задачу посылальщика файлов и задачу анализатора логов. Плюс огород по их синхронизации. А более сложная логика как известно приводит к ошибкам. 



#14 Alexls

Alexls

    Newbie

  • Posters
  • 70 Сообщений:

Отправлено 30 Май 2017 - 19:05

 

1. Не возвращается путь из архива

2. при наличии более 1 -го файла с одинаковым вирусом (в тесте EICAR) возвращается только одна запись.

 

1) надо уточнить в спеке протокола clamd

2) это поведение по умолчанию. для иного в drweb-clamd надо реализовать ALLMATCHSCAN

сейчас это выглядит так:

clamdscan -z --config-file=/home/boris/clamdscan.conf ./v.zip
clamd replied "UNKNOWN COMMAND". Command was ALLMATCHSCAN

Действительно. В прилагаемых примерах комнда ALLMATCHSCAN отсутствует



#15 Boris Savelev

Boris Savelev

    Member

  • Beta Testers
  • 154 Сообщений:

Отправлено 30 Май 2017 - 19:17

Cудя по выводу родного демона clamav имена заразы внутри архива не показываются. В ответе фигурирует только имя архива. Так что по первому вопросу, скорее всего by design и с нашей стороны сделать ничего нельзя, не сломав протокол clamd

 

Чего вам не хватает в drweb-ctl? Для прошлых версий drweb(dc) точно также надо парсить вывод.


telegram: @bsavelev


#16 Alexls

Alexls

    Newbie

  • Posters
  • 70 Сообщений:

Отправлено 30 Май 2017 - 20:07

Cудя по выводу родного демона clamav имена заразы внутри архива не показываются. В ответе фигурирует только имя архива. Так что по первому вопросу, скорее всего by design и с нашей стороны сделать ничего нельзя, не сломав протокол clamd

 

Чего вам не хватает в drweb-ctl? Для прошлых версий drweb(dc) точно также надо парсить вывод.

А вот и неправда ваша.

 

Для консольного сканера вообще не было возможности посылки отдельного файла. Но в открытом доступе были исходники для работы с демоном.

В 10-й же версии протокол работы с демоном изменился а исходников для работы с ним не появилось

 

Плюс изменилась общая философия

 

вместо абсолютно понятной пары  файл - вирус появилось не совсем понятное понятие угроза.

 

В общем то по большому счету и ничего но при зтом исчезли

 

1. Счетчик общего количества проверенных файлов (с учетом архивов)

2. Заключительная статистка с распределением по категориям вирусов (опять же с учетом архивов) (данный пункт м.б. и не нужен вообще, но ведь был же)

 

Согласитесь фраза отчета типа Проверено 10 файлов обнаружено 100 вирусов выглядит не совсем адекватно.

 

Плюс в выводе появился мелкий дубляж ни на что не влияющий, но резко осложняющий подсчет значений по п 1 и.2 самостоятельно

 

Плюс еще  кое что по мелочи.

 

Ну а тот факт что при повторной провеке носителя точно содержащего вирусы количество обнаруженных угроз может уменьшаться,  а то и оказаться равно 0 я до сих пор осознаю с большим трудом

 

И это у меня еще не дошли руки проверить к чему привязана угроза к пути и файлу или же еще и к носителю. В первом случае вообще сюр.

 

В общем грустно это



#17 Danil Biruykov-Romanov

Danil Biruykov-Romanov

    Member

  • Members
  • 180 Сообщений:

Отправлено 31 Май 2017 - 14:12

 

1. Счетчик общего количества проверенных файлов (с учетом архивов)

2. Заключительная статистка с распределением по категориям вирусов (опять же с учетом архивов) (данный пункт м.б. и не нужен вообще, но ведь был же)

 

Согласитесь фраза отчета типа Проверено 10 файлов обнаружено 100 вирусов выглядит не совсем адекватно.


Второй пункт легко заменяется командой drweb-ctl threats, где сожержится полный список обнаруженных угроз.

По поводу первого пункта, я правильно понял, что Scanned objects в конце отчета о сканировании вносит больше путаницы и хочется именно количества проверенных файлов, а не объектов? Но в таком случае, как раз будет ситуация, что проверен один файл найдено 100 вирусов, если у нас 100 инфицированных файлов в архиве.


Оптимальное соотношение сигнал/шум в музыке noise.

#18 Danil Biruykov-Romanov

Danil Biruykov-Romanov

    Member

  • Members
  • 180 Сообщений:

Отправлено 31 Май 2017 - 14:14

Ну а тот факт что при повторной провеке носителя точно содержащего вирусы количество обнаруженных угроз может уменьшаться,  а то и оказаться равно 0 я до сих пор осознаю с большим трудом

 

Логи, пожалуйста.

 

Без логов я могу предположить, что:
- вирусы были удалены/перенесены в карантин/излечены и потому количество меняется

- носитель поврежден и были ошибки чтения

- еще очень много вариантов, из-за которых результат проверки отличается.


Оптимальное соотношение сигнал/шум в музыке noise.

#19 Alexls

Alexls

    Newbie

  • Posters
  • 70 Сообщений:

Отправлено 31 Май 2017 - 14:38

 

Ну а тот факт что при повторной провеке носителя точно содержащего вирусы количество обнаруженных угроз может уменьшаться,  а то и оказаться равно 0 я до сих пор осознаю с большим трудом

 

Логи, пожалуйста.

 

Без логов я могу предположить, что:
- вирусы были удалены/перенесены в карантин/излечены и потому количество меняется

- носитель поврежден и были ошибки чтения

- еще очень много вариантов, из-за которых результат проверки отличается.

 

 

Вот один из примеров (с моей точки зрения полный неадекват, т.к. файл 0.txt содержит одни 0

 

/opt/vir2/0-N.rar//0.txt - Compression ratio limit reached
/opt/vir2/0-N.rar//Новая папка\0.txt - Compression ratio limit reached
/opt/vir2/0-N.rar//Новая папка\Новая папка\0.txt - Compression ratio limit reached
/opt/vir2/0-N.rar//Новая папка\Новая папка\Новая папка\0.txt - Compression ratio limit reached
/opt/vir2/0-N.exe//0.txt - Compression ratio limit reached
/opt/vir2/0-N.exe//Новая папка\0.txt - Compression ratio limit reached
/opt/vir2/0-N.exe//Новая папка\Новая папка\0.txt - Compression ratio limit reached
/opt/vir2/0-N.exe//Новая папка\Новая папка\Новая папка\0.txt - Compression ratio limit reached

 

А вообще чуть ниже есть моя ветка по drweb-ctl.

 

 

Там много чего есть

 

А мне копаться в этом уже не интересно, т.к. поведение программы зафиксировано фактом сертификации.

Даже если это самое поведения меня лично абсолютно не устраивает.



#20 Dmitry Mikhirev

Dmitry Mikhirev

    Advanced Member

  • Dr.Web Staff
  • 591 Сообщений:

Отправлено 31 Май 2017 - 15:13

Вот один из примеров (с моей точки зрения полный неадекват, т.к. файл 0.txt содержит одни 0

В чём же неадекват? Подсунули фактически zip-бомбу, получили соответствующее сообщение.


Читают тему: 4

0 пользователей, 4 гостей, 0 скрытых