94 ответов в этой теме

[dbanschikov]

To dbanschikov

Вывод drweb-ctl scan показывает общую статистику по сканированию.

Вывод drweb-ctl threats показывает подробную статистику по отдельным угрозам.

 

К сожалению все не так

 

В статистике имеем одну угроза на 3679 действительных угроз. И где тут общая статистика по сканированию?

Во threads - одна запись на 3679 угроз. И где тут подробная статистика по отдельным угрозам?.

 

Да ну?

 

$ drweb-ctl scan ~/wrk/eicar
/home/dbanschikov/wrk/eicar/linux-amd64.bin - Ok
/home/dbanschikov/wrk/eicar/test.zip (ZIP) - Ok
/home/dbanschikov/wrk/eicar/7/План работ.doc - Ok
/home/dbanschikov/wrk/eicar/dawkins10.pdf (PDF) - Ok
/home/dbanschikov/wrk/eicar/test - Ok
/home/dbanschikov/wrk/eicar/test2 - Ok
/home/dbanschikov/wrk/eicar/eicar_encrypted.zip//eicar.com - Password protected
/home/dbanschikov/wrk/eicar/27/eicar.com - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/eicar.com3 - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/eicar.com.zip//eicar.com - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/multi.zip//eicar.com3 - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/multi.zip//eicar.com4 - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/curable.origin - infected with VirusConstructor.based
/home/dbanschikov/wrk/eicar/eicar.com2 - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/curable - infected with VirusConstructor.based
/home/dbanschikov/wrk/eicar/a.zip//eicar.com3 - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/a.zip//eicar.com4 - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/eicar.com5 - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/eicar.com - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/Unconfirmed 677672.crdownload - infected with EICAR Test File (NOT a Virus!)
/home/dbanschikov/wrk/eicar/21_Richard_Dawkins___The_God_Delusion.pdf (PDF) - Ok
Scanned objects: 19, scan errors: 1, threats found: 11, threats neutralized: 0.
Scanned 1975.54 KB in 0.17 s with speed 11972.98 KB/s.

Scanner objects: 19 - общее количество проверенных файлов

scan errors: 1 - общее количество ошибок(Password protected)

threats found: 11 - общее количество файлов в которых были обнаружены угрозы

threats neutralized: 0 - количество нейтрализованных угроз

 

Теперь смотрим в drweb-ctl threats

 

ID: 11
Path: /home/dbanschikov/wrk/eicar/a.zip
Threat: EICAR Test File (NOT a Virus!) ... (infected archive with 2 threats)
File info: size = 454 bytes, owner = dbanschikov:dbanschikov, last modified = 2015-Mar-18 18:46:58
History: 2016-Apr-21 12:27:10; FOUND by Ctl (pid 26237)

Внутри файла /home/dbanschikov/wrk/eicar/a.zip были обнаружено две угрозы.

 

ID: 4
Path: /home/dbanschikov/wrk/eicar/multi.zip
Threat: EICAR Test File (NOT a Virus!) ... (infected archive with 2 threats)
File info: size = 454 bytes, owner = dbanschikov:dbanschikov, last modified = 2015-Mar-18 18:47:20
History: 2016-Apr-21 12:27:10; FOUND by Ctl (pid 26237)

И здесь две угрозы внутри одного файла.

 

ID: 9
Path: /home/dbanschikov/wrk/eicar/Unconfirmed 677672.crdownload
Threat: EICAR Test File (NOT a Virus!) (Known virus)
File info: size = 68 bytes, owner = dbanschikov:dbanschikov, last modified = 2015-Jun-16 13:07:57
History: 2016-Apr-21 12:27:10; FOUND by Ctl (pid 26237)

 

А например здесь одна.

 

В отчете drweb-ctl scan речь идет о файлах. В drweb-ctl threats речь идет об угрозах внутри файлов. Почувствуйте разницу.

[Alexls]

To

dbanschikov

К-а-к и-н-т-е-р-е-с-н-о!!!!

 

То есть (если я правильно понял)

 

Для того чтобы получить суммарное количество зараженных файлов

 

 В 5 -й версии мне достаточно было посмотреть выходную статистику

 

Теперь же мне надо

1. запомнить даты начала и окончания сканирования.

2. Осуществить сканирование

3. Осуществить просмотр вывода threats и суммирование всех строк

1.без with n threats как 1

2. с with n threats как n

3. При этом не забыть временные рамки.

 

Офигеть не встать.

 

Да, алгоритм не работает при повторном сканировании. Файл уже в кеше. И его время не меняется.

[dbanschikov]

To

dbanschikov

К-а-к и-н-т-е-р-е-с-н-о!!!!

 

То есть (если я правильно понял)

 

Для того чтобы получить суммарное количество зараженных файлов

 

 В 5 -й версии мне достаточно было посмотреть выходную статистику

 

Теперь же мне надо

1. запомнить даты начала и окончания сканирования.

2. Осуществить сканирование

3. Осуществить просмотр вывода threats и суммирование всех строк

1.без with n threats как 1

2. с with n threats как n

3. При этом не забыть временные рамки.

 

Офигеть не встать.

 

Да, алгоритм не работает при повторном сканировании. Файл уже в кеше. И его время не меняется.

 

Суммарное количество зараженных файлов с точки зрения UNIX - это количество именно файлов. А не количество каких-то метаданных внутри файлов.

В выводе drweb-ctl scan как раз указано количество файлов, а не чего-то иного.

 

Угроза в файле уже была зарегистрирована.

Файл не изменился.

Зачем при сканировании не измененного файла создавать новые записи об угрозах?

Согласитесь что такое поведение как минимум логично.

 

Вы используете не совсем подходящий инструмент для решения своей задачи. Отсюда и ощущение что задача решается сложно. А подходящий инструмент, который уже был озвучен, использовать не можете.

[Alexls]

To

dbanschikov

Человек с альтернативными умственными способностямиизм ситуации состоит в том, что у меня уже был инструмент который

а. Решал задачу

б. Устраивал

 

Теперь же (фирма DrWeb)

а. Грохнула инструмент

б.Создала новый инструмент решающий задачу не полностью и как выясняется еще и через известное место

в.Вследствие п.б инструмент неудобен

г. Если бы не был изменен протокол общения с ядром можно было наплевать на п.а и б. Так нет же протокол изменен и закрыт.

д. Самое обидное

    в версии 6 для серверов тоже самое ядро что и в версии 10. Но ведет она себя вполне корретно (В соответствии с 5-й). Но у нее сертификат до 17 года.

 

Печально все это.

[dbanschikov]

To
dbanschikov
Человек с альтернативными умственными способностямиизм ситуации состоит в том, что у меня уже был инструмент который
а. Решал задачу
б. Устраивал
 
Теперь же (фирма DrWeb)
а. Грохнула инструмент
б.Создала новый инструмент решающий задачу не полностью и как выясняется еще и через известное место
в.Вследствие п.б инструмент неудобен
г. Если бы не был изменен протокол общения с ядром можно было наплевать на п.а и б. Так нет же протокол изменен и закрыт.
д. Самое обидное
    в версии 6 для серверов тоже самое ядро что и в версии 10. Но ведет она себя вполне корретно (В соответствии с 5-й). Но у нее сертификат до 17 года.
 
Печально все это.

 

Соревнование инвалидов по плаванию. Кто без чего, а один участник - так просто - голова в резиновой шапочке. Дан старт, все прыгнули-поплыли, а голова - бульк, и на дно. Вытаскивают её:

- Ну что же ты, зачем на соревнования пришла, если плавать не умеешь!?
- Да я-то что? Я пять лет училась ушами грести, а какой-то человек с альтернативными умственными способностями на меня шапочку надел!

 

 

Ваши аргументы основаны на том, что вы к чему-то привыкли и не хотите делать дополнительных движений чтобы перейти в новый дивный мир.

 

[Alexls]

to

dbanschikov

А можно ли в режиме rawscan использовать списки файлов подлежащих проверке?

 

Параметры Stdin не работают

[dbanschikov]

to
dbanschikov
А можно ли в режиме rawscan использовать списки файлов подлежащих проверке?
 
Параметры Stdin не работают

$ drweb-ctl rawscan --report DEBUG /etc/passwd /etc/issue
ScanEngine 11.1.0.1603242330
Core engine 7.00.18.03140 (700) API 2.2, shell API 2.2
Virus base loaded "/var/opt/drweb.com/bases/drw9009b.vdb": 18453
Virus base loaded "/var/opt/drweb.com/bases/dwm90008.vdb": 1878
<skipped>
Virus base loaded "/var/opt/drweb.com/bases/drw900bl.vdb": 18642
Virus base loaded "/var/opt/drweb.com/bases/drw900bc.vdb": 11685
Using 7141864 virus records
object: "/etc/issue"
size: 26
heuristic_analysis: true
core_fingerprint: "\264\244m\022\210\274\237\rT=4\211\205\2243\244"
user_time: 0.003238
system_time: 0.002803

object: "/etc/passwd"
size: 2936
heuristic_analysis: true
core_fingerprint: "\264\244m\022\210\274\237\rT=4\211\205\2243\244"
user_time: 0.012375
system_time: 0

[Alexls]

to

dbanschikov

 

1. Это не 10 ка

2. А если в списке 10000 или 50000 позиций?

Сообщение было изменено Alexls: 28 Апрель 2016 - 12:58

[dbanschikov]

to
dbanschikov
А если в списке 10000 или 50000 позиций?

Сейчас видимо только xargs. Чего-то аналогичного --stdin, --stdin0 у rawscan нет.

Подумаем о том чтобы добавить во все команды сканирования.

[dbanschikov]

to

dbanschikov

 

1. Это не 10 ка

2. А если в списке 10000 или 50000 позиций?

 

Релиз 11 версии состоялся вчера.

[Alexls]

to

dbanschikov

К сожалению, 11 - я не мой случай

[Alexls]

 

К вопросу о падении сканирующего модуля.
 
Упавшая ветка перезапускается!
Но не выдается никакого сообщения.
Таким образом совершенно неясно что происходит
проверяемый файл брошен и осуществлен переход на следующий (т.е. угроза, если она была, пропущена)
или началась циклическая проверка одного файла
 
К сожалению смоделировать ситуацию моими средствами невозможно.
 
И вопросы -
1 есть ли возможность запуска только одной ветки сканирования (а не 4)
2. есть ли возможность блокирования перезапуска упавшей ветки

Для начала давайте синхронизируем терминологию.
Что в вашем понимании есть ветка?

Во-вторых, можете ли вы привести последовательность shell команд для воспроизведения вашей проблемы?

И в третьих, если под веткой сканирования(удивительно, но если я вас правильно понял, то по-русски это звучит как
fork сканирования) вы понимаете child SE, то конечно можно. Посмотрите на drweb-ctl cfshow ScanEngine. Не помню на вскидку
как называется параметр, но что-то вроде MaxChilds. Его дефолтное значение вычисляется автоматически, можете поставить
любое необходимое вам.
 

 

Как ни странно, но для 10 -й версии данный параметр не работает. При любом его значении общее количество процессов drweb-se = 5;

Mandriva Linux 32bits

[dbanschikov]

К вопросу о падении сканирующего модуля.
 
Упавшая ветка перезапускается!
Но не выдается никакого сообщения.
Таким образом совершенно неясно что происходит
проверяемый файл брошен и осуществлен переход на следующий (т.е. угроза, если она была, пропущена)
или началась циклическая проверка одного файла
 
К сожалению смоделировать ситуацию моими средствами невозможно.
 
И вопросы -
1 есть ли возможность запуска только одной ветки сканирования (а не 4)
2. есть ли возможность блокирования перезапуска упавшей ветки

Для начала давайте синхронизируем терминологию.
Что в вашем понимании есть ветка?

Во-вторых, можете ли вы привести последовательность shell команд для воспроизведения вашей проблемы?

И в третьих, если под веткой сканирования(удивительно, но если я вас правильно понял, то по-русски это звучит как
fork сканирования) вы понимаете child SE, то конечно можно. Посмотрите на drweb-ctl cfshow ScanEngine. Не помню на вскидку
как называется параметр, но что-то вроде MaxChilds. Его дефолтное значение вычисляется автоматически, можете поставить
любое необходимое вам.

 
Как ни странно, но для 10 -й версии данный параметр не работает. При любом его значении общее количество процессов drweb-se = 5;
Mandriva Linux 32bits

 
 
Вы не путаете параметры:

ScanEngine.MaxForks = 16
ScanEngine.MaxForksPerFile = 8

?

Сделайте, пожалуйста:

drweb-ctl cfshow ScanEngine | grep MaxForks;
pstree -h -p $(drweb-ctl app | grep '^ScanEngine' | awk -F ';' '{print $2}')

В момент воспроизведения проблемы.

Сообщение было изменено dbanschikov: 13 Апрель 2017 - 17:43

[Alexls]

 
Вы не путаете параметры:

ScanEngine.MaxForks = 16
ScanEngine.MaxForksPerFile = 8

?

Сделайте, пожалуйста:

drweb-ctl cfshow ScanEngine | grep MaxForks;
pstree -h -p $(drweb-ctl app | grep '^ScanEngine' | awk -F ';' '{print $2}')

В момент воспроизведения проблемы.

 

 

Проблемы нет. Есть несоответствие поведения программы ее описанию (причем в моем понимании).

Вполне допускаю что я что -то путаю. Потому и задаю вопрос.

 

А собственно вопрос возник потому, что при изменении данного параметра (MaxForks (4, 8,16, 32), причем явно зафиксированным в drweb.ini)   не изменялось

1. Суммарное время проверки

2. Порядок выдачи лога проверенных файлов (критерий менее значимый чем п1.)

 

Количество процессов drweb-se определяется по ps -A. Их там всегда -5.

 

MaxForks = 32

 

режим scan -a

 

[root@localhost ~]# pstree -h -p | grep drweb
        |-drweb-configd.r(3179)-+-drweb-firewall.(3493)---{drweb-firewall.}(3999)
        |                       |-drweb-gated.rea(3209)---{drweb-gated.rea}(3491)
        |                       |-drweb-netcheck.(3492)
        |                       `-drweb-se.real(3709)
        |                |-drweb-gui-agent(4032)---{drweb-gui-agent}(4182)
        |-login(4308)---bash(7367)---drweb-ctl.real(9883)---drweb-configd.r(9964)-+-drweb-filecheck(10228)
        |                                                                         |-drweb-firewall.(10134)---{drweb-firewall.}(1049+
        |                                                                         |-drweb-gated.rea(10051)---{drweb-gated.rea}(1013+
        |                                                                         |-drweb-netcheck.(10133)
        |                                                                         `-drweb-se.real(10359)-+-drweb-se.real(10658)---{+
        |                                                                                                |-drweb-se.real(10660)---{+
        |                                                                                                |-drweb-se.real(10662)---{+
        |                                                                                                `-drweb-se.real(10664)---{+
 

[Alexls]

В режиме с -d в логе найдено сообщение

Info: CD-14656: ScanEngine.MaxForks: Using auto value "4"

[dbanschikov]

Действительно, проблема связана с не пониманием идеологии.

drweb-se это компонент, который может работать в двух режимах - в режиме "управляемого" запуска, когда его по требованию других компонент запускает drweb-configd.
И в режиме автономного запуска, когда он запускается не под управлением drweb-configd.

Режим управляемого запуска используется всеми нашими остальными компонентами - Spider Gate, Spider Guard, drweb-ctl(команда scan) и т. д.
Режим автономного запуска используется при старте drweb-se руками(e.g. /opt/drweb.com/bin/drweb-se), так и с помощью команды drweb-ctl rawscan.

Из man drweb-ctl:

rawscan - Scan the specified file or directory using the drweb-se directly.

В случае управляемого запуска параметры работы drweb-se передаются ему drweb-configd,
которые вы меняете через разные интерфейсы: drweb-ctl(cfset, cfshow), drweb-gui(кнопочки тыкаете),
webconsole(тоже кнопочки тыкаете).

В случае автономного запуска - на то запуск и автономный, параметры заданные в drweb-configd не учитываются и их нужно задавать явно.
 

$ drweb-ctl rawscan -h
Scan files using ScanEngine
Using: drweb-ctl rawscan <path> [options]
Available options:
  --ScanEngine arg                  path to ScanEngine socket, if not given an 
                                    autonomous ScanEngine will be started
  --Report arg (=BRIEF)             report type BRIEF or DEBUG
  --ScanTimeout arg (=0)            scan timeout (in ms), 0 means no timeout
  --PackerMaxLevel arg (=8)         limit packer nesting level
  --ArchiveMaxLevel arg (=8)        limit archive (like zip) nesting level
  --MailMaxLevel arg (=8)           limit mail (like pst, tbb) nesting level
  --ContainerMaxLevel arg (=8)      limit container (like html) nesting level
  --MaxCompressionRatio arg (=3000) limit compression ratio (must be >= 2)
  --HeuristicAnalysis arg (=ON)     use heuristic analysis ON, OFF
  --Cure arg (=no)                  cure infected
  --ListCleanItems                  list clean items in compound files
  --ShellTrace                      turn on shell trace
  -d [ --Debug ]                    extended diagnostic output

Environment variables for autonomous mode:
  DRW_CORE_ENGINE        path to Core Engine (drweb32.dll)
  DRW_VIRUS_BASE         antivirus databases directory
  DRW_KEY_PATH           path to license key file
  DRW_MAX_FORKS          limit number of scan processes
  DRW_MAX_FORKS_PER_FILE limit number of scan processes per file
  DRW_SCAN_ENGINE_EXE    path to ScanEngine executable

Теперь по поводу того, откуда взялось число 5 в случае когда вы стартуете drweb-ctl rawscan без параметров.
Поскольку явно ничего не задано - используем дефолты.
Дефолт - количество сканирующих форков равняется количеству аппаратных потоков выполнения помноженное на два.
У вас видимо потоков 2 - получили 4 форка сканирования, плюс один мастер процесс - итого 5.

TL;DR; - перед запуском drweb-ctl rawscan выставляйте переменную окружения DRW_MAX_FORKS -
будете регулировать количество процессов сканирования именно для этого автономного экземпляра сканирования.

Сообщение было изменено dbanschikov: 14 Апрель 2017 - 10:22

[Alexls]

TL;DR; - перед запуском drweb-ctl rawscan выставляйте переменную окружения DRW_MAX_FORKS -
будете регулировать количество процессов сканирования именно для этого автономного экземпляра сканирования.

 

 

К сожалению не работает

 

>export DRW_MAX_FORKS=32;/opt/drweb.com/bin/drweb-ctl scan -a -d  /0004
Debug: Use autonomous ConfigD "/opt/drweb.com/bin/drweb-configd"
Info: CD-32185: ScanEngine.MaxForks: Using auto value "4"
 

для rawscan после загрузки баз

 

Debug: SE-2511: F-2684: Shell: using tmp mask /tmp/drweb.se.2511/2684/XXXXXX
Debug: SE-2511: F-2678: Shell: using tmp mask /tmp/drweb.se.2511/2678/XXXXXX
Debug: SE-2511: F-2680: Shell: using tmp mask /tmp/drweb.se.2511/2680/XXXXXX
Debug: SE-2511: F-2686: Shell: using tmp mask /tmp/drweb.se.2511/2686/XXXXXX
 

печалька

 

PS

при выводе env

DRW_MAX_FORKS = 32

[dbanschikov]

TL;DR; - перед запуском drweb-ctl rawscan выставляйте переменную окружения DRW_MAX_FORKS -
будете регулировать количество процессов сканирования именно для этого автономного экземпляра сканирования.

 
К сожалению не работает
 
>export DRW_MAX_FORKS=32;/opt/drweb.com/bin/drweb-ctl scan -a -d  /0004
Debug: Use autonomous ConfigD "/opt/drweb.com/bin/drweb-configd"
Info: CD-32185: ScanEngine.MaxForks: Using auto value "4"
 
для rawscan после загрузки баз
 
Debug: SE-2511: F-2684: Shell: using tmp mask /tmp/drweb.se.2511/2684/XXXXXX
Debug: SE-2511: F-2678: Shell: using tmp mask /tmp/drweb.se.2511/2678/XXXXXX
Debug: SE-2511: F-2680: Shell: using tmp mask /tmp/drweb.se.2511/2680/XXXXXX
Debug: SE-2511: F-2686: Shell: using tmp mask /tmp/drweb.se.2511/2686/XXXXXX
 
печалька
 
PS
при выводе env
DRW_MAX_FORKS = 32

Читаем внимательно.

rawscan и scan - разные команды.
rawscan использует автономный экземпляр drweb-se, настройки для которого беруться не из настроек ConfigD.
scan использует экземпляр drweb-se, который запускается из под ConfigD и настройки берет от него.

Т.е. для задания параметров сканирования при использовании rawscan нужно выставлять переменную окружения.
Т.е. для задания параметров сканирования при использовании scan нужно выставлять настройки ScanEngine.MaxForks.

Настройки автономного экземпляра drweb-se не влияют на настройки управляемого экземпляра drweb-se.

[Alexls]

 

 

TL;DR; - перед запуском drweb-ctl rawscan выставляйте переменную окружения DRW_MAX_FORKS -
будете регулировать количество процессов сканирования именно для этого автономного экземпляра сканирования.

 
К сожалению не работает
 
>export DRW_MAX_FORKS=32;/opt/drweb.com/bin/drweb-ctl scan -a -d  /0004
Debug: Use autonomous ConfigD "/opt/drweb.com/bin/drweb-configd"
Info: CD-32185: ScanEngine.MaxForks: Using auto value "4"
 
для rawscan после загрузки баз
 
Debug: SE-2511: F-2684: Shell: using tmp mask /tmp/drweb.se.2511/2684/XXXXXX
Debug: SE-2511: F-2678: Shell: using tmp mask /tmp/drweb.se.2511/2678/XXXXXX
Debug: SE-2511: F-2680: Shell: using tmp mask /tmp/drweb.se.2511/2680/XXXXXX
Debug: SE-2511: F-2686: Shell: using tmp mask /tmp/drweb.se.2511/2686/XXXXXX
 
печалька
 
PS
при выводе env
DRW_MAX_FORKS = 32

 

Читаем внимательно.

rawscan и scan - разные команды.
rawscan использует автономный экземпляр drweb-se, настройки для которого беруться не из настроек ConfigD.
scan использует экземпляр drweb-se, который запускается из под ConfigD и настройки берет от него.

Т.е. для задания параметров сканирования при использовании rawscan нужно выставлять переменную окружения.
Т.е. для задания параметров сканирования при использовании scan нужно выставлять настройки ScanEngine.MaxForks.

Настройки автономного экземпляра drweb-se не влияют на настройки управляемого экземпляра drweb-se.

 

 

Так ведь специально привел данные и для режима rawscan

 

для rawscan после загрузки баз
 
Debug: SE-2511: F-2684: Shell: using tmp mask /tmp/drweb.se.2511/2684/XXXXXX
Debug: SE-2511: F-2678: Shell: using tmp mask /tmp/drweb.se.2511/2678/XXXXXX
Debug: SE-2511: F-2680: Shell: using tmp mask /tmp/drweb.se.2511/2680/XXXXXX
Debug: SE-2511: F-2686: Shell: using tmp mask /tmp/drweb.se.2511/2686/XXXXXX

 

т.е. те  же самые 4 процесса.(что для 32 что для 16)

[dbanschikov]

Значит вы не нагружаете достаточно, чтобы использовать все fork'и.

Покажите вывод

cat /proc/PID/cmdline

где - это PID мастер процесса автономного сканирования, который можно увидеть в pstree -hpa.
Важно не спутать его с master процессом управляемого drweb-se.

Сообщение было изменено dbanschikov: 14 Апрель 2017 - 13:22