42 ответов в этой теме

[zirro.s]

 Я перестаю что либо понимать  . Сейчас хотел перестартовать монитор и остановить его пораньше, чтобы полученный файл лога можно было хотя бы открыть в текстовом редакторе (2-ух гиговый файл не открывается). НИЧЕГО НЕ МЕНЯЯ В КОНФИГАХ рестартовал монитор, получил следующее: запустились только компоненты агент и монитор (нет ни delivery, ни sender'а ...):

ps ax | grep drw
15163 ?? Is 3:55,57 /usr/local/drweb/drwebd
34168 ?? Ss 0:00,03 /usr/local/drweb/drweb-monitor -c /usr/local/etc/drweb/monitor.conf
34169 ?? Is 0:00,18 /usr/local/drweb/drweb-agent -c /usr/local/etc/drweb/agent.conf
34191 ?? I 0:00,00 /usr/local/drweb/drwebd



в логе maild последние записи такие:

Thu Dec 9 14:20:40 2010 [0x8227b40] notifier.ipc WARN connection (fd->13, local->local:, server->local:/var/drweb/ipc/.deliver) has been broken/closed on server side (poll revent=0
Thu Dec 9 14:20:40 2010 [0x815e000] sender INFO Shutdown
Thu Dec 9 14:20:40 2010 [0x8227000] notifier INFO catch signal SIGTERM. Going to shutdown...
Thu Dec 9 14:20:40 2010 [0x8227000] notifier.thr1 DEBUG BlockForRestart: blocking for restart/stop
Thu Dec 9 14:20:40 2010 [0x8227000] notifier.thr1 DEBUG Send request for cancel thread 0x8227ea0/0x8230d80...
Thu Dec 9 14:20:40 2010 [0x8227000] notifier.thr1 DEBUG Send request for cancel thread 0x8227d80/0x82783c0...
Thu Dec 9 14:20:40 2010 [0x8227000] notifier.thr1 DEBUG BaseThreadsPool::DeleteThreads: call with -1
Thu Dec 9 14:20:40 2010 [0x8227000] notifier.thr1 DEBUG Send request for cancel thread 0x8227ea0/0x8230d80...
Thu Dec 9 14:20:40 2010 [0x8227ea0] notifier.thr1 DEBUG I (tid=0x8227ea0/0x8230d80) going to shutdown...
Thu Dec 9 14:20:40 2010 [0x8227ea0] notifier.thr1 DEBUG thread_main: i (tid=0x8227ea0/0x8230d80) received stop signal -> shutdown
Thu Dec 9 14:20:40 2010 [0x8227ea0] notifier.thr1 DEBUG DeleteThreadRecord: delete thread record 0x8227ea0/0x8230d80 (1)
Thu Dec 9 14:20:40 2010 [0x8227000] notifier.thr1 DEBUG DeleteThreadRecord: can`t find record: already deleted
Thu Dec 9 14:20:40 2010 [0x8227000] notifier.thr1 DEBUG Send request for cancel thread 0x8227d80/0x82783c0...
Thu Dec 9 14:20:40 2010 [0x8227d80] notifier.thr1 DEBUG I (tid=0x8227d80/0x82783c0) going to shutdown...
Thu Dec 9 14:20:40 2010 [0x8227d80] notifier.thr1 DEBUG thread_main: i (tid=0x8227d80/0x82783c0) received stop signal -> shutdown
Thu Dec 9 14:20:40 2010 [0x8227d80] notifier.thr1 DEBUG DeleteThreadRecord: delete thread record 0x8227d80/0x82783c0 (0)
Thu Dec 9 14:20:40 2010 [0x8227000] notifier.thr1 DEBUG DeleteThreadRecord: can`t find record: already deleted
Thu Dec 9 14:20:40 2010 [0x8227b40] notifier.ipc WARN CreateDonorPool:attempt to create connection to local:/var/drweb/ipc/.deliver failed: Socket::Connect: [2] No such file or dir
Thu Dec 9 14:20:40 2010 [0x8227000] notifier INFO Shutdown

[zirro.s]

Статистика неверно считается по причине ошибки в агенте. Будет исправлено в следующем баг фиксе.

Ну я теперь хоть могу успокоить себя тем, что руки всё таки у меня из того места растут (а то я уже голову сломал). Когда ждать багфикс?

И, кстати, неплохо было бы описать в документации какие-то базовые принципы настройки и работы статистики. То, что я нашёл в документации крайне мало, половину приходится додумывать догадываться... (если я не там смотрел дайте ссылку но более полную информацию).

[Gennady Proskurin]

1. просьба выложить хотя бы конфиг монитора.

2. если сохранился этот большой лог монитора, можно вырезать кусок из середины примерно так:

dd if=big_log_file of=new_file_1 bs=1m iseek=100 count=10

т.е. из файла пропускаем первые 100мб, затем копируем с этого места 10мб

начальный кусок лога можно взять аналогично (убрав iseek)
dd if=big_log_file of=new_file_2 bs=1m count=10

[zirro.s]

1. просьба выложить хотя бы конфиг монитора.
2. если сохранился этот большой лог монитора, можно вырезать кусок из середины примерно так:

К сожалению большой monitor.log я удалил и перезапустил монитор в надежде получить файл лога поменьше. Дальше произошло странное - компонент MAILD перестал запускаться (напомню что конфиги я не трогал, а только рестартовал монитор). 

В прилагаемом файле конфиги монитора, агента и maild и их логи.

Прикрепленные файлы:

•  1.ZIP   255,3К   7 Скачано раз

[zirro.s]

Сегодня свежим взглядом посмотрел логи и понял почему не стартует MAILD. В логе maild найдены следующие строки:

Thu Dec 9 15:05:05 2010 [0x845a000] vaderetro DEBUG GlobalBWList: []
Thu Dec 9 15:05:07 2010 [0x845a000] vaderetro ERROR Error loading reply cache: invalid signature (Unknown error: 0)
Thu Dec 9 15:05:07 2010 [0x845a000] vaderetro ERROR vaderetro error in creating vaderetro plugin object (invalid signature)
Thu Dec 9 15:05:07 2010 [0x845a000] maild FATAL Call of the 'CreateFilter' from the shared library /usr/local/drweb/maild/plugins/libvaderetro.so failed
Thu Dec 9 15:05:07 2010 [0x845a000] maild ERROR during initialize plugins set: Can`t create filter for plugin 'vaderetro'
Я так понимаю по каким-то причинам не загружается reply cache, из-за этого не стартует плагин vaderetro и, как следствие, весь модуль maild. Теперь осталось выяснить почему не загружается reply cache.

[zirro.s]

После того как разобрался почему не стартует MAILD отключил временно в конфиге maild-exim проверку модулем vaderetro и воспроизвёл проблему лавинообразного роста журнала монитора. Прикладываю monitor.log (примерно за 30 секунд журнал вырос до 140МБ). 


Конфиг монитора есть в предыдущем посте.

Прикрепленные файлы:

•  monitor.zip   605,57К   10 Скачано раз

[Gennady Proskurin]

После того как разобрался почему не стартует MAILD отключил временно в конфиге maild-exim проверку модулем vaderetro и воспроизвёл проблему лавинообразного роста журнала монитора. Прикладываю monitor.log (примерно за 30 секунд журнал вырос до 140МБ).


Конфиг монитора есть в предыдущем посте.

Я вам по почте вчера ответил, дублирую здесь:

1.
строчка из вашего конфига maild:
[Receiver]
Address = local:/var/drweb/ipc/.agent

Для ресивера Address дожен иметь значение local:/var/drweb/ipc/.drweb_maild
(как в дефолтном конфиге)
Ресивер не может открыть этот сокет (занятый агентом), удаляет его, и все компоненты (включая монитор) не могут соединиться с агентом.

2. vaderetro
По каким-то причинам у вас повредился файл reply_cache, используемый vaderetro
Просьба прислать этот файл мне на почту: g.proskurin@drweb.com
После этого его можно удалить (там хранится вспомогательная информация для плагина vaderetro), он автоматически создастся заново.

Сообщение было изменено Gennady Proskurin: 10 Декабрь 2010 - 12:38

[zirro.s]

Я вам по почте вчера ответил, дублирую здесь:
1.
строчка из вашего конфига maild:
[Receiver]
Address = local:/var/drweb/ipc/.agent

Для ресивера Address дожен иметь значение local:/var/drweb/ipc/.drweb_maild
(как в дефолтном конфиге) ...

Письмо я не получил
Не могу припомнить почему меня "обнесло" и я установил именно такое значение параметру Address. Выставил дефолтовое значение и проблема варнинга в логе агента и роста лога монитора исчезла. Спасибо большое.

2. vaderetro


По каким-то причинам у вас повредился файл reply_cache, используемый vaderetro
Просьба прислать этот файл мне на почту: g.proskurin@drweb.com
После этого его можно удалить (там хранится вспомогательная информация для плагина vaderetro), он автоматически создастся заново.

Был бы признателен если б Вы сообщили где искать этот самый файл. Если речь идёт о /var/drweb/plugins/vaderetro/reply_cache, то этот файл присутствует и имеет нулевой размер.

Сообщение было изменено zirro.s: 10 Декабрь 2010 - 13:27

[zirro.s]

Настрою одно - перестаёт работать другое  . Поправил Address, вернул настройки журналов в дефолтовое значение, удалил файл reply_cache и снова подключил vaderetro. После всего этого перезапустил монитор. Теперь в логах монитора и агента всё красиво. Однако перестала "ходить" почта и в логах maild:

Fri Dec 10 13:45:39 2010 [0x81f55a0] receiver.ipc WARN CreateDonorPool:attempt to create connection to local:/var/drweb/ipc/.db failed: Socket::Connect: [61] Connection refused

То есть, если я правильно понимаю эту строку, компонент ресивер не может подключиться к базе данных.

Сообщение было изменено zirro.s: 10 Декабрь 2010 - 14:10

[Gennady Proskurin]

1. Я написал вам 2 письма вчера (ответив на ваше письмо), по логам нашего почтовика они успешно ушли в gmail

2. Да, это файл /var/drweb/plugins/vaderetro/reply_cache
Если он пустой, просто удалите его. Вполне возможно что он не смог сохраниться когда у вас кончалось место.

[Anton Ivanov]

Fri Dec 10 13:45:39 2010 [0x81f55a0] receiver.ipc WARN CreateDonorPool:attempt to create connection to local:/var/drweb/ipc/.db failed: Socket::Connect: [61] Connection refused

это означает что есть проблемы во взаимодействии между drweb-receiver и drweb-maild. покажите лог в районе
Fri Dec 10 13:45:39 2010
пожалуйста.

[zirro.s]

это означает что есть проблемы во взаимодействии между drweb-receiver и drweb-maild. покажите лог в районе 
Fri Dec 10 13:45:39 2010
пожалуйста.

Могу выложить весь лог, пока он ещё небольшой.

Прикрепленные файлы:

•  maild.log   9,32К   24 Скачано раз

[Anton Ivanov]

судя по всему receiver пытался соединиться с maild до того как он создал сокет. в общем это можно игнорировать

[zirro.s]

судя по всему receiver пытался соединиться с maild до того как он создал сокет. в общем это можно игнорировать

Игнорировать то можно, но почта ходить перестала  . Перед созданием темы работало главное - почта ходила и проверялась.

[Anton Ivanov]

покжите логи MailD и MTA когда отправляете письмо, пожалуйста.

[zirro.s]

покжите логи MailD и MTA когда отправляете письмо, пожалуйста.

Вот лог Exim'а

2010-12-10 15:36:17 1PR2Cv-0004Vg-0q <= zirro@kio.kirov.ru H=(ZIRRO-PC.corp.kio.ru) [192.168.10.155]:59652 I=[192.168.10.230]:25 P=esmtp S=740 id=4D021EBC.4000402@kio.kirov.ru T="test12" from <zirro@kio.kirov.ru> for zirro@kio.ru

в логах maild пусто

Сообщение было изменено zirro.s: 10 Декабрь 2010 - 15:39

[zirro.s]

 Для сравнения вот, что было до создания темы

2010-12-07 15:53:39 1PPx35-0000dX-Nu <= zirro@kio.kirov.ru H=(ZIRRO-PC.corp.kio.ru) [192.168.10.155]:52011 I=[192.168.10.230]:25 P=esmtp S=755 id=4CFE2E4F.1010403@kio.kirov.ru T="test again" from <zirro@kio.kirov.ru> for zirro@kio.ru
2010-12-07 15:53:39 1PPx35-0000dX-Nu => zirro <zirro@kio.ru> F=<zirro@kio.kirov.ru> P=<zirro@kio.kirov.ru> R=drweb_router T=drweb_transport S=847 QT=0s DT=0s
2010-12-07 15:53:39 1PPx35-0000dX-Nu Completed QT=0s
2010-12-07 15:53:39 1PPx35-0000db-Ui <= zirro@kio.kirov.ru U=root P=drweb-scanned S=1175 id=4CFE2E4F.1010403@kio.kirov.ru T="test again" from <zirro@kio.kirov.ru> for zirro@kio.ru
2010-12-07 15:53:40 1PPx35-0000db-Ui => zirro <zirro@kio.ru> F=<zirro@kio.kirov.ru> P=<zirro@kio.kirov.ru> R=AD_user T=dovecot_delivery S=1282 QT=1s DT=1s
2010-12-07 15:53:40 1PPx35-0000db-Ui Completed QT=1s

То есть письмо сначала "роутилось" на проверку drweb'у а затем отправлялось получателю, теперь же всё на заканчивается на первой строке

[Anton Ivanov]

видимо exim неверно настроен. покажите пожалуйста его конфигурационный файл.

[zirro.s]

Добавление:
нашёл лог maild для этого письма
Tue Dec 7 15:53:39 2010 [0xaee2a20] maild INFO 000001D0/1PPx35-0000dX-Nu Attach msg to plugin drweb...
Tue Dec 7 15:53:39 2010 [0xaee2a20] maild INFO 000001D0/1PPx35-0000dX-Nu Msg was accepted by plugin drweb; time=30 ms
Tue Dec 7 15:53:39 2010 [0xaee2a20] maild INFO 000001D0/1PPx35-0000dX-Nu Attach msg to plugin vaderetro...
Tue Dec 7 15:53:39 2010 [0xaee2a20] vaderetro INFO 000001D0/1PPx35-0000dX-Nu SpamState = 0; SpamScore = -5000; Version=Vade Retro 01.309.04 AV+AS Profile: <none>; Bailout: N/A;
Tue Dec 7 15:53:39 2010 [0xaee2a20] maild INFO 000001D0/1PPx35-0000dX-Nu Msg was accepted by plugin vaderetro; time=13 ms
Tue Dec 7 15:53:39 2010 [0xaee2a20] maild INFO 000001D0/1PPx35-0000dX-Nu Attach msg to plugin headersfilter...
Tue Dec 7 15:53:39 2010 [0xaee2a20] maild INFO 000001D0/1PPx35-0000dX-Nu Msg was accepted by plugin headersfilter; time=0 ms
Tue Dec 7 15:53:39 2010 [0xaee2a20] maild INFO 000001D0/1PPx35-0000dX-Nu Attach msg to plugin modifier...
Tue Dec 7 15:53:39 2010 [0xaee2a20] maild INFO 000001D0/1PPx35-0000dX-Nu

[zirro.s]

видимо exim неверно настроен. покажите пожалуйста его конфигурационный файл.

вот секция роутеров

drweb_router:
driver = accept
condition = "${if eq {$received_protocol}{drweb-scanned}{0}{1}}"
check_local_user
retry_use_local_part
transport = drweb_transport

dnslookup:
driver = dnslookup
domains = !+local_domains : !+virtual_domains
transport = remote_smtp
ignore_target_hosts = 0.0.0.0 : 127.0.0.0/8
no_more

AD_user:
driver = accept
domains = +local_domains
transport = dovecot_delivery
condition = ${if exists{/var/mail/$domain/$local_part} {yes} {no} }

localuser:
driver = accept
check_local_user
transport = local_delivery
cannot_route_message = Unknown user

вот транспорты:

drweb_transport:
driver = lmtp
socket = /var/drweb/ipc/.agent
batch_max = 100
timeout = 5m
user = drweb
# headers_add = "X-Maild-Checked: DrWEB for Exim"

# Этот транспорт используется для доставки сообщений по протоколу SMTP
remote_smtp:
driver = smtp

dovecot_delivery:
driver = pipe
command = /usr/local/libexec/dovecot/deliver -d $local_part@$domain
message_prefix =
message_suffix =
delivery_date_add
envelope_to_add
return_path_add
log_output
user = 47000
group = 47000

local_delivery:
driver = pipe
command = /usr/local/libexec/dovecot/deliver -d $local_part@kio.ru
message_prefix =
message_suffix =
delivery_date_add
envelope_to_add
return_path_add
log_output
user = 47000
group = 47000

ааа, да, вот ещё

domainlist local_domains = kio.ru : kio.kirov.ru
hostlist relay_from_hosts = localhost : 127.0.0.1 : 192.168.10.0/24
qualify_domain = kio.ru

Сообщение было изменено zirro.s: 10 Декабрь 2010 - 16:07