39 ответов в этой теме

[dkhomenko]

Выкладываю

1)новое письмо которое было посчитано спамом

2)Лог уровня debug

3)настройки vaderetro

4)и скриншот

 

ps AllowRussian стоит yes

 

Письмо было отправлено в  11:36

Прикрепленные файлы:

•  drweb.png   262,69К   0 Скачано раз

Сообщение было изменено maxic: 17 Октябрь 2013 - 21:22

[Mikhail Baikov]

К сожалению, во время отправки в карантин (11:36) этого письма уровень логгирования был только INFO, и мы не можем посмотреть по какой причине оно было отправлено в карантин. Уровень DEBUG был включен только в 11:40. Так же это очень похоже на DSN, так как 

заголовок с ID

Received: by wox.upb.kiev.ua (Postfix, from userid 109)
id 0262E3D2C9; Thu, 17 Oct 2013 11:36:30 +0300 (EEST)

В письме есть есть From и То
From: =?windows-1251?B?3uvo/yDLLiDY8u7s4A==?= <YShtoma@upb.com.ua>
To: <dvpo@upb.com.ua>

Но они коренным образом отличаются от того, что получил Receiver
receiver INFO 00002994/0262E3D2C9 new mail [from: <>; to:<mfenina@ukr.net>], size:112336. Send to drweb-maild.

 

 

Отправленные нами DSNы не должны попадать обратно в maild. Вы не могли бы прислать дебажный лог такого же события?

Сообщение было изменено Михаил Байков: 17 Октябрь 2013 - 12:45

[Alexander Batyukov]

Кроме того, о чем попросил Михаил, не могли бы Вы уточнить значение опции EmptyFrom секции [MailD] конфигурационного файла maild_postfix.conf?

Вопрос вызван тем, что судя по присланному Вами конфигу vaderetro, она вообще никаким образом не может отправить письмо в карантин.

[dkhomenko]

Опция стоит EmptyFrom=continue для того чтобы пропускать письма и не мешать ходу почовой системы. vaderetro пока тестируется.

 

Новые логи того же событи для нового письма. Письмо отправлено в 13:33.

 

Выкладываю

1)новое письмо которое было посчитано спамом

2)Лог уровня debug

3)настройки vaderetro

 

 

 

 

Сообщение было изменено maxic: 17 Октябрь 2013 - 21:23

[dkhomenko]

Еще скриншот

Прикрепленные файлы:

•  drweb.png   282,89К   0 Скачано раз

[pig]

Заверните письмо в архив, а то текст при заливке-скачивании может перекодироваться. У меня Блокнот его в UTF-8 открыл.

[dkhomenko]

Он и есть в UTF-8 тут в архиве.

Сообщение было изменено maxic: 17 Октябрь 2013 - 21:23

[pig]

Ага. Голимый UTF-8 в имени адресата. С прочими полями всё хорошо, там честное кодирование.

[dkhomenko]

кстати Utf - 8 имеет широкий спект символов - русский , английский и даже иероглифы. Непонятно почему письма приходящие в windows 1251 интерпретируется в непонятно что и определяются как спам.

[Alexander Batyukov]

Так, лог тот, что нужно.

 

По нему видно, что

1) письмо приходит в maild _уже_ с пустым полем From

 

Thu Oct 17 13:33:10 2013 [139758181967616] receiver DEBUG 5fbcb7a64 <--- MAIL FROM:<>

Thu Oct 17 13:33:10 2013 [139758181967616] receiver DEBUG 5fbcb7a64 fd=9 err_num=0 trusted_ip=0 auth=0 session_err=0 state=2 sended=0 wrong_rcpts=0 valid_rcpts=0 junk_cmds=0 helo_cmds=1 session_sc=0 mail_sc=0 sc_for_each_mail=0

Thu Oct 17 13:33:10 2013 [139758181967616] receiver DEBUG 5fbcb7a64 addr=<> local_part= domain=

Thu Oct 17 13:33:10 2013 [139758181967616] receiver DEBUG 5fbcb7a64 ---> 250 2.1.0 Ok sender address: <>

Thu Oct 17 13:33:10 2013 [139758223931136] receiver DEBUG 5fbcb7a64 <--- RCPT TO:<mfenina@ukr.net>

Thu Oct 17 13:33:10 2013 [139758223931136] receiver DEBUG 5fbcb7a64 fd=9 err_num=0 trusted_ip=0 auth=0 session_err=0 state=3 sended=0 wrong_rcpts=0 valid_rcpts=0 junk_cmds=0 helo_cmds=1 session_sc=0 mail_sc=0 sc_for_each_mail=0

Thu Oct 17 13:33:10 2013 [139758223931136] receiver DEBUG 5fbcb7a64 addr=<mfenina@ukr.net> local_part=mfenina domain=ukr.net

Thu Oct 17 13:33:10 2013 [139758223931136] receiver DEBUG 5fbcb7a64 ---> 250 2.1.5 Ok destination address: <mfenina@ukr.net>

 

2) Я вижу в логе, что из конфига достается настройка Action = pass, quarantine

 

Thu Oct 17 13:33:10 2013 [139781359961856] vaderetro INFO 00002B33/2D74A3D2E3 SpamState = 1; SpamScore = 250; Version=Vade Retro 01.369.32 AS+AV+AP Profile: <none>; Bailout: 300; apply: [pass, quarantine]; 

 

Но в присланном Вами конфиге плагина vaderetro настройка Action задана как pass. Это точно именно используемый конфиг? Кстати, странно, что он имеет имя plugin_vaderetro.txt, а не plugin_vaderetro.conf

 

3) Письмо действительно помечается плагином vaderetro как спам и в соответствии с настройкой apply: [pass, quarantine]; карантинится  и пересылается получателю. Кириллические символы в utf-8 не должны влиять на оценку спама (с теми настройками, что Вы указали), тут надо разобраться, почему так происходит.

[dkhomenko]

2) Я вижу в логе, что из конфига достается настройка Action = pass, quarantine

Thu Oct 17 13:33:10 2013 [139781359961856] vaderetro INFO 00002B33/2D74A3D2E3 SpamState = 1; SpamScore = 250; Version=Vade Retro 01.369.32 AS+AV+AP Profile: <none>; Bailout: 300; apply: [pass, quarantine];

 

Да действительно я установил в настройках конфика vaderetro значение pass, а чтобы показать неисправность писем в карантине устаноил значение pass, quarantine так что на это не обращайте внимания.

 

 

Надеюсь на вашу помощь, да и еще письмо от клиетна уходит в формате(Mail from:) Фамилия Имя Отчество <somename@upb.com.ua>

[Alexander Batyukov]

Так, давайте разберемся.

 

1) Тот адрес отправителя, что содержится в самом тексте письма в хидере From: - действительно в формате "ФИО" <адрес>.

Этот адрес служит только для отображения информации в пользовательском MUA об отправителе письма.

 

Почтовая же система оперирует другими адресами отправителя и получателя - теми, что передаются ей в SMTP-сессии на стадиях Mail from и Rcpt to. Соответственно их мы видим в логе:

 

<--- MAIL FROM:<>

<--- RCPT TO:<mfenina@ukr.net>

 

Именно эти адреса Вы видите в секции отправителя/получателя, когда смотрите карантин в вебмине.

 

2) Вам необходимо разобраться, почему в maild приходит письмо с пустым отправителем. Вероятно, это письмо сгенерировано Postfix-ом. Обычно письма с пустым отправителем рассылаются почтовыми системами в случае, когда необходимо сообщить отправителю письма о невозможности доставки письма получателю. Нет ли в логах Postfix записей о том, что письмо от отправителя  mfenina@ukr.net было по каким-то причинам не доставлено до получателя?

[Alexander Batyukov]

Да, вот видите, действительно письмо с id  D90AD3D2C8 пришло с пустым From.

Вы верно поняли, что надо как минимум разобраться что это за письмо, откуда оно появилось и верным ли способом обрабатывается.

[maxic]

Удалены аттачи с приватной инфой из сообщений. Кому нужно было - скачал.

[dkhomenko]

Выяснилось что некоторые сторонние программы, которые отправляют почту, могут отправлять ее с пустым полем from что в принципе разрешается по RFC. И постфикс их спокойно онтправляет. Получается сам vaderetro помещает в спам письма с пустым полем from

[Alexander Batyukov]

Vaderetro при своей оценке письма не обращает внимания на отправителя и получателя из mail from и rcpt to, она анализирует только заголовки и тело самого письма (в том числе заголовки From, Reply-To, To)

 

Возможно, в Вашем случае ей не нравится незакодированный utf-8 в поле получателя (To) и она начисляет за это письму дополнительные баллы, возможно что-то еще.

 

Пустое поле From из mail from тут фигурирует только как поле, отображаемое в карантине, для того, чтобы администратор почты знал реальных отправителя и получателя письма.

Сообщение было изменено Alexander Batyukov: 18 Октябрь 2013 - 11:27

[dkhomenko]

Подскажите, есть ли возможность в drweb не обращать внимания на такие письма. Если для спама и безусловного спама я поставлю значение reject?

[valya krasnoglazova]

Выяснилось что некоторые сторонние программы, которые отправляют почту, могут отправлять ее с пустым полем from что в принципе разрешается по RFC

 

Это типично скорее для локальной отправки, если скажем какой-нить демон на wox.upb.kiev.ua задумал отправить отчет о своей работе или что-то служебное и отправляет подобное письмо в Postfix через pipe, соотв. по логу было бы видно,  что его принимает и ставит в очередь postfix/pickup, да и то все равно во From был бы честный localpart с именем, соотв. uid данного демона

 

но тут по логу видно, что письмо было принято от клиента "снаружи" ---> Oct 17 13:33:09 wox postfix/smtpd[25056]: connect from mokka.upb.kiev.ua[10.1.2.8], уже с пустым From: в конверте + по телу это совсем не DSN - вот эти три условия напрягают, т.к. по всей видимости:

 

-либо где-то на шлюзах до wox.upb.kiev.ua - идет некорректный address rewrite ==> имеем пустой From: в конверте, тогда надо разбираться и фиксить (преполагаю что  в настройках  Postfix на mokka.upb.kiev.ua )

 

-либо это реально хитро настроенный MDaemon на Lvov-WP3 ([192.168.22.14]) ?

 

Причем, это не проделки spamd, т.к.

 

Oct 17 13:33:09 wox postfix/qmgr[22446]: D90AD3D2C8: from=<>, size=46438, nrcpt=1 (queue active)
Oct 17 13:33:09 wox spamd[17181]: spamd: connection from localhost [127.0.0.1] at port 33256
Oct 17 13:33:09 wox spamd[17181]: spamd: setuid to spam succeeded
Oct 17 13:33:09 wox spamd[17181]: spamd: processing message <MDAEMON-F201310171333.AA3308464pd80005185170@upb.com.ua> for spam:109
Oct 17 13:33:10 wox spamd[17181]: spamd: clean message (-103.0/5.0) for spam:109 in 0.2 seconds, 45810 bytes.
Oct 17 13:33:10 wox spamd[17181]: spamd: result: . -102 - FSL_HELO_NON_FQDN_1,RDNS_NONE,USER_IN_WHITELIST,USER_IN_WHITELIST_TO scantime=0.2,size=45810,user=spam,uid=109,required_score=5.0,rhost=localhost,raddr=127.0.0.1,rport=33256,mid=<MDAEMON-F201310171333.AA3308464pd80005185170@upb.com.ua>,autolearn=no

 

сейчас придумаем как сделать так, чтобы vaderetro не начиляла лишних баллов для подобных писем, но !

 

если насчет address rewrite гипотеза имеет место быть, то неплохо было бы тогда разобраться кто конкретно такие конверты формирует, и посмотреть еще лог Postfix с хоста mokka.upb.kiev.ua за интевалы Thu, 17 Oct 2013 с 13.00 - 14.00, или grep по AAD5AC44 + лог с Lvov-WP3 ([192.168.22.14]) за это же время,  или хотя бы скинуть данные из логов с Lvov-WP3,  о том, какой конверт был там сформирован изначально - это поможет понять на каком hop'е скорее всего идет фокус с From

Сообщение было изменено valya krasnoglazova: 18 Октябрь 2013 - 16:28

[dkhomenko]

Проверив настройки постфикса установли что для данных адресов не используется address rewrite. Во всяком случае в canonical maps об этих адресах информации нет.

 

привести логи с узла Lvov-WP3 нет возможности это простой хост без MTA.

 

Обяесните если не столжно что есть DSN

[valya krasnoglazova]

А еще лукап неправильно написан в plugin_vaderetro.conf , поменяйте на это:

 

 

WhiteList =  *@domain1,*@domain2.....

 

 

vaderetro добавляет +250 из-за хидера X-Mailer: The Bat! (v4.0.7) Professional  в теле

 

тут три способа:

 

1. в main.cf на wox.upb.kiev.ua перед подключением content-filter maild - подключить:

 

mime_header_checks = pcre:/etc/postfix/mime_header_checks

 

а в mime_header_checks - соот-но правило на перезапись значения для X-Mailer а-ля:

 

/^X-Mailer: from localhost /
IGNORE

 

должен будет вообще его вырезать - подробности уточняйте в доках по постфиксу

 

2. либо добавить в maild_postfix.conf/ProtectedNetworks - IP клиента, откуда приходят письма с подобными заголовками (судя по логу это, mokka.upb.kiev.ua[10.1.2.8])

 

в настройках vaderetro - FromProtectedNetworkScoreAdd = -250

 

при обработке таких писем в итоге получится нулевой score

 

!НО - будет занижать для всех клиентов из maild_postfix.conf/ProtectedNetworks

 

 

3. для получателя mfenina@ukr.net, или конкретно для фанатов The Bat (имею в виду адреса отправителей ИЗ КОНВЕРТОВ) насильно в правилах переопределить значения vaderetro/SpamThreshold - выставить его как N +250, где N- текущее значение данного параметра, примеры правил в drweb/doc/maild/readme_postfix.rus.utf8 последний раздел

 

1,3 способы пожалуй лучше всего.

Сообщение было изменено valya krasnoglazova: 18 Октябрь 2013 - 17:05