Newbie
Отправлено 02 Апрель 2009 - 13:39
Ну уж как в библах cpan для перла сделано, так и написалиА ещё почему-то хеш CRC32 безумно медленно считается
на дайлапе базы обновлять нереально. Хеш одного файла может рассчитываться 2-3 минуты.
значит так написалив реальной жизни он считается со скоростью считывания данных с диска
Если кто вариант получше подскажет, будет великолепно.
Бредогенератор
Отправлено 02 Апрель 2009 - 17:26
Member
Отправлено 02 Апрель 2009 - 18:20
Нет, нельзяА разве без валидного ключа можно качать бинари?
Newbie
Отправлено 03 Апрель 2009 - 07:56
Member
Отправлено 03 Апрель 2009 - 09:35
Newbie
Отправлено 03 Апрель 2009 - 12:26
Member
Отправлено 05 Апрель 2009 - 19:43
@newlist=();
open(FILELIST, "< drweb32.lst") or die "Can't open '$basedir\\drweb32.lst': $!";
if (defined($line=<FILELIST>))
{
if (uc $line eq "[DRWEBUPDATELIST]\n") {
while(<FILELIST>) {
$record = $_;
if ( $record ne "[DrWebUpdateListEnd]\n" and $record ne "[$version]\n" )
{
($file, $crc) = split(/, /, $record);
chomp $crc;
(@str) = split(//, $file);
if (($str[0] eq '-') or ($str[0] eq '!')) { @newlist = (@newlist, "$record"); }
else
{
$char = $str[1];
if ($char eq '<') { $filetest = substr $file, 6; }
else { $filetest = substr $file, 1; }
}
print $filetest.' '.$crc."\n";
}
}open FHR, '<'."$dir/drweb32.lst" or die "can't open $dir/drweb32.lst ($!)\n";
while (<FHR>) {
s/\r?\n$//; # remove \r\n, \n
/^\[[\w ]+\]$/ and next;
/^[-]/ and next; #skip delete;
my ( $filename, undef,$crc ) = /^[\+\=\@\!].*?([_a-zA-Z0-9\.\-]+)(\|.+)?[, \t]+([a-fA-F\d]+)?[, \t]*(\d+\.\d+)?/o
or print STDERR "unknown line \"$_\" in lst\n";
next if -f "$dir/$filename" and checkcrc32("$dir/$filename",$crc);
$ret++ unless download("$url/$filename","$dir/$filename",$crc);
print "$url/$filename, $crc\n"; #what try to download
}
close FHR;Поверьте, в компании DrWeb lst могут поправить совершенно невообразимым способом (:-) я это когда-то сделал) и ваш парсер обломитсяСейчас есть мысль для файлов с нулевой длинной
# удаление нулевых файлов
opendir (C_DIR, $basedir);
my @c_files=readdir (C_DIR);
closedir (C_DIR);
foreach my $c_file (@c_files){
if ((-s $basedir.'/'.$c_file) eq 0){
unlink ($basedir.'/'.$c_file)
}
}
Newbie
Отправлено 08 Апрель 2009 - 03:16
#!/usr/bin/perl -w use Digest::MD5; my $logdir = '/tmp/update';а вот продолжение озадачивает
# обновление баз и движков
if (defined $logdir){
system ('rm -rf '. $logdir. '/*.*');
}этим блоком убиваются все файлы во всех перечисленных каталогах.... включая ключевой файл...
Member
Отправлено 08 Апрель 2009 - 08:59
этим блоком убиваются все файлы во всех перечисленных каталогах.... включая ключевой файл...
Newbie
Отправлено 08 Апрель 2009 - 09:43
а ключевой то файл зачем грохать?... могет стоитПросто файлы надо удалять, т.к. wget всё равно скачивает новые файлы. А скачивать их надо, т.к. у DrWeb частая тенденция заменять базы.
my $drwebkey = '/tmp/update/drweb32-betatesting.key';заменить на что нить типа
my $drwebkey = '/tmp/update/KEY/drweb32-betatesting.key';или как?... сам я перловку варить не очень... а скрипт пашеть после такого изменения... правда до сих пор не пойму зачем передергивать уже скачанные архивы баз? они то не изменятся для этой версии зеркала, а для другой версии другой каталог можно назначить базедиром
Member
Отправлено 08 Апрель 2009 - 12:22
Да, конечно можно. Это просто у меня дома всё в одном каталоге лежало. Потом в голову вдарило, на wiki дописал код не тестируя. Сейчас поправлю, хотя вы могли бы и сами это сделать на wiki ;-)заменить на что нить типа
они то не изменятся для этой версии зеркала, а для другой версии другой каталог можно назначить базедиром
Guru
Отправлено 08 Апрель 2009 - 15:49
И, типа, при этом тайм-штамп не обновляется, а wget ни работать с ним не умеет, ни зеркалировать ...Просто файлы надо удалять, т.к. wget всё равно скачивает новые файлы. А скачивать их надо, т.к. у DrWeb частая тенденция заменять базы.
Member
Отправлено 08 Апрель 2009 - 21:19
Смотрящий
Отправлено 08 Апрель 2009 - 23:58
Дима, ты такими темпами штатный апдейтер напишешь. Я завидую твоему времениСерия 3.
Скрипт переписан. Оптимизировано количество закачиваемого контента для уменьшения затрат на Интернет :-)
* Не надо самостоятельно поддерживать актуальность компонент.
* Избавились от wget'a.
* Сделан разбор lst-файла. При этом, если crc совпал со скаченным ранее фалом, то повторного скачивания не будет. Если crc скаченного файла не совпадает с тем, что написано в lst, то такой файл записан не будет
* хеш считает с использованием библиотеки Zlib. У меня на машине никаких тормозов нет.
Смотрите в следующей серии: список исключаемых из скачивания компонент.
Member
Отправлено 09 Апрель 2009 - 08:01
Дима, ты такими темпами штатный апдейтер напишешь
the Spirit of the Enlightenment
Отправлено 09 Апрель 2009 - 09:44
DrWeb opensource
Member
Отправлено 09 Апрель 2009 - 16:21
На этот вопрос и я отвечу. Потому что /500/windows - это обычный антивирус. А Security Space живёт в /500/sspace.
Смотрящий
Отправлено 09 Апрель 2009 - 16:33
пока ты не используешь недокументированные особенности наших серверов, я только заDrWeb opensource
Newbie
Отправлено 10 Апрель 2009 - 09:14
:> perl 3drwebupw.pl 403 Forbidden (file http://update.drweb.com/500/windows/drweb32.lst) can't open ./update/500/drweb32.lst (No such file or directory)вот так отпинывается....
my $ua = LWP::UserAgent->new; $ua->env_proxy; $ua->agent("DrWebUpdate-5.00.3.03020 (windows: 5.00.2195)");иначе перловка напрямую рвется в инет, а его у меня напрямую нету
0 пользователей, 0 гостей, 0 скрытых
Community Forum Software by IP.Board
Владелец лицензии: Doctor Web, Ltd.
