25 ответов в этой теме

[mc-sim]

Доброго времени.
Пытаюсь перенести DrWeb ES 6.0.2 с Win 2k3 на Debian Squeeze со меной БД с IntDB на PgSQL.
На исходном сервере (Win2k3) остановил сервер и сделал экспорт командой:

C:\Program Files\DrWeb Enterprise Server\bin>drwcsd.exe -home="C:\Program Files\ DrWeb Enterprise Server" -var-root="C:\Program Files\DrWeb Enterprise Server\var " -verbosity=all exportdb D:\123\esbase.es

На Debian установил DrWeb ES, установил из бэкпортов PostgreSQL 9.1 и настроил ES на работу с PgSQL. Перенес на Debian экспортированный файл, остановил сервер DrWeb и выполнил команду:

root@nfs-client:~# /etc/init.d/drwcsd importdb /opt/drwcs/esbase.es

импорт завершился без сообщений, в логе вот такая ошибка:

......
20111121.191816.06 tr2 [ 4599 4599] main [DbMgr] Restoring table "avd_report_archive" ...
20111121.191816.06 tr2 [ 4599 4599] main [DbMgr] Restoring table "admin_activity" ...
20111121.191820.08 tr2 [ 4599 4599] main [DbMgr] Restoring table "server_schedule" ...
20111121.191820.16 tr2 [ 4599 4599] main [DbMgr] Restoring table "admins" ...
20111121.191820.16 tr2 [ 4599 4599] main [DbMgr] Restoring table "admin_attributes" ...
20111121.191820.16 tr2 [ 4599 4599] main [DbMgr] Restoring table "activity_data" ...
20111121.191824.06 ERR [ 4599 4599] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb, 00.001, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.191824.06 ERR [ 4599 4599] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.191824.06 ERR [ 4599 4599] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.191824.06 ERR [ 4599 4599] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.191824.06 ERR [ 4599 4599] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: current transaction is aborted, commands ignored until end of transaction block, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.191824.06 ERR [ 4599 4599] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB", "20111116130458353"]
20111121.191824.07 ERR [ 4599 4599] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of c", "20111116130458353"]
20111121.191824.07 ERR [ 4599 4599] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error b", "20111116130458353"]
20111121.191824.07 ERR [ 4599 4599] main [DB] Unsuccessful SQL import database, rolling back
20111121.191824.07 wrn [ 4599 4599] main [DBPool] Broken DB instance "server_t::importdb()" has been thrown away
20111121.191824.07 FTL [ 4599 4599] main [Server] Cannot import database because of
20111121.191824.07 FTL [ 4599 4599] main import file "/opt/drwcs/esbase.es" is corrupted because of
20111121.191824.07 FTL [ 4599 4599] main cannot insert record #6802 into table
20111121.191824.07 tr0 [ 4599 4599] main Dr.Web ® Enterprise Server REL-600 Build 6.00.2.201109160 (Linux/x86) is terminating
20111121.191824.07 ntc [ 4599 4599] main [Linux] System uptime is 04:43:10
20111121.191824.07 ntc [ 4599 4599] main [Linux] Now there are 84 processes, load average: 1.03 0.87 0.44
...

Подскажите,пожалуйста, как корректно импортировать базу?
Спасибо.

[Eugeny Gladkih]

создайте БД с latin1 кодировкой, меньше pg будет умничать

[Disaron]

Я когда переходил на постгрю, эту таблицу (activity_data) предварительно вычистил. Были еще проблемы с одной (не помню уже с какой точно) - почему-то длина данных varchar типа была больше, чем максимальная в пустой таблице после initdb. Пришлось ручками увеличить, а после импорта вернуть на место.

И не нужен этот костыль latin1 - все прекрасно в utf8 импортировалось, хоть и после небольшого бубна.

Сообщение было изменено Disaron: 21 Ноябрь 2011 - 21:40

[pig]

Секрет бубна откроете?

[mc-sim]

спасибо всем за ответы

Я когда переходил на постгрю, эту таблицу (activity_data) предварительно вычистил. Были еще проблемы с одной (не помню уже с какой точно) - почему-то длина данных varchar типа была больше, чем максимальная в пустой таблице после initdb. Пришлось ручками увеличить, а после импорта вернуть на место.

Попробовал через pgAdmin почистить таблицу и запустить импорт снова... Но опять ошибка...

20111121.231147.81 tr2 [11651 11651] main [DbMgr] Restoring table "activity_data" ...
20111121.231151.62 ERR [11651 11651] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb, 00.001, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.231151.62 ERR [11651 11651] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb, 00.001, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.231151.62 ERR [11651 11651] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.231151.63 ERR [11651 11651] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb, 00.001, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.231151.63 ERR [11651 11651] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: current transaction is aborted, commands ignored until end of transaction block, 00.001, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB conne", "20111116130458353"]
20111121.231151.63 ERR [11651 11651] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of cannot create DB", "20111116130458353"]
20111121.231151.63 ERR [11651 11651] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block, 00.001, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error because of c", "20111116130458353"]
20111121.231151.63 ERR [11651 11651] main [DB] Failed, ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: invalid byte sequence for encoding "UTF8": 0xcaeb; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block; ERROR: current transaction is aborted, commands ignored until end of transaction block, 00.000, INSERT INTO activity_data VALUES(?,?,?,?) ["20790296-d11d-b211-a86e-c800300e7d01", "Error", "Verify new configuration error b", "20111116130458353"]
20111121.231151.63 ERR [11651 11651] main [DB] Unsuccessful SQL import database, rolling back

Disaron, я был бы благодарен, если бы был приведен SQL-код по очистке таблиц и расширению размера поля и какого поля...

И не нужен этот костыль latin1 - все прекрасно в utf8 импортировалось, хоть и после небольшого бубна.

Я тоже не сторонник кодировок "неUTF8", хотя в этом деле могу себя назвать дилетантом, но тем не менее приходилось сталкиваться с проблемами экспорта/импорта баз данных, когда кодировка базы не соответствует кодировке СУБД по умолчанию...

создайте БД с latin1 кодировкой, меньше pg будет умничать

уже завтра попробую, но не хотелось бы этого по вышеуказанным причинам...

[mc-sim]

создайте БД с latin1 кодировкой, меньше pg будет умничать

Попробовал создать базу с кодировкой LATIN1 - не получилось....

postgres@nfs-client:~$ psql --dbname postgres --username postgres --command "CREATE DATABASE drwebess OWNER postgres ENCODING 'LATIN1' TABLESPACE drweb_ts;"
ERROR: encoding LATIN1 does not match locale ru_RU.UTF-8
ПОДРОБНО: The chosen LC_CTYPE setting requires encoding UTF8.

Как быть дальше?

[mc-sim]

попробовал так:

postgres@nfs-client:~$ LANG=en_US.iso88591
postgres@nfs-client:~$ export LANG
postgres@nfs-client:~$ locale
LANG=en_US.iso88591
LC_CTYPE="en_US.iso88591"
LC_NUMERIC="en_US.iso88591"
LC_TIME="en_US.iso88591"
LC_COLLATE="en_US.iso88591"
LC_MONETARY="en_US.iso88591"
LC_MESSAGES="en_US.iso88591"
LC_PAPER="en_US.iso88591"
LC_NAME="en_US.iso88591"
LC_ADDRESS="en_US.iso88591"
LC_TELEPHONE="en_US.iso88591"
LC_MEASUREMENT="en_US.iso88591"
LC_IDENTIFICATION="en_US.iso88591"
LC_ALL=
postgres@nfs-client:~$ psql --dbname postgres --username postgres --command "CREATE DATABASE drwebess OWNER postgres ENCODING 'LATIN1' TABLESPACE drweb_ts;"
ERROR:  encoding LATIN1 does not match locale ru_RU.UTF-8
DETAIL:  The chosen LC_CTYPE setting requires encoding UTF8.

не помогло
Эни море идеас? как говориться...

[HHH]

Disaron, я был бы благодарен, если бы был приведен SQL-код по очистке таблиц и расширению размера поля и какого поля...

Я так понимаю имелась в виду очистка activity_data таблицы *до* экспорта данных из текущей базы ES.
Либо редактировать экспортированный файл и удалять оттуда строки, начинащиеся на "INSERT INTO activity_data"

[mc-sim]

Я так понимаю имелась в виду очистка activity_data таблицы *до* экспорта данных из текущей базы ES.
Либо редактировать экспортированный файл и удалять оттуда строки, начинащиеся на "INSERT INTO activity_data"

Дельное замечание. Пробую, но так это долго с 23-мя гигабайтами... Ужос...

[HHH]

DELETE FROM activity_data вряд ли займёт больше нескольких секунд

[mc-sim]

DELETE FROM activity_data вряд ли займёт больше нескольких секунд

да пока сделаешь копию рабочей базы на IDE-винте - постареть можно
Но после очистки таблицы и экспорта процесс пошел дальше....

....
20111123.140328.17 tr1 [ 1603 1603] main [DbMgr] Restore database structure from import file "/opt/drwcs/esbase.es"
20111123.140328.17 tr2 [ 1603 1603] main [DbMgr] Restoring table "dbstruct" ...
20111123.140328.17 tr2 [ 1603 1603] main [DbMgr] Restoring table "tables_list" ...
20111123.140328.22 tr2 [ 1603 1603] main [DbMgr] Restoring table "group_key" ...
20111123.140328.22 tr2 [ 1603 1603] main [DbMgr] Restoring table "station_key" ...
20111123.140328.22 tr2 [ 1603 1603] main [DbMgr] Restoring table "available_keys" ...
20111123.140328.22 tr2 [ 1603 1603] main [DbMgr] Restoring table "station_available" ...
20111123.140328.22 tr2 [ 1603 1603] main [DbMgr] Restoring table "group_available" ...
20111123.140328.26 tr2 [ 1603 1603] main [DbMgr] Restoring table "avd_report_archive" ...
20111123.140328.26 tr2 [ 1603 1603] main [DbMgr] Restoring table "admin_activity" ...
20111123.140332.36 tr2 [ 1603 1603] main [DbMgr] Restoring table "server_schedule" ...
20111123.140332.44 tr2 [ 1603 1603] main [DbMgr] Restoring table "admins" ...
20111123.140332.44 tr2 [ 1603 1603] main [DbMgr] Restoring table "admin_attributes" ...
20111123.140332.45 tr2 [ 1603 1603] main [DbMgr] Restoring table "activity_data" ...
20111123.140332.45 tr2 [ 1603 1603] main [DbMgr] Restoring table "station_accounting" ...
20111123.140332.45 tr2 [ 1603 1603] main [DbMgr] Restoring table "station_extra" ...
20111123.140332.54 tr2 [ 1603 1603] main [DbMgr] Restoring table "station_offline_cmd" ...
20111123.140332.54 tr2 [ 1603 1603] main [DbMgr] Restoring table "station_groups" ...
20111123.140332.58 tr2 [ 1603 1603] main [DbMgr] Restoring table "groups" ...
20111123.140332.63 tr2 [ 1603 1603] main [DbMgr] Restoring table "group_parent" ...
20111123.140332.68 tr2 [ 1603 1603] main [DbMgr] Restoring table "station_history" ...
.....

[mc-sim]

Итого, все корректно импортировалось.
Завтра буду тестировать работоспособность всего сервера DRWEb
Из 23 Гб база стала занимать 11 Гб.
Таблица "procerror" заняла бОльшую половину места - почти 8 Гб.
Подскажите, что в ней хранится?

[Eugeny Gladkih]

ошибки сканирования файлов, всякие access denied на файлы, сбои поискового движка при сканировании

[mc-sim]

И еще вопрос:
1. Вот тут
http://wiki.drweb.com/index.php/Установка_Drweb_Enterprise_Suite_4.44_beta_с_PostgreSQL_8.2.5_под_Windows_2000
дана команда

psql --dbname postgres --username postgres --command "ALTER ROLE drwcs SET search_path to '$user', 'public';"

при ее выполнении и после появляются ошибки. пример:

root@nfs-client:~# /etc/init.d/drwcsd importdb /opt/drwcs/esbase.es
WARNING:  invalid value for parameter "search_path": """, public"
DETAIL:  schema "" does not exist
WARNING:  invalid value for parameter "search_path": """, public"
DETAIL:  schema "" does not exist

Как указанную команду нужно изменить, чтобы не было ошибки?

[Disaron]

Секрет бубна откроете?

К несчастью это было в далеком 2007 году. После э
того я слез на linux+intdb а потом перелез на linux+postgres.

mc-sim, попробуйте так:
"ALTER ROLE drwcs SET search_path to '$user', public;"

пользователь и схема созданы?

Я вообще-то не заморачивался - создал БД со своим тейблспейсом, таблицы в схеме public разместил, дал ей владельцем пользователя под которым делаю соединение. Потом initdb, importdb. По уму смысла не было делать - БД только на доктора и работает. Зарезал все в pg_hba и iptables для пущей надежности.

Сообщение было изменено Disaron: 23 Ноябрь 2011 - 22:11

[Disaron]

Кстати, а внутренняя БД это случаем не подвид sqlite?

[pig]

Оно.

[Eugeny Gladkih]

Кстати, а внутренняя БД это случаем не подвид sqlite?

несколько доработанный sqlite2, в семерке будет еще и чистый sqlite3. а вот M$ SQL CE будет отправлен в топку, глюкав и тормозной.

[mc-sim]

К несчастью это было в далеком 2007 году. После этого я слез на linux+intdb а потом перелез на linux+postgres.

mc-sim, попробуйте так:
"ALTER ROLE drwcs SET search_path to '$user', public;"

пользователь и схема созданы?

Я вообще-то не заморачивался - создал БД со своим тейблспейсом, таблицы в схеме public разместил, дал ей владельцем пользователя под которым делаю соединение. Потом initdb, importdb. По уму смысла не было делать - БД только на доктора и работает. Зарезал все в pg_hba и iptables для пущей надежности.

Все команды, которые приведены в wiki корректно работают и в текущем Debian+PdSQL 9.1(из бэкпортов), кроме указанной, так что и 2007 вполне актуален...

[mc-sim]

mc-sim, попробуйте так:
"ALTER ROLE drwcs SET search_path to '$user', public;"

пользователь и схема созданы?

Я вообще-то не заморачивался - создал БД со своим тейблспейсом, таблицы в схеме public разместил, дал ей владельцем пользователя под которым делаю соединение. Потом initdb, importdb. По уму смысла не было делать - БД только на доктора и работает. Зарезал все в pg_hba и iptables для пущей надежности.

попробовал по Вашему совету, но еррор остался:

root@nfs-client:~# su -l postgres
postgres@nfs-client:~$ psql --dbname postgres --username postgres --command "CREATE TABLESPACE drwebes_ts OWNER postgres LOCATION '/var/db';"
CREATE TABLESPACE
postgres@nfs-client:~$ psql --dbname postgres --username postgres --command "CREATE DATABASE drwebes OWNER postgres TABLESPACE drwebes_ts;"
CREATE DATABASE
postgres@nfs-client:~$ psql --dbname drwebes --username postgres --command "CREATE SCHEMA drwcs AUTHORIZATION drwcs;"
CREATE SCHEMA
postgres@nfs-client:~$ psql --dbname postgres --username postgres --command "ALTER ROLE drwcs SET search_path to '$user', public;"
NOTICE:  schema "" does not exist
ALTER ROLE
postgres@nfs-client:~$

ай нид хелп