Импорт таблиц dbf в PostgreSQL
Импорт таблиц dbf в PostgreSQL
От:
Торопов Антон Борисович<torantbor@mail.ru>
Дата:
Hi. Есть в наличии постоянно обновляемые справочники в формате dbf. (Например: streets.dbf) Надо регулярно производить выгрузку в PostgreSQL. Как это делать максимально быстро (утилиты, внутренними средствами БД, библиотеками)? Буду очень признателен, если кто-то поделится опытом. P.S. ПО обязательно должно быть свободным для коммерческого использования.
Re: Импорт таблиц dbf в PostgreSQL
От:
silly_sad <sad@bankir.ru>
Дата:
Торопов Антон Борисович wrote: > Hi. > > Есть в наличии постоянно обновляемые справочники в формате dbf. > (Например: streets.dbf) > Надо регулярно производить выгрузку в PostgreSQL. > > Как это делать максимально быстро (утилиты, внутренними средствами БД, > библиотеками)? > > Буду очень признателен, если кто-то поделится опытом. > > P.S. ПО обязательно должно быть свободным для коммерческого использования. Есть опыт: использовали перловый модуль XBase чтобы читать dbf файлы и создавать на выходе нормальный SQL.
Re: Импорт таблиц dbf в PostgreSQL
От:
Торопов Антон Борисович<torantbor@mail.ru>
Дата:
Спасибо большое. Но хотелось бы испробовать и другие средства, для сравнения производительности.
Re: Импорт таблиц dbf в PostgreSQL
От:
Oleg Deribas <thisaddressisnotmine@td.selfip.net>
Дата:
Hello, Торопов Антон Борисович said the following on 07.08.2007 13:09: > Но хотелось бы испробовать и другие средства, для сравнения > производительности. А что, очень большие dbf'ы? Зачем там особая производительность? Я бы взял python + SQLAlchemy Для чтения dbf быстрее всего вот это: http://aspn.activestate.com/ASPN/Cookbook/Python/Recipe/362715 Сравнение по скорости было тут: http://omsk.lug.ru/wacko/Python/Dbf -- Oleg
Re: Импорт таблиц dbf в PostgreSQL
От:
Торопов Антон Борисович<torantbor@mail.ru>
Дата:
Таблицы приходят такие: раз в квартал 2 таблицы размером около 1ГБ раз в неделю ~50 таблиц, по 5-30 МБ ну и так по мелочи. Просто не хочется чтобы первые две таблицы импортировались "суток несколько".
Re: Импорт таблиц dbf в PostgreSQL
От:
Торопов Антон Борисович<torantbor@mail.ru>
Дата:
Все. Буду пробовать то, что вы предложили. Всем спасибо.
Re: Re: Импорт таблиц dbf в PostgreSQL
От:
Maxim Vetrov <muxas@mail.ru>
Дата:
Торопов Антон Борисович wrote: > Таблицы приходят такие: > > раз в квартал 2 таблицы размером около 1ГБ > раз в неделю ~50 таблиц, по 5-30 МБ > > ну и так по мелочи. > > Просто не хочется чтобы первые две таблицы импортировались "суток > несколько". > > ---------------------------(end of broadcast)--------------------------- > TIP 3: Have you checked our extensive FAQ? > > http://www.postgresql.org/docs/faq > > . > > Вполне вероятно, тебя спасет вот эта консольная утилитка http://dbf.berlios.de/ Выгрузка в csv просто молниеносная (по сравнению с другими утилитами), правда файлики более чем 100Мб я не гонял. Удачи, Muxas