Обсуждение: Импорт таблиц dbf в PostgreSQL
Hi. Есть в наличии постоянно обновляемые справочники в формате dbf. (Например: streets.dbf) Надо регулярно производить выгрузку в PostgreSQL. Как это делать максимально быстро (утилиты, внутренними средствами БД, библиотеками)? Буду очень признателен, если кто-то поделится опытом. P.S. ПО обязательно должно быть свободным для коммерческого использования.
Торопов Антон Борисович wrote: > Hi. > > Есть в наличии постоянно обновляемые справочники в формате dbf. > (Например: streets.dbf) > Надо регулярно производить выгрузку в PostgreSQL. > > Как это делать максимально быстро (утилиты, внутренними средствами БД, > библиотеками)? > > Буду очень признателен, если кто-то поделится опытом. > > P.S. ПО обязательно должно быть свободным для коммерческого использования. Есть опыт: использовали перловый модуль XBase чтобы читать dbf файлы и создавать на выходе нормальный SQL.
Спасибо большое. Но хотелось бы испробовать и другие средства, для сравнения производительности.
Hello, Торопов Антон Борисович said the following on 07.08.2007 13:09: > Но хотелось бы испробовать и другие средства, для сравнения > производительности. А что, очень большие dbf'ы? Зачем там особая производительность? Я бы взял python + SQLAlchemy Для чтения dbf быстрее всего вот это: http://aspn.activestate.com/ASPN/Cookbook/Python/Recipe/362715 Сравнение по скорости было тут: http://omsk.lug.ru/wacko/Python/Dbf -- Oleg
Таблицы приходят такие: раз в квартал 2 таблицы размером около 1ГБ раз в неделю ~50 таблиц, по 5-30 МБ ну и так по мелочи. Просто не хочется чтобы первые две таблицы импортировались "суток несколько".
Все. Буду пробовать то, что вы предложили. Всем спасибо.
Торопов Антон Борисович wrote: > Таблицы приходят такие: > > раз в квартал 2 таблицы размером около 1ГБ > раз в неделю ~50 таблиц, по 5-30 МБ > > ну и так по мелочи. > > Просто не хочется чтобы первые две таблицы импортировались "суток > несколько". > > ---------------------------(end of broadcast)--------------------------- > TIP 3: Have you checked our extensive FAQ? > > http://www.postgresql.org/docs/faq > > . > > Вполне вероятно, тебя спасет вот эта консольная утилитка http://dbf.berlios.de/ Выгрузка в csv просто молниеносная (по сравнению с другими утилитами), правда файлики более чем 100Мб я не гонял. Удачи, Muxas