Удаление мусора в виде BLOBов

Поиск
Список
Период
Сортировка
Искать

Удаление мусора в виде BLOBов

От:
"Evgeny M. Baldin" <E.M.Baldin@inp.nsk.su>
Дата:
Добрый день

 В результате не очень удачного восстановления БД накопилось много мусора 
в виде Больших Объектов на которые в пользовательских таблицах нет ссылок.

 Вопрос идёт о дополнительных 800 Мб в бэкапном файле, что напрягает. 
Хотелось бы как-то решить эту проблему. Попробовал нечто под названием  
vacuumlo, но оно ничего не удалило. Куда глянуть? 
 
 Есть конечно вариант, что я сканирую все пользовательские таблицы в 
поисках ссылок на BLOBы (я знаю что надо), а затем удаляю все записи из 
pg_largeobject на которые ссылок в пользовательских таблицах нет (что и 
должна была сделать программа vacuumlo), но меня гложет вопрос, а не 
выкину ли я какую-либо системную информацию?

С уважением
	Евгений

Re: Удаление мусора в виде BLOBов

От:
Oleg Bartunov <oleg@sai.msu.su>
Дата:
  This message is in MIME format.  The first part should be readable text,
  while the remaining parts are likely unreadable without MIME-aware tools.

---559023410-1069872185-1118133557=:18464
Content-Type: TEXT/PLAIN; charset=koi8-r; format=flowed
Content-Transfer-Encoding: 8BIT

On Tue, 7 Jun 2005, Evgeny M. Baldin wrote:

> Добрый день
>
> В результате не очень удачного восстановления БД накопилось много мусора в 
> виде Больших Объектов на которые в пользовательских таблицах нет ссылок.
>
> Вопрос идёт о дополнительных 800 Мб в бэкапном файле, что напрягает. Хотелось 
> бы как-то решить эту проблему. Попробовал нечто под названием  vacuumlo, но 
> оно ничего не удалило. Куда глянуть? 
> Есть конечно вариант, что я сканирую все пользовательские таблицы в поисках 
> ссылок на BLOBы (я знаю что надо), а затем удаляю все записи из 
> pg_largeobject на которые ссылок в пользовательских таблицах нет (что и 
> должна была сделать программа vacuumlo), но меня гложет вопрос, а не выкину 
> ли я какую-либо системную информацию?


Хмм, именно это и делает vacuumlo. Может это вовсе не мусор :?

This is a simple utility that will remove any orphaned large objects out of a
PostgreSQL database.  An orphaned LO is considered to be any LO whose OID
does not appear in any OID data column of the database.


>
> С уважением
> 	Евгений
>
> ---------------------------(end of broadcast)---------------------------
> TIP 4: Don't 'kill -9' the postmaster
>

 	Regards,
 		Oleg
_____________________________________________________________
Oleg Bartunov, sci.researcher, hostmaster of AstroNet,
Sternberg Astronomical Institute, Moscow University (Russia)
Internet: oleg@sai.msu.su, http://www.sai.msu.su/~megera/
phone: +007(095)939-16-83, +007(095)939-23-83
---559023410-1069872185-1118133557=:18464--

Re: Удаление мусора в виде BLOBов

От:
"Evgeny M. Baldin" <E.M.Baldin@inp.nsk.su>
Дата:
Добрый день

On Tue, 7 Jun 2005, Oleg Bartunov wrote:

> Хмм, именно это и делает vacuumlo. Может это вовсе не мусор :?

По окончанию работы vacuumlo выдало нечто: всё O'k, удалено ноль объектов.

 Проблема возникла следующим образом: 

1) при восстановлении из дампа после восстановления таблицы 
pg_largeobjects произошёл сбой и ссылки на большие объекты не 
поправились. Далее восстановление продолжалось не с нуля, а с 
той таблицы непосредственно до которой возник сбой.

2) Было обнаружено, что большие объекты по ссылкам достать невозможно и 
была предпринята попытка восстановить только таблицы где есть ссылки на 
большие объекты и непосредственно большие объекты с ключиком -c у 
pg_restore

-c
       --clean
              Clean (drop)  database  objects  before  recreating
              them.

Таблицы сбросились, а большие объекты не обнулились, а просто добавились к 
тому, что уже было. 

3) При восстановлении опять произошёл сбой, но соответствие старых OIDоы и 
новых было вытащено из логов и поправлено в таблицах в полуавтоматическом 
режиме.

То есть большие объекты в pg_largeobjects это нормальные объекты, которые 
просто сдублированы и на первую половину просто нет ссылок.

 Вот такая вот история. Жить, собственно говоря, можно, но размер бэкапа 
1.8 Гб напрягает. И 1 Гб то напрягает.

С уважением
	Евгений


FAQ