> День/Ночь добрый.
> предлагаю пропустить обсуждение о том как это сделать правильно в
> "постгресте",
> а сразу перейти к обсуждению о том как это сделать правильно вообще.
> Посмотреть в сторону "биг дата" и изучить две вещи:
> - Hadoop
> - HBase
> Дальше научиться агрегировать данные на "мап/редусе" и потом это
> лить в реляционалку для "... низнаю для чего ... ".
> Всё ... жизнь наладилась.
> Удачи. Но если будут вопросы по этим двум пунктам буду рад ответить
> в "привате".
очень сомнительный совет.
если на постгре такая задача отлично решается, то хадуп потребует
где-то x20 ресурсов железных при том что только теоретически будет
масштабируем.
PS: у нас подобная задача: собираем координаты с тысяч устройств, но
передают они их не раз в секунду а раз в 10 секунд (разница
непринципиальная).
поставили перед постгрисом аггрегатор (демончик) который либо ждет 10
секунд и сбрасывает данные в постгрис либо ждет накопления 1000 точек
и так же льет.
в итоге сейчас постгриска в контейнере OpenVZ на одном CPU вполне
собирает за день где-то 2-4гига точек и при этом отвечает быстро на
вопрос "дай мне ближайших к заданной" и отвечает относительно быстро
на вопрос "дай мне трек машинки XXX со времени A по время B"
партицируем тупо по датам: новый день - новая партиция.
--
. ''`. Dmitry E. Oboukhov
: :’ : email: unera@debian.org jabber://UNera@uvw.ru
`. `~’ GPGKey: 1024D / F8E26537 2006-11-21
`- 1B23 D4F8 8EC0 D902 0555 E438 AB8C 00CF F8E2 6537