11.03.2015 05:56, Dmitry E. Oboukhov пишет:
> очень сомнительный совет. если на постгре такая задача отлично
> решается, то хадуп потребует где-то x20 ресурсов железных при том что
> только теоретически будет масштабируем. PS: у нас подобная задача:
> собираем координаты с тысяч устройств, но передают они их не раз в
> секунду а раз в 10 секунд (разница непринципиальная). поставили перед
> постгрисом аггрегатор (демончик) который либо ждет 10 секунд и
> сбрасывает данные в постгрис либо ждет накопления 1000 точек и так же
> льет. в итоге сейчас постгриска в контейнере OpenVZ на одном CPU
> вполне собирает за день где-то 2-4гига точек и при этом отвечает
> быстро на вопрос "дай мне ближайших к заданной" и отвечает
> относительно быстро на вопрос "дай мне трек машинки XXX со времени A
> по время B" партицируем тупо по датам: новый день - новая партиция.
Дмитрий у вас записей по максимуму 1000*6*60*24*365*3=9.460.800.000 (9.5
миллиарда.)
>Есть 5000 устройств присылающих информация примерное 1 раз в секунду.
>Хранить информацию в доступном резерве надо около 3-х лет.
5000*1*24*60*60*365*3 = 473.040.000.000 (473 миллиарда.)
Мне кажется разница видна не вооруженным взглядом.
К тому же предположение что потребуется х20 ресурсов как то ... слишком
пессимистически рассчитано.
На хадуп понадобиться минимум три сервера остальное точно по желанию, в
варианте с постгрестом
понадобиться минимум два мощных сервера или мы все надеемся что один
сервак никогда не сломается ?
Вы привели только два запроса к данным и сразу намекая что такой то
запрос "отвечает относительно быстро", а
сколько у вас рассчитываюся более сложные запросы ? а есть какая то
аналитика по данным или она не входит в задачу ?
Думаю дальше обсуждать не стоит.
ЗЫ делайте кластеризацию Ваших партиций по индексу "машинки_ид" и тогда
Ваш последний запрос тоже будет мухой рассчитываться.