Re: WIP: Fast GiST index build

От

Alexander Korotkov

Тема

Дата

27 июня 2011 г. в 15:33:14

Msg-id

BANLkTi=1TL+pH2sxiR7nf3oMFdWAHHgSyA@mail.gmail.com

обсуждение

Ответ на

Re: WIP: Fast GiST index build (Heikki Linnakangas)

Список

pgsql-hackers

Дерево обсуждения

WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 3 июня 2011 г. в 08:05:45

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 4 июня 2011 г. в 12:13:26

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 6 июня 2011 г. в 04:42:28

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 6 июня 2011 г. в 07:52:00

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 6 июня 2011 г. в 09:14:39

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 6 июня 2011 г. в 09:17:14

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 15 июня 2011 г. в 04:21:37

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 15 июня 2011 г. в 04:25:18

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 15 июня 2011 г. в 05:04:16

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 15 июня 2011 г. в 05:26:18

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 июня 2011 г. в 06:33:45

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 июня 2011 г. в 15:13:29

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 июня 2011 г. в 15:26:58

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 июня 2011 г. в 15:35:51

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 20 июня 2011 г. в 04:46:56

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 21 июня 2011 г. в 07:08:52

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 24 июня 2011 г. в 05:40:26

Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 24 июня 2011 г. в 13:51:55

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Tom Lane <tgl@sss.pgh.pa.us> 2 июля 2011 г. в 00:03:15

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Tom Lane <tgl@sss.pgh.pa.us> 2 июля 2011 г. в 15:08:31

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 2 июля 2011 г. в 15:37:44

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Tom Lane <tgl@sss.pgh.pa.us> 2 июля 2011 г. в 15:46:21

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Robert Haas <robertmhaas@gmail.com> 24 июня 2011 г. в 15:24:28

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 24 июня 2011 г. в 16:01:48

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Robert Haas <robertmhaas@gmail.com> 24 июня 2011 г. в 16:22:22

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 24 июня 2011 г. в 06:59:44

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 27 июня 2011 г. в 07:46:01

Optimizing box_penalty (Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 27 июня 2011 г. в 10:33:20

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 27 июня 2011 г. в 11:34:52

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 27 июня 2011 г. в 15:33:14

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 28 июня 2011 г. в 04:48:10

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 28 июня 2011 г. в 15:54:18

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 1 июля 2011 г. в 04:42:17

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 7 июля 2011 г. в 07:47:59

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 8 июля 2011 г. в 06:33:07

Re: WIP: Fast GiST index build Tom Lane <tgl@sss.pgh.pa.us> 8 июля 2011 г. в 11:18:16

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 12 июля 2011 г. в 04:06:33

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 12 июля 2011 г. в 05:34:36

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 13 июля 2011 г. в 05:33:32

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 13 июля 2011 г. в 05:40:46

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 13 июля 2011 г. в 06:17:23

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 13 июля 2011 г. в 10:59:54

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 14 июля 2011 г. в 05:35:28

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 14 июля 2011 г. в 05:44:54

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 14 июля 2011 г. в 06:43:36

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 14 июля 2011 г. в 17:41:29

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 14 июля 2011 г. в 17:54:07

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 15 июля 2011 г. в 07:05:10

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 18 июля 2011 г. в 15:01:02

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 22 июля 2011 г. в 06:39:03

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 25 июля 2011 г. в 15:52:41

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 26 июля 2011 г. в 14:24:34

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 28 июля 2011 г. в 17:57:29

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 28 июля 2011 г. в 18:10:43

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 28 июля 2011 г. в 19:07:07

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 2 августа 2011 г. в 09:33:43

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 3 августа 2011 г. в 05:19:17

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 3 августа 2011 г. в 13:31:35

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 4 августа 2011 г. в 05:53:19

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 7 августа 2011 г. в 16:28:39

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 8 августа 2011 г. в 06:24:05

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 8 августа 2011 г. в 07:19:04

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 10 августа 2011 г. в 07:19:40

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 10 августа 2011 г. в 16:45:31

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 11 августа 2011 г. в 07:22:11

Re: WIP: Fast GiST index build Robert Haas <robertmhaas@gmail.com> 12 августа 2011 г. в 12:05:03

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 14 августа 2011 г. в 16:31:11

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 августа 2011 г. в 05:11:03

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 августа 2011 г. в 09:04:52

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 августа 2011 г. в 10:19:41

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 августа 2011 г. в 14:43:50

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 августа 2011 г. в 15:46:34

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 августа 2011 г. в 16:11:02

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 августа 2011 г. в 16:15:48

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 17 августа 2011 г. в 04:12:03

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 22 августа 2011 г. в 07:24:00

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 25 августа 2011 г. в 16:08:36

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 26 августа 2011 г. в 11:19:12

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 29 августа 2011 г. в 04:26:13

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 06:08:44

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 06:22:15

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 30 августа 2011 г. в 07:29:29

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 07:41:13

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 14:29:44

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 30 августа 2011 г. в 17:39:57

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 30 августа 2011 г. в 07:38:37

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 07:43:35

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 сентября 2011 г. в 05:59:34

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 1 сентября 2011 г. в 06:24:19

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 сентября 2011 г. в 06:37:58

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 5 сентября 2011 г. в 08:11:19

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 5 сентября 2011 г. в 13:32:38

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 5 сентября 2011 г. в 19:19:19

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 8 сентября 2011 г. в 11:59:33

Re: WIP: Fast GiST index build Robert Haas <robertmhaas@gmail.com> 8 сентября 2011 г. в 12:28:38

Re: WIP: Fast GiST index build Oleg Bartunov <oleg@sai.msu.su> 8 сентября 2011 г. в 15:11:23

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 8 сентября 2011 г. в 16:26:25

Fast GiST index build - further improvements Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 8 сентября 2011 г. в 13:35:55

Re: Fast GiST index build - further improvements Alexander Korotkov <aekorotkov@gmail.com> 2 февраля 2012 г. в 15:55:13

Re: WIP: Fast GiST index build Stefan Keller <sfkeller@gmail.com> 6 сентября 2011 г. в 10:40:54

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 6 сентября 2011 г. в 10:52:17

Re: WIP: Fast GiST index build Stefan Keller <sfkeller@gmail.com> 13 сентября 2011 г. в 19:00:26

Re: WIP: Fast GiST index build Robert Haas <robertmhaas@gmail.com> 14 сентября 2011 г. в 09:12:24

Re: WIP: Fast GiST index build Stefan Keller <sfkeller@gmail.com> 14 сентября 2011 г. в 03:43:42

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 24 августа 2011 г. в 10:58:03

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 25 августа 2011 г. в 15:53:25

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 26 августа 2011 г. в 11:31:52

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 10 августа 2011 г. в 16:44:47

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 11 августа 2011 г. в 03:21:34

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 11 августа 2011 г. в 04:36:14

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 11 августа 2011 г. в 07:29:11

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 11 августа 2011 г. в 17:30:37

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 12 августа 2011 г. в 05:24:08

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 12 августа 2011 г. в 08:00:21

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 11 августа 2011 г. в 10:45:42

Re: WIP: Fast GiST index build Robert Haas <robertmhaas@gmail.com> 3 августа 2011 г. в 09:59:56

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 26 июля 2011 г. в 16:34:40

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 27 июля 2011 г. в 09:29:30

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 27 июля 2011 г. в 11:06:04

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 27 июля 2011 г. в 11:43:53

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 27 июля 2011 г. в 12:30:18

Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 августа 2011 г. в 06:38:28

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 07:14:08

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 августа 2011 г. в 07:44:37

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 2 августа 2011 г. в 08:04:00

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 2 августа 2011 г. в 08:36:49

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 2 августа 2011 г. в 08:43:44

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 2 августа 2011 г. в 09:19:09

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 2 августа 2011 г. в 12:59:38

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 08:35:42

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 августа 2011 г. в 10:30:02

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 11:27:10

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 августа 2011 г. в 11:34:59

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 12:33:07

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Thom Brown <thom@linux.com> 1 августа 2011 г. в 07:48:32

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 08:26:11

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Thom Brown <thom@linux.com> 1 августа 2011 г. в 08:31:42

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Alexander Korotkov <aekorotkov@gmail.com> 1 августа 2011 г. в 08:33:26

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 6 июня 2011 г. в 09:00:56

Re: WIP: Fast GiST index build Jesper Krogh <jesper@krogh.cc> 25 июня 2011 г. в 04:03:34

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 25 июня 2011 г. в 05:23:40

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 26 июня 2011 г. в 07:18:26

On Mon, Jun 27, 2011 at 6:34 PM, Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> wrote:

The penalty function is called whenever a tuple is routed to the next level down, and the final tree has the same depth with and without the patch, so I would expect the number of penalty calls to be roughly the same. But clearly there's something wrong with that logic; can you explain in layman's terms why the patch adds so many gist penalty calls? And how many calls does it actually add, can you gather some numbers on that? Any ides on how to mitigate that, or do we just have to live with it? Or maybe use some heuristic to use the existing insertion method when the patch is not expected to be helpful?

In short due to parralel routing of many index tuples routing can alter. In fast build algorithm index tuples are accumulating into node buffers. When corresponding node splits we have to repocate index tuples from it. In original algorithm we are relocating node buffers into buffers of new nodes produced by split. Even this requires additional penalty calls.

But for improvement of index quality I modified algorithm. With my modification index tuple of splitted node buffer can be relocated also into other node buffers of same parent. It produces more penalty calls.

I didn't have an estimate yet, but I'm working on it. Unfortunatelly, I haven't any idea about mitigating it except turning off my modification.

Heuristic is possible, but I feel following problems. At first, we need to somehow estimate length of varlena keys. I avoid this estimate in fast algorithm itself just assumed worst case, but I believe we need some more precise for good heuristic. At second, the right decision is strongly depend on concurrent load. When there are no concurrent load (as in my experiments) fraction of tree which fits to effective cache is reasonable for estimating benefit of IO economy. But with high concurrent load part of cache occupied by tree should be considerable smaller than whole effective cache.

------
With best regards,
Alexander Korotkov.

В списке pgsql-hackers по дате отправления

Предыдущее

От: Bruce Momjian

Дата: 27 июня 2011 г. в 15:28:03

Сообщение: Re: pg_upgrade defaulting to port 25432

Следующее

От: Robert Haas

Дата: 27 июня 2011 г. в 15:34:25

Сообщение: Re: pg_upgrade defaulting to port 25432