Re: WIP: Fast GiST index build

От

Alexander Korotkov

Тема

Дата

25 июня 2011 г. в 05:23:40

Msg-id

BANLkTinf3eL6T_8SHP+7QfMu71_OGBwN3g@mail.gmail.com

обсуждение

Ответ на

Re: WIP: Fast GiST index build (Jesper Krogh)

Список

pgsql-hackers

Дерево обсуждения

WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 3 июня 2011 г. в 08:05:45

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 4 июня 2011 г. в 12:13:26

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 6 июня 2011 г. в 04:42:28

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 6 июня 2011 г. в 07:52:00

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 6 июня 2011 г. в 09:14:39

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 6 июня 2011 г. в 09:17:14

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 15 июня 2011 г. в 04:21:37

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 15 июня 2011 г. в 04:25:18

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 15 июня 2011 г. в 05:04:16

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 15 июня 2011 г. в 05:26:18

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 июня 2011 г. в 06:33:45

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 июня 2011 г. в 15:13:29

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 июня 2011 г. в 15:26:58

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 июня 2011 г. в 15:35:51

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 20 июня 2011 г. в 04:46:56

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 21 июня 2011 г. в 07:08:52

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 24 июня 2011 г. в 05:40:26

Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 24 июня 2011 г. в 13:51:55

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Tom Lane <tgl@sss.pgh.pa.us> 2 июля 2011 г. в 00:03:15

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Tom Lane <tgl@sss.pgh.pa.us> 2 июля 2011 г. в 15:08:31

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 2 июля 2011 г. в 15:37:44

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Tom Lane <tgl@sss.pgh.pa.us> 2 июля 2011 г. в 15:46:21

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Robert Haas <robertmhaas@gmail.com> 24 июня 2011 г. в 15:24:28

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 24 июня 2011 г. в 16:01:48

Re: Optimizing pg_trgm makesign() (was Re: WIP: Fast GiST index build) Robert Haas <robertmhaas@gmail.com> 24 июня 2011 г. в 16:22:22

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 24 июня 2011 г. в 06:59:44

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 27 июня 2011 г. в 07:46:01

Optimizing box_penalty (Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 27 июня 2011 г. в 10:33:20

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 27 июня 2011 г. в 11:34:52

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 27 июня 2011 г. в 15:33:14

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 28 июня 2011 г. в 04:48:10

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 28 июня 2011 г. в 15:54:18

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 1 июля 2011 г. в 04:42:17

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 7 июля 2011 г. в 07:47:59

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 8 июля 2011 г. в 06:33:07

Re: WIP: Fast GiST index build Tom Lane <tgl@sss.pgh.pa.us> 8 июля 2011 г. в 11:18:16

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 12 июля 2011 г. в 04:06:33

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 12 июля 2011 г. в 05:34:36

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 13 июля 2011 г. в 05:33:32

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 13 июля 2011 г. в 05:40:46

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 13 июля 2011 г. в 06:17:23

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 13 июля 2011 г. в 10:59:54

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 14 июля 2011 г. в 05:35:28

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 14 июля 2011 г. в 05:44:54

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 14 июля 2011 г. в 06:43:36

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 14 июля 2011 г. в 17:41:29

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 14 июля 2011 г. в 17:54:07

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 15 июля 2011 г. в 07:05:10

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 18 июля 2011 г. в 15:01:02

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 22 июля 2011 г. в 06:39:03

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 25 июля 2011 г. в 15:52:41

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 26 июля 2011 г. в 14:24:34

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 28 июля 2011 г. в 17:57:29

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 28 июля 2011 г. в 18:10:43

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 28 июля 2011 г. в 19:07:07

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 2 августа 2011 г. в 09:33:43

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 3 августа 2011 г. в 05:19:17

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 3 августа 2011 г. в 13:31:35

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 4 августа 2011 г. в 05:53:19

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 7 августа 2011 г. в 16:28:39

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 8 августа 2011 г. в 06:24:05

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 8 августа 2011 г. в 07:19:04

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 10 августа 2011 г. в 07:19:40

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 10 августа 2011 г. в 16:45:31

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 11 августа 2011 г. в 07:22:11

Re: WIP: Fast GiST index build Robert Haas <robertmhaas@gmail.com> 12 августа 2011 г. в 12:05:03

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 14 августа 2011 г. в 16:31:11

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 августа 2011 г. в 05:11:03

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 августа 2011 г. в 09:04:52

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 августа 2011 г. в 10:19:41

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 августа 2011 г. в 14:43:50

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 16 августа 2011 г. в 15:46:34

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 августа 2011 г. в 16:11:02

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 16 августа 2011 г. в 16:15:48

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 17 августа 2011 г. в 04:12:03

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 22 августа 2011 г. в 07:24:00

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 25 августа 2011 г. в 16:08:36

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 26 августа 2011 г. в 11:19:12

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 29 августа 2011 г. в 04:26:13

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 06:08:44

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 06:22:15

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 30 августа 2011 г. в 07:29:29

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 07:41:13

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 14:29:44

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 30 августа 2011 г. в 17:39:57

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 30 августа 2011 г. в 07:38:37

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 30 августа 2011 г. в 07:43:35

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 сентября 2011 г. в 05:59:34

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 1 сентября 2011 г. в 06:24:19

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 сентября 2011 г. в 06:37:58

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 5 сентября 2011 г. в 08:11:19

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 5 сентября 2011 г. в 13:32:38

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 5 сентября 2011 г. в 19:19:19

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 8 сентября 2011 г. в 11:59:33

Re: WIP: Fast GiST index build Robert Haas <robertmhaas@gmail.com> 8 сентября 2011 г. в 12:28:38

Re: WIP: Fast GiST index build Oleg Bartunov <oleg@sai.msu.su> 8 сентября 2011 г. в 15:11:23

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 8 сентября 2011 г. в 16:26:25

Fast GiST index build - further improvements Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 8 сентября 2011 г. в 13:35:55

Re: Fast GiST index build - further improvements Alexander Korotkov <aekorotkov@gmail.com> 2 февраля 2012 г. в 15:55:13

Re: WIP: Fast GiST index build Stefan Keller <sfkeller@gmail.com> 6 сентября 2011 г. в 10:40:54

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 6 сентября 2011 г. в 10:52:17

Re: WIP: Fast GiST index build Stefan Keller <sfkeller@gmail.com> 13 сентября 2011 г. в 19:00:26

Re: WIP: Fast GiST index build Robert Haas <robertmhaas@gmail.com> 14 сентября 2011 г. в 09:12:24

Re: WIP: Fast GiST index build Stefan Keller <sfkeller@gmail.com> 14 сентября 2011 г. в 03:43:42

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 24 августа 2011 г. в 10:58:03

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 25 августа 2011 г. в 15:53:25

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 26 августа 2011 г. в 11:31:52

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 10 августа 2011 г. в 16:44:47

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 11 августа 2011 г. в 03:21:34

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 11 августа 2011 г. в 04:36:14

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 11 августа 2011 г. в 07:29:11

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 11 августа 2011 г. в 17:30:37

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 12 августа 2011 г. в 05:24:08

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 12 августа 2011 г. в 08:00:21

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 11 августа 2011 г. в 10:45:42

Re: WIP: Fast GiST index build Robert Haas <robertmhaas@gmail.com> 3 августа 2011 г. в 09:59:56

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 26 июля 2011 г. в 16:34:40

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 27 июля 2011 г. в 09:29:30

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 27 июля 2011 г. в 11:06:04

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 27 июля 2011 г. в 11:43:53

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 27 июля 2011 г. в 12:30:18

Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 августа 2011 г. в 06:38:28

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 07:14:08

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 августа 2011 г. в 07:44:37

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 2 августа 2011 г. в 08:04:00

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 2 августа 2011 г. в 08:36:49

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 2 августа 2011 г. в 08:43:44

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 2 августа 2011 г. в 09:19:09

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 2 августа 2011 г. в 12:59:38

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 08:35:42

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 августа 2011 г. в 10:30:02

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 11:27:10

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 1 августа 2011 г. в 11:34:59

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 12:33:07

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Thom Brown <thom@linux.com> 1 августа 2011 г. в 07:48:32

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Simon Riggs <simon@2ndQuadrant.com> 1 августа 2011 г. в 08:26:11

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Thom Brown <thom@linux.com> 1 августа 2011 г. в 08:31:42

Re: Hot standby and GiST page splits (was Re: WIP: Fast GiST index build) Alexander Korotkov <aekorotkov@gmail.com> 1 августа 2011 г. в 08:33:26

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 6 июня 2011 г. в 09:00:56

Re: WIP: Fast GiST index build Jesper Krogh <jesper@krogh.cc> 25 июня 2011 г. в 04:03:34

Re: WIP: Fast GiST index build Alexander Korotkov <aekorotkov@gmail.com> 25 июня 2011 г. в 05:23:40

Re: WIP: Fast GiST index build Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 26 июня 2011 г. в 07:18:26

On Sat, Jun 25, 2011 at 11:03 AM, Jesper Krogh <jesper@krogh.cc> wrote:

* Wouldn't it be natural to measure the performance benefits of
disc-bound tests in an SSD setup?

Sure, it would be great to run performance tests on SSD drives too. Unfortunately, I don't have corresponding test platform just now.

... my understanding of Fast gi(n|st) index build is that it is
more or less a challenge to transform a lot of random IO workload
to be more sequential and collapse multiple changes into fewer.

The main benefit of proposed algorithm is to greatly reduce number IO operations during index build due to dealing with great number of index tuples simultaneously. And it also makes some IO more sequential. I haven't precise measures yet, but I belive that contribution of making IO more sequantial is not very significant.

In terms of random IO an SSD can easily be x100 better than rotating
drives and it would be a shame to optimize "against" that world?

Actually, I'm not sure that IO is bottle neck of GiST index build on SSD drives. It's more likely for me that CPU becomes a bottle neck in this case and optimizing IO can't give much benefit. But anyway, the value of this work can be in producing better index in some cases and SSD drive lifetime economy due to less IO operations.

------

With best regards,
Alexander Korotkov.

В списке pgsql-hackers по дате отправления

Предыдущее

От: Jesper Krogh

Дата: 25 июня 2011 г. в 04:03:34

Сообщение: Re: WIP: Fast GiST index build

Следующее

От: Martijn van Oosterhout

Дата: 25 июня 2011 г. в 06:05:43

Сообщение: Re: debugging tools inside postgres