Re: Deleting older versions in unique indexes to avoid page splits

От

Victor Yegorov

Тема

Дата

4 января 2021 г. в 22:07:13

Msg-id

CAGnEbogATZS1mWMVX8FzZHMXzuDEcb10AnVwwhCtXtiBpg3XLQ@mail.gmail.com

обсуждение

Ответ на

Re: Deleting older versions in unique indexes to avoid page splits (Victor Yegorov)

Список

pgsql-hackers

Дерево обсуждения

Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 1 июля 2020 г. в 00:03:25

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 7 октября 2020 г. в 23:48:18

Re: Deleting older versions in unique indexes to avoid page splits Anastasia Lubennikova <a.lubennikova@postgrespro.ru> 14 октября 2020 г. в 14:07:54

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 14 октября 2020 г. в 14:40:14

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 16 октября 2020 г. в 19:12:10

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 16 октября 2020 г. в 19:59:51

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 16 октября 2020 г. в 20:58:01

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 20 октября 2020 г. в 02:37:16

Re: Deleting older versions in unique indexes to avoid page splits Simon Riggs <simon@2ndquadrant.com> 22 октября 2020 г. в 17:11:58

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 22 октября 2020 г. в 17:42:28

Re: Deleting older versions in unique indexes to avoid page splits Simon Riggs <simon@2ndquadrant.com> 23 октября 2020 г. в 16:03:19

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 23 октября 2020 г. в 17:13:46

Re: Deleting older versions in unique indexes to avoid page splits Simon Riggs <simon@2ndquadrant.com> 24 октября 2020 г. в 09:55:13

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 24 октября 2020 г. в 15:01:06

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 26 октября 2020 г. в 21:15:03

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 29 октября 2020 г. в 22:05:28

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 29 октября 2020 г. в 23:48:37

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 28 октября 2020 г. в 23:05:01

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 29 октября 2020 г. в 23:30:11

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 30 октября 2020 г. в 00:32:40

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 3 ноября 2020 г. в 20:44:10

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 9 ноября 2020 г. в 17:20:50

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 11 ноября 2020 г. в 20:58:06

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 12 ноября 2020 г. в 23:00:49

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 15 ноября 2020 г. в 22:29:08

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 17 ноября 2020 г. в 04:59:34

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 17 ноября 2020 г. в 15:24:43

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 17 ноября 2020 г. в 20:45:52

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 25 ноября 2020 г. в 04:35:13

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 25 ноября 2020 г. в 12:43:10

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 25 ноября 2020 г. в 18:41:15

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 25 ноября 2020 г. в 21:20:44

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 26 ноября 2020 г. в 01:00:31

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 30 ноября 2020 г. в 19:50:58

Re: Deleting older versions in unique indexes to avoid page splits Heikki Linnakangas <hlinnaka@iki.fi> 1 декабря 2020 г. в 09:50:40

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 1 декабря 2020 г. в 22:18:36

Re: Deleting older versions in unique indexes to avoid page splits Heikki Linnakangas <hlinnaka@iki.fi> 4 января 2021 г. в 12:08:18

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 5 января 2021 г. в 21:54:30

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 10 декабря 2020 г. в 01:12:40

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 31 декабря 2020 г. в 02:54:45

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 31 декабря 2020 г. в 13:50:07

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 4 января 2021 г. в 16:28:11

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 4 января 2021 г. в 22:07:13

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 7 января 2021 г. в 23:07:56

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 11 января 2021 г. в 00:06:54

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 11 января 2021 г. в 20:19:25

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 11 января 2021 г. в 21:09:48

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 11 января 2021 г. в 21:26:53

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 12 января 2021 г. в 05:26:45

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 13 января 2021 г. в 17:45:52

Re: Deleting older versions in unique indexes to avoid page splits Amit Kapila <amit.kapila16@gmail.com> 17 января 2021 г. в 05:57:48

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 17 января 2021 г. в 19:12:43

Re: Deleting older versions in unique indexes to avoid page splits Amit Kapila <amit.kapila16@gmail.com> 18 января 2021 г. в 06:46:33

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 18 января 2021 г. в 11:41:09

Re: Deleting older versions in unique indexes to avoid page splits Amit Kapila <amit.kapila16@gmail.com> 18 января 2021 г. в 12:45:10

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 18 января 2021 г. в 14:11:23

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 18 января 2021 г. в 20:43:41

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 18 января 2021 г. в 21:10:08

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 18 января 2021 г. в 21:32:52

Re: Deleting older versions in unique indexes to avoid page splits Amit Kapila <amit.kapila16@gmail.com> 20 января 2021 г. в 03:54:35

Re: Deleting older versions in unique indexes to avoid page splits Andres Freund <andres@anarazel.de> 20 января 2021 г. в 05:20:21

Re: Deleting older versions in unique indexes to avoid page splits Amit Kapila <amit.kapila16@gmail.com> 20 января 2021 г. в 13:46:00

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 20 января 2021 г. в 05:28:36

Re: Deleting older versions in unique indexes to avoid page splits Amit Kapila <amit.kapila16@gmail.com> 20 января 2021 г. в 13:33:23

Re: Deleting older versions in unique indexes to avoid page splits Amit Kapila <amit.kapila16@gmail.com> 20 января 2021 г. в 13:35:40

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 20 января 2021 г. в 18:53:17

Re: Deleting older versions in unique indexes to avoid page splits Amit Kapila <amit.kapila16@gmail.com> 22 января 2021 г. в 05:23:46

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 22 января 2021 г. в 23:57:27

Re: Deleting older versions in unique indexes to avoid page splits Amit Kapila <amit.kapila16@gmail.com> 26 января 2021 г. в 06:48:11

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 26 января 2021 г. в 18:40:31

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 20 января 2021 г. в 21:06:55

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 18 января 2021 г. в 19:44:58

Re: Deleting older versions in unique indexes to avoid page splits Zhihong Yu <zyu@yugabyte.com> 31 декабря 2020 г. в 19:02:29

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 31 декабря 2020 г. в 19:14:46

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 1 января 2021 г. в 00:23:38

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 19 декабря 2020 г. в 23:59:59

Re: Deleting older versions in unique indexes to avoid page splits Zhihong Yu <zyu@yugabyte.com> 10 декабря 2020 г. в 02:35:39

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 12 ноября 2020 г. в 23:18:49

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 11 ноября 2020 г. в 14:17:32

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 12 ноября 2020 г. в 22:00:07

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 17 ноября 2020 г. в 15:05:08

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 17 ноября 2020 г. в 16:24:36

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 17 ноября 2020 г. в 17:19:46

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 17 ноября 2020 г. в 17:47:02

Re: Deleting older versions in unique indexes to avoid page splits Victor Yegorov <vyegorov@gmail.com> 17 ноября 2020 г. в 15:16:50

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 17 ноября 2020 г. в 21:38:05

Re: Deleting older versions in unique indexes to avoid page splits Simon Riggs <simon@2ndquadrant.com> 27 октября 2020 г. в 09:43:57

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 27 октября 2020 г. в 18:35:01

Re: Deleting older versions in unique indexes to avoid page splits Robert Haas <robertmhaas@gmail.com> 21 октября 2020 г. в 15:25:20

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 21 октября 2020 г. в 19:36:29

Re: Deleting older versions in unique indexes to avoid page splits Robert Haas <robertmhaas@gmail.com> 22 октября 2020 г. в 13:18:36

heapam and bottom-up garbage collection, keeping version chains short (Was: Deleting older versions in unique indexes to avoid page splits) Peter Geoghegan <pg@bowt.ie> 23 октября 2020 г. в 01:05:28

Re: Deleting older versions in unique indexes to avoid page splits Andrey Borodin <x4mmm@yandex-team.ru> 12 октября 2020 г. в 10:47:21

Re: Deleting older versions in unique indexes to avoid page splits Peter Geoghegan <pg@bowt.ie> 12 октября 2020 г. в 21:45:00

пн, 4 янв. 2021 г. в 17:28, Victor Yegorov <vyegorov@gmail.com>:

I created another setup (see attached testcases). Basically, I emulated queue operations(INSERT at the end and DELETE

Sorry, hit Send too early.

So, I emulated queue operations(INSERT at the end and DELETE from the head). And also made 5-minute transactions
appear in the background for the whole duration of the test. 3 pgbench were run in parallel on a scale 3000 bench database
with modifications (attached).

Master
------

relname | nrows | blk_before | mb_before | blk_after | mb_after | diff
-----------------------+-----------+------------+-----------+-----------+----------+--------
pgbench_accounts | 300000000 | 4918033 | 38422.1 | 5065575 | 39574.8 | +3.0%
accounts_mtime | 300000000 | 1155119 | 9024.4 | 1287656 | 10059.8 | +11.5%
fiver | 300000000 | 427039 | 3336.2 | 567755 | 4435.6 | +33.0%
pgbench_accounts_pkey | 300000000 | 822573 | 6426.4 | 1033344 | 8073.0 | +25.6%
score | 300000000 | 284022 | 2218.9 | 458502 | 3582.0 | +61.4%
tenner | 300000000 | 346050 | 2703.5 | 417985 | 3265.5 | +20.8%
(6 rows)

DB size: 65.2..72.3 (+7.1GB / +10.9%)
TPS: 2297 / 495

Patched
------
relname | nrows | blk_before | mb_before | blk_after | mb_after | diff
-----------------------+-----------+------------+-----------+-----------+----------+--------
pgbench_accounts | 300000000 | 4918033 | 38422.1 | 5067500 | 39589.8 | +3.0%
accounts_mtime | 300000000 | 1155119 | 9024.4 | 1283441 | 10026.9 | +11.1%
fiver | 300000000 | 427039 | 3336.2 | 429101 | 3352.4 | +0.5%
pgbench_accounts_pkey | 300000000 | 822573 | 6426.4 | 826056 | 6453.6 | +0.4%
score | 300000000 | 284022 | 2218.9 | 285465 | 2230.2 | +0.5%
tenner | 300000000 | 346050 | 2703.5 | 347695 | 2716.4 | +0.5%
(6 rows)

DB size: 65.2..67.5 (+2.3GB / +3.5%)

TPS: 2216 / 492

As you can see, TPS are very much similar, but the fact that we have no bloat for the patched version makes me very happy!

On the graphs, you can clearly see extra write activity performed by the backedns of the patched version.

Victor Yegorov

В списке pgsql-hackers по дате отправления

Предыдущее

От: Peter Geoghegan

Дата: 4 января 2021 г. в 22:06:01

Сообщение: Re: pg_waldump/heapdesc.c and struct field names

Следующее

От: Thomas Munro

Дата: 4 января 2021 г. в 22:21:07

Сообщение: Re: Context diffs