Re: Relation extension scalability

От

Dilip Kumar

Тема

Дата

31 марта 2016 г. в 13:03:49

Msg-id

CAFiTN-s0p79Oho4XQx6iv_U02BXiNNDhUjurPo9kaV_JUst5OA@mail.gmail.com

обсуждение

Ответ на

Re: Relation extension scalability (Robert Haas)

Список

pgsql-hackers

Дерево обсуждения

Relation extension scalability Andres Freund <andres@2ndquadrant.com> 29 марта 2015 г. в 18:56:34

Re: Relation extension scalability Andres Freund <andres@anarazel.de> 19 июля 2015 г. в 13:58:58

Re: Relation extension scalability Tom Lane <tgl@sss.pgh.pa.us> 19 июля 2015 г. в 15:28:37

Re: Relation extension scalability Andres Freund <andres@anarazel.de> 19 июля 2015 г. в 15:50:43

Re: Relation extension scalability Tom Lane <tgl@sss.pgh.pa.us> 19 июля 2015 г. в 15:56:57

Re: Relation extension scalability Andres Freund <andres@anarazel.de> 19 июля 2015 г. в 16:07:51

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 18 декабря 2015 г. в 05:21:29

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 31 декабря 2015 г. в 11:23:05

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 6 января 2016 г. в 20:06:27

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 7 января 2016 г. в 11:19:00

Re: Relation extension scalability Andres Freund <andres@anarazel.de> 7 января 2016 г. в 11:23:52

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 12 января 2016 г. в 09:12:01

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 23 января 2016 г. в 06:49:48

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 23 января 2016 г. в 10:58:42

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 25 января 2016 г. в 06:31:03

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 25 января 2016 г. в 06:29:55

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 28 января 2016 г. в 11:23:12

Re: Relation extension scalability Andres Freund <andres@anarazel.de> 2 февраля 2016 г. в 15:49:29

Re: Relation extension scalability Alvaro Herrera <alvherre@2ndquadrant.com> 2 февраля 2016 г. в 17:07:01

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 2 февраля 2016 г. в 16:00:39

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 5 февраля 2016 г. в 11:20:31

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 10 февраля 2016 г. в 05:02:54

Re: Relation extension scalability Andres Freund <andres@anarazel.de> 10 февраля 2016 г. в 09:54:52

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 15 февраля 2016 г. в 17:22:26

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 29 февраля 2016 г. в 10:07:50

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 1 марта 2016 г. в 11:06:46

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 2 марта 2016 г. в 05:01:37

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 4 марта 2016 г. в 05:06:39

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 4 марта 2016 г. в 16:29:33

Re: Relation extension scalability Tom Lane <tgl@sss.pgh.pa.us> 4 марта 2016 г. в 16:31:49

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 5 марта 2016 г. в 04:49:42

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 7 марта 2016 г. в 15:04:53

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 8 марта 2016 г. в 09:27:28

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 8 марта 2016 г. в 13:53:20

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 8 марта 2016 г. в 15:04:14

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 8 марта 2016 г. в 16:21:01

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 8 марта 2016 г. в 20:10:01

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 10 марта 2016 г. в 01:53:20

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 10 марта 2016 г. в 02:25:18

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 10 марта 2016 г. в 08:57:49

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 10 марта 2016 г. в 18:34:47

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 11 марта 2016 г. в 01:44:33

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 11 марта 2016 г. в 01:54:32

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 11 марта 2016 г. в 21:29:46

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 11 марта 2016 г. в 23:14:42

Re: Relation extension scalability Jim Nasby <Jim.Nasby@BlueTreble.com> 12 марта 2016 г. в 00:01:19

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 12 марта 2016 г. в 03:57:17

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 12 марта 2016 г. в 02:47:06

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 12 марта 2016 г. в 03:57:58

Re: Relation extension scalability Jim Nasby <Jim.Nasby@BlueTreble.com> 13 марта 2016 г. в 23:33:12

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 14 марта 2016 г. в 02:29:58

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 14 марта 2016 г. в 02:56:51

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 17 марта 2016 г. в 03:42:35

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 17 марта 2016 г. в 08:01:36

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 18 марта 2016 г. в 09:08:25

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 21 марта 2016 г. в 12:10:14

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 22 марта 2016 г. в 09:15:21

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 22 марта 2016 г. в 17:13:02

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 23 марта 2016 г. в 18:40:06

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 23 марта 2016 г. в 18:52:33

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 23 марта 2016 г. в 19:01:49

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 23 марта 2016 г. в 19:19:15

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 23 марта 2016 г. в 19:33:50

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 23 марта 2016 г. в 19:43:18

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 23 марта 2016 г. в 20:01:14

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 24 марта 2016 г. в 01:44:01

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 24 марта 2016 г. в 02:44:45

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 24 марта 2016 г. в 06:04:27

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 24 марта 2016 г. в 08:19:07

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 24 марта 2016 г. в 10:13:46

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 24 марта 2016 г. в 11:17:29

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 24 марта 2016 г. в 21:34:58

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 25 марта 2016 г. в 17:05:12

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 26 марта 2016 г. в 02:37:07

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 26 марта 2016 г. в 09:48:53

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 27 марта 2016 г. в 11:53:04

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 27 марта 2016 г. в 12:00:38

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 27 марта 2016 г. в 20:25:39

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 28 марта 2016 г. в 05:30:56

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 28 марта 2016 г. в 06:11:53

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 28 марта 2016 г. в 01:51:15

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 29 марта 2016 г. в 01:56:41

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 29 марта 2016 г. в 08:39:20

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 29 марта 2016 г. в 17:30:04

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 30 марта 2016 г. в 01:49:32

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 30 марта 2016 г. в 02:21:42

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 30 марта 2016 г. в 02:54:32

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 28 марта 2016 г. в 09:32:59

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 28 марта 2016 г. в 12:46:13

Re: Relation extension scalability Petr Jelinek <petr@2ndquadrant.com> 28 марта 2016 г. в 21:51:42

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 29 марта 2016 г. в 04:39:00

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 31 марта 2016 г. в 04:59:22

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 31 марта 2016 г. в 10:58:44

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 31 марта 2016 г. в 11:14:10

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 31 марта 2016 г. в 13:03:49

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 5 апреля 2016 г. в 17:02:12

Re: Relation extension scalability Peter Geoghegan <pg@heroku.com> 5 апреля 2016 г. в 17:05:46

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 8 апреля 2016 г. в 06:08:34

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 8 апреля 2016 г. в 06:15:28

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 31 марта 2016 г. в 08:01:34

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 29 марта 2016 г. в 02:00:03

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 12 марта 2016 г. в 03:08:05

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 12 марта 2016 г. в 06:24:24

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 2 февраля 2016 г. в 15:12:48

Re: Relation extension scalability Andres Freund <andres@anarazel.de> 2 февраля 2016 г. в 16:00:25

Re: Relation extension scalability Dilip Kumar <dilipbalaut@gmail.com> 28 января 2016 г. в 11:27:11

Re: Relation extension scalability Andres Freund <andres@anarazel.de> 19 июля 2015 г. в 14:08:01

Re: Relation extension scalability Tom Lane <tgl@sss.pgh.pa.us> 29 марта 2015 г. в 19:21:54

Re: Relation extension scalability Andres Freund <andres@2ndquadrant.com> 29 марта 2015 г. в 19:53:01

Re: Relation extension scalability Tom Lane <tgl@sss.pgh.pa.us> 29 марта 2015 г. в 20:07:58

Re: Relation extension scalability Andres Freund <andres@2ndquadrant.com> 29 марта 2015 г. в 20:13:18

Re: Relation extension scalability Robert Haas <robertmhaas@gmail.com> 30 марта 2015 г. в 00:52:10

Re: Relation extension scalability Tom Lane <tgl@sss.pgh.pa.us> 30 марта 2015 г. в 01:05:18

Re: Relation extension scalability Andres Freund <andres@2ndquadrant.com> 30 марта 2015 г. в 00:49:55

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 30 марта 2015 г. в 04:04:09

Re: Relation extension scalability Andres Freund <andres@2ndquadrant.com> 30 марта 2015 г. в 10:45:31

Re: Relation extension scalability David Steele <david@pgmasters.net> 30 марта 2015 г. в 13:29:33

Re: Relation extension scalability Stephen Frost <sfrost@snowman.net> 30 марта 2015 г. в 15:27:33

Re: Relation extension scalability Amit Kapila <amit.kapila16@gmail.com> 31 марта 2015 г. в 03:48:16

Re: Relation extension scalability Jim Nasby <Jim.Nasby@BlueTreble.com> 2 апреля 2015 г. в 00:24:25

Re: Relation extension scalability Amit Langote <Langote_Amit_f8@lab.ntt.co.jp> 2 апреля 2015 г. в 03:12:10

Re: Relation extension scalability Stephen Frost <sfrost@snowman.net> 2 апреля 2015 г. в 03:15:05

Re: Relation extension scalability Qingqing Zhou <zhouqq.postgres@gmail.com> 17 апреля 2015 г. в 18:19:29

Re: Relation extension scalability Qingqing Zhou <zhouqq.postgres@gmail.com> 30 апреля 2015 г. в 17:50:52

On Thu, Mar 31, 2016 at 4:28 PM, Robert Haas <robertmhaas@gmail.com> wrote:

Yeah, kind of. But obviously if we could make the limit smaller
without hurting performance, that would be better.

Per my note yesterday about performance degradation with parallel
COPY, I wasn't able to demonstrate that this patch gives a consistent
performance benefit on hydra - the best result I got was speeding up a
9.5 minute load to 8 minutes where linear scalability would have been
2 minutes. And I found cases where it was actually slower with the
patch. Now maybe hydra is just a crap machine, but I'm feeling
nervous.

I see the performance gain when either

"complete data is in SSD"

or "data on MD and WAL on SSD"

or unlogged table.

What machines did you use to test this? Have you tested really large
data loads, like many MB or even GB of data?

With INSERT Script within 2 mins run data size is 18GB I am running 5-10 Mins means at least 85GB data.

(Inserts 1000 1KB tuples in each transactions)

With COPY Script within 2 mins run data size is 23GB and I am running 5-10 Mins means at least 100GB data.

(Inserts 10000 tuples in each transactions (tuple size is 1byte to 5 bytes)

Machine Details

-----------------------

I tested in 8 socket NUMA machine with 64 core.

Machine Details:

----------------------

[dilip.kumar@cthulhu ~]$ lscpu

Architecture: x86_64

CPU op-mode(s): 32-bit, 64-bit

Byte Order: Little Endian

CPU(s): 128

On-line CPU(s) list: 0-127

Thread(s) per core: 2

Core(s) per socket: 8

Socket(s): 8

NUMA node(s): 8

Vendor ID: GenuineIntel

CPU family: 6

Model: 47

Model name: Intel(R) Xeon(R) CPU E7- 8830 @ 2.13GHz

Stepping: 2

CPU MHz: 1064.000

BogoMIPS: 4266.62

If you need some more information please let me know ?

Regards,
Dilip Kumar
EnterpriseDB: http://www.enterprisedb.com

В списке pgsql-hackers по дате отправления

Предыдущее

От: Dmitry Dolgov

Дата: 31 марта 2016 г. в 13:01:52

Сообщение: Re: [PATH] Jsonb, insert a new value into an array at arbitrary position

Следующее

От: Kevin Grittner

Дата: 31 марта 2016 г. в 13:20:10

Сообщение: Re: snapshot too old, configured by time