Re: COPY enhancements

От

Robert Haas

Тема

Дата

8 октября 2009 г. в 12:59:30

Msg-id

603c8f070910080859mc4cc2fp7998d3d6c7d5c6c7@mail.gmail.com

обсуждение

Ответ на

Re: COPY enhancements (Tom Lane)

Список

pgsql-hackers

Дерево обсуждения

COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 10 сентября 2009 г. в 11:39:33

Re: COPY enhancements David Fetter <david@fetter.org> 10 сентября 2009 г. в 12:29:17

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 10 сентября 2009 г. в 13:06:51

Re: COPY enhancements Josh Berkus <josh@agliodbs.com> 10 сентября 2009 г. в 18:05:50

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 10 сентября 2009 г. в 18:32:25

Re: COPY enhancements Josh Berkus <josh@agliodbs.com> 10 сентября 2009 г. в 19:11:25

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 10 сентября 2009 г. в 20:33:49

Re: COPY enhancements Josh Berkus <josh@agliodbs.com> 10 сентября 2009 г. в 20:44:40

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 10 сентября 2009 г. в 20:55:00

Re: COPY enhancements Alexander Sennhauser <alex@asterdata.com> 10 сентября 2009 г. в 21:01:09

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 10 сентября 2009 г. в 19:35:01

Re: COPY enhancements David Fetter <david@fetter.org> 10 сентября 2009 г. в 20:29:11

Re: COPY enhancements Josh Berkus <josh@agliodbs.com> 10 сентября 2009 г. в 20:29:44

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 10 сентября 2009 г. в 20:58:16

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 10 сентября 2009 г. в 23:53:41

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 11 сентября 2009 г. в 10:16:32

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 11:20:38

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 11 сентября 2009 г. в 11:53:49

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 12:04:17

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 12:15:21

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 11 сентября 2009 г. в 15:55:59

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 16:08:59

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 11 сентября 2009 г. в 19:56:55

Re: COPY enhancements Josh Berkus <josh@agliodbs.com> 11 сентября 2009 г. в 20:04:58

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 20:05:03

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 12:11:58

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 12:28:07

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 11 сентября 2009 г. в 12:38:12

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 12:33:48

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 12:39:25

Re: COPY enhancements David Fetter <david@fetter.org> 11 сентября 2009 г. в 14:42:20

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 14:51:03

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 13:09:37

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 13:28:43

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 16:45:04

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 17:03:07

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 18:07:31

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 18:34:27

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 18:45:21

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 11 сентября 2009 г. в 18:53:20

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 11 сентября 2009 г. в 18:27:52

Re: COPY enhancements Josh Berkus <josh@agliodbs.com> 11 сентября 2009 г. в 19:04:23

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 11 сентября 2009 г. в 19:13:32

Re: COPY enhancements Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 12 сентября 2009 г. в 04:07:30

Re: COPY enhancements Heikki Linnakangas <heikki.linnakangas@enterprisedb.com> 12 сентября 2009 г. в 04:12:36

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 12 сентября 2009 г. в 05:22:13

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 12 сентября 2009 г. в 12:13:50

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 12 сентября 2009 г. в 12:24:10

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 12 сентября 2009 г. в 12:44:16

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 12 сентября 2009 г. в 12:57:14

Re: COPY enhancements Josh Berkus <josh@agliodbs.com> 13 сентября 2009 г. в 18:18:14

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 13 сентября 2009 г. в 18:35:02

Re: COPY enhancements Bruce Momjian <bruce@momjian.us> 19 сентября 2009 г. в 16:55:45

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 13 сентября 2009 г. в 21:21:04

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 12 сентября 2009 г. в 18:52:05

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 11 сентября 2009 г. в 19:36:00

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 12 сентября 2009 г. в 05:44:15

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 14 сентября 2009 г. в 15:41:49

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 14 сентября 2009 г. в 16:38:06

Re: COPY enhancements Pierre Frédéric Caillaud<lists@peufeu.com> 11 сентября 2009 г. в 12:31:11

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 12:34:15

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 11 сентября 2009 г. в 12:50:55

Re: COPY enhancements Stephen Frost <sfrost@snowman.net> 11 сентября 2009 г. в 17:56:21

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 11 сентября 2009 г. в 18:21:26

Re: COPY enhancements Stephen Frost <sfrost@snowman.net> 11 сентября 2009 г. в 19:37:05

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 18 сентября 2009 г. в 01:14:34

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 24 сентября 2009 г. в 23:38:57

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 25 сентября 2009 г. в 00:00:50

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 25 сентября 2009 г. в 11:01:54

Re: COPY enhancements Jeff Davis <pgsql@j-davis.com> 4 октября 2009 г. в 14:44:41

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 4 октября 2009 г. в 23:08:23

Re: COPY enhancements Selena Deckelmann <selenamarie@gmail.com> 4 октября 2009 г. в 18:32:28

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 5 октября 2009 г. в 12:31:05

Re: COPY enhancements Josh Berkus <josh@agliodbs.com> 5 октября 2009 г. в 14:02:23

Re: COPY enhancements Emmanuel Cecchet <manu@frogthinker.org> 6 октября 2009 г. в 23:14:23

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 7 октября 2009 г. в 04:19:25

Re: COPY enhancements Simon Riggs <simon@2ndQuadrant.com> 7 октября 2009 г. в 07:35:35

Re: COPY enhancements Dimitri Fontaine <dfontaine@hi-media.com> 7 октября 2009 г. в 10:37:50

Re: COPY enhancements Simon Riggs <simon@2ndQuadrant.com> 7 октября 2009 г. в 10:53:40

Re: COPY enhancements Bruce Momjian <bruce@momjian.us> 8 октября 2009 г. в 19:23:50

Re: COPY enhancements Simon Riggs <simon@2ndQuadrant.com> 8 октября 2009 г. в 20:38:37

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 8 октября 2009 г. в 19:35:19

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 7 октября 2009 г. в 12:50:15

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 7 октября 2009 г. в 08:07:50

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 7 октября 2009 г. в 10:12:58

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 7 октября 2009 г. в 10:28:20

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 7 октября 2009 г. в 11:30:09

Re: COPY enhancements Andrew Dunstan <andrew@dunslane.net> 7 октября 2009 г. в 11:45:58

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 7 октября 2009 г. в 12:43:21

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 7 октября 2009 г. в 11:15:43

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 7 октября 2009 г. в 12:39:51

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 7 октября 2009 г. в 12:42:24

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 7 октября 2009 г. в 12:45:25

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 7 октября 2009 г. в 13:26:01

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 7 октября 2009 г. в 20:46:26

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 7 октября 2009 г. в 20:52:59

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 7 октября 2009 г. в 22:08:02

Re: COPY enhancements Alvaro Herrera <alvherre@commandprompt.com> 8 октября 2009 г. в 12:29:19

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 8 октября 2009 г. в 12:34:03

Re: COPY enhancements Bruce Momjian <bruce@momjian.us> 8 октября 2009 г. в 19:48:44

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 7 октября 2009 г. в 23:31:10

Re: COPY enhancements Simon Riggs <simon@2ndQuadrant.com> 8 октября 2009 г. в 09:37:39

Re: COPY enhancements Bruce Momjian <bruce@momjian.us> 8 октября 2009 г. в 19:39:18

Re: COPY enhancements "Kevin Grittner" <Kevin.Grittner@wicourts.gov> 8 октября 2009 г. в 11:31:53

Re: COPY enhancements Dimitri Fontaine <dfontaine@hi-media.com> 8 октября 2009 г. в 05:46:51

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 8 октября 2009 г. в 07:43:42

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 8 октября 2009 г. в 12:03:47

Re: COPY enhancements Simon Riggs <simon@2ndQuadrant.com> 12 октября 2009 г. в 10:14:27

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 8 октября 2009 г. в 12:32:28

Re: COPY enhancements Hannu Krosing <hannu@2ndQuadrant.com> 9 октября 2009 г. в 06:11:11

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 9 октября 2009 г. в 10:52:59

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 9 октября 2009 г. в 12:43:07

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 8 октября 2009 г. в 12:52:13

Hot Standby and 64+ subxids (was COPY enhancements) Simon Riggs <simon@2ndQuadrant.com> 12 октября 2009 г. в 10:06:51

Re: Hot Standby and 64+ subxids (was COPY enhancements) Andrew Dunstan <andrew@dunslane.net> 9 ноября 2009 г. в 21:02:11

Re: Hot Standby and 64+ subxids (was COPY enhancements) Tom Lane <tgl@sss.pgh.pa.us> 9 ноября 2009 г. в 23:04:20

Re: COPY enhancements Emmanuel Cecchet <manu@frogthinker.org> 13 октября 2009 г. в 11:04:39

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 13 октября 2009 г. в 11:37:09

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 13 октября 2009 г. в 13:34:44

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 13 октября 2009 г. в 14:10:42

Re: COPY enhancements Emmanuel Cecchet <manu@asterdata.com> 20 октября 2009 г. в 16:01:02

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 20 октября 2009 г. в 16:17:41

Re: COPY enhancements Gokulakannan Somasundaram <gokul007@gmail.com> 19 октября 2009 г. в 01:40:42

Re: COPY enhancements Alvaro Herrera <alvherre@commandprompt.com> 19 октября 2009 г. в 12:22:22

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 19 октября 2009 г. в 12:34:43

Re: COPY enhancements Dimitri Fontaine <dfontaine@hi-media.com> 13 октября 2009 г. в 13:35:38

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 8 октября 2009 г. в 12:59:30

Re: COPY enhancements "Joshua D. Drake" <jd@commandprompt.com> 8 октября 2009 г. в 20:16:35

Re: COPY enhancements "Joshua D. Drake" <jd@commandprompt.com> 8 октября 2009 г. в 13:16:52

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 8 октября 2009 г. в 13:38:00

Re: COPY enhancements "Kevin Grittner" <Kevin.Grittner@wicourts.gov> 8 октября 2009 г. в 13:49:49

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 8 октября 2009 г. в 13:46:53

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 8 октября 2009 г. в 13:21:41

Re: COPY enhancements Simon Riggs <simon@2ndQuadrant.com> 8 октября 2009 г. в 20:38:59

Re: COPY enhancements Simon Riggs <simon@2ndQuadrant.com> 9 октября 2009 г. в 03:29:52

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 9 октября 2009 г. в 10:45:25

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 9 октября 2009 г. в 10:38:23

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 8 октября 2009 г. в 13:50:54

Re: COPY enhancements Tom Lane <tgl@sss.pgh.pa.us> 8 октября 2009 г. в 14:26:47

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 8 октября 2009 г. в 15:45:19

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 8 октября 2009 г. в 14:10:16

Re: COPY enhancements Rod Taylor <rod.taylor@gmail.com> 8 октября 2009 г. в 13:17:58

Re: COPY enhancements Greg Smith <gsmith@gregsmith.com> 8 октября 2009 г. в 14:19:46

Re: COPY enhancements Dimitri Fontaine <dfontaine@hi-media.com> 8 октября 2009 г. в 09:39:23

Re: COPY enhancements Robert Haas <robertmhaas@gmail.com> 8 октября 2009 г. в 11:26:56

On Thu, Oct 8, 2009 at 11:50 AM, Tom Lane  wrote:
>> Another possible approach, which isn't perfect either, is the idea of
>> allowing COPY to generate a single column of output of type text[].
>> That greatly reduces the number of possible error cases, and at least
>> gets the data into the DB where you can hack on it.  But it's still
>> going to be painful for some use cases.
>
> Yeah, that connects to the previous discussion about refactoring COPY
> into a series of steps that the user can control.
>
> Ultimately, there's always going to be a tradeoff between speed and
> flexibility.  It may be that we should just say "if you want to import
> dirty data, it's gonna cost ya" and not worry about the speed penalty
> of subtransaction-per-row.  But that still leaves us with the 2^32
> limit.  I wonder whether we could break down COPY into sub-sub
> transactions to work around that...

How would that work?  Don't you still need to increment the command counter?

...Robert

В списке pgsql-hackers по дате отправления

Предыдущее

От: Merlin Moncure

Дата: 8 октября 2009 г. в 12:54:18

Сообщение: Re: Writeable CTEs and side effects

Следующее

От: Dan Colish

Дата: 8 октября 2009 г. в 13:04:02

Сообщение: one line comment style