Re: logical changeset generation v3

От

Andres Freund

Тема

Дата

10 декабря 2012 г. в 14:43:35

Msg-id

20121210144329.GA16664@awork2.anarazel.de

обсуждение

Ответ на

Re: logical changeset generation v3 (Andres Freund)

Список

pgsql-hackers

Дерево обсуждения

logical changeset generation v3 andres@anarazel.de (Andres Freund) 15 ноября 2012 г. в 00:27:57

[PATCH 01/14] Add minimal binary heap implementation Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:17:28

[PATCH 10/14] Allow walsender's to connect to a specific database Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:25:01

[PATCH 11/14] Introduce wal decoding via catalog timetravel Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:20:52

Re: [PATCH 11/14] Introduce wal decoding via catalog timetravel Steve Singer <steve@ssinger.info> 3 декабря 2012 г. в 02:52:20

Re: [PATCH 11/14] Introduce wal decoding via catalog timetravel Andres Freund <andres@2ndquadrant.com> 3 декабря 2012 г. в 12:22:16

Re: [PATCH 11/14] Introduce wal decoding via catalog timetravel Andres Freund <andres@2ndquadrant.com> 3 декабря 2012 г. в 12:42:08

Re: [PATCH 11/14] Introduce wal decoding via catalog timetravel Steve Singer <steve@ssinger.info> 3 декабря 2012 г. в 14:36:06

Re: [PATCH 11/14] Introduce wal decoding via catalog timetravel Andres Freund <andres@2ndquadrant.com> 3 декабря 2012 г. в 14:48:16

Re: [PATCH 11/14] Introduce wal decoding via catalog timetravel Steve Singer <steve@ssinger.info> 3 декабря 2012 г. в 14:56:26

[PATCH 12/14] Add a simple decoding module in contrib named 'test_decoding' Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:27:08

[PATCH 13/14] Introduce pg_receivellog, the pg_receivexlog equivalent for logical changes Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:26:18

Re: [PATCH 13/14] Introduce pg_receivellog, the pg_receivexlog equivalent for logical changes Michael Paquier <michael.paquier@gmail.com> 19 ноября 2012 г. в 06:46:36

[PATCH 14/14] design document v2.3 and snapshot building design doc v0.2 Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:21:11

[PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:29:58

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Heikki Linnakangas <hlinnakangas@vmware.com> 15 ноября 2012 г. в 14:23:04

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 14:48:40

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Alvaro Herrera <alvherre@2ndquadrant.com> 15 ноября 2012 г. в 14:51:04

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 15:12:27

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Alvaro Herrera <alvherre@2ndquadrant.com> 15 ноября 2012 г. в 15:19:19

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Heikki Linnakangas <hlinnakangas@vmware.com> 15 ноября 2012 г. в 15:55:45

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Alvaro Herrera <alvherre@2ndquadrant.com> 15 ноября 2012 г. в 16:23:41

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Alvaro Herrera <alvherre@2ndquadrant.com> 15 ноября 2012 г. в 21:12:48

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Alvaro Herrera <alvherre@2ndquadrant.com> 26 ноября 2012 г. в 19:13:53

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Andres Freund <andres@2ndquadrant.com> 9 декабря 2012 г. в 19:15:42

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Heikki Linnakangas <hlinnakangas@vmware.com> 10 декабря 2012 г. в 20:22:47

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Heikki Linnakangas <hlinnakangas@vmware.com> 10 декабря 2012 г. в 20:23:07

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Heikki Linnakangas <hlinnakangas@vmware.com> 11 декабря 2012 г. в 13:55:36

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Andres Freund <andres@2ndquadrant.com> 11 декабря 2012 г. в 14:44:48

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Andres Freund <andres@2ndquadrant.com> 11 декабря 2012 г. в 15:43:16

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Andres Freund <andres@2ndquadrant.com> 11 декабря 2012 г. в 15:44:46

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Robert Haas <robertmhaas@gmail.com> 11 декабря 2012 г. в 20:10:35

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Dimitri Fontaine <dimitri@2ndQuadrant.fr> 11 декабря 2012 г. в 22:05:47

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Tom Lane <tgl@sss.pgh.pa.us> 11 декабря 2012 г. в 22:24:17

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Peter Geoghegan <peter@2ndquadrant.com> 11 декабря 2012 г. в 22:52:17

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Andres Freund <andres@2ndquadrant.com> 11 декабря 2012 г. в 23:58:48

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Dimitri Fontaine <dimitri@2ndQuadrant.fr> 11 декабря 2012 г. в 22:58:19

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Dimitri Fontaine <dimitri@2ndQuadrant.fr> 11 декабря 2012 г. в 22:51:38

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Andres Freund <andres@2ndquadrant.com> 11 декабря 2012 г. в 19:12:04

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Heikki Linnakangas <hlinnakangas@vmware.com> 13 декабря 2012 г. в 09:31:41

Re: Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Alvaro Herrera <alvherre@2ndquadrant.com> 13 декабря 2012 г. в 15:44:51

Re: [PATCH 02/14] Add support for a generic wal reading facility dubbed XLogReader Heikki Linnakangas <hlinnakangas@vmware.com> 11 декабря 2012 г. в 13:56:49

[PATCH 03/14] Add simple xlogdump tool Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:17:39

Re: [PATCH 03/14] Add simple xlogdump tool Peter Eisentraut <peter_e@gmx.net> 15 ноября 2012 г. в 16:31:54

Re: [PATCH 03/14] Add simple xlogdump tool Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 16:45:21

Re: [PATCH 03/14] Add simple xlogdump tool Andres Freund <andres@2ndquadrant.com> 6 декабря 2012 г. в 16:13:58

Re: [PATCH 03/14] Add simple xlogdump tool Jeff Janes <jeff.janes@gmail.com> 15 ноября 2012 г. в 17:06:27

Re: [PATCH 03/14] Add simple xlogdump tool Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 17:13:14

Re: [PATCH 03/14] Add simple xlogdump tool Jeff Janes <jeff.janes@gmail.com> 21 ноября 2012 г. в 22:57:18

Re: [PATCH 03/14] Add simple xlogdump tool Andres Freund <andres@2ndquadrant.com> 21 ноября 2012 г. в 23:10:35

[PATCH 04/14] Add a new RELFILENODE syscache to fetch a pg_class entry via (reltablespace, relfilenode) Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:17:28

[PATCH 05/14] Add a new relmapper.c function RelationMapFilenodeToOid that acts as a reverse of RelationMapOidToFilenode Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:17:34

Re: [PATCH 05/14] Add a new relmapper.c function RelationMapFilenodeToOid that acts as a reverse of RelationMapOidToFilenode Michael Paquier <michael.paquier@gmail.com> 16 ноября 2012 г. в 04:44:48

Re: [PATCH 05/14] Add a new relmapper.c function RelationMapFilenodeToOid that acts as a reverse of RelationMapOidToFilenode Andres Freund <andres@2ndquadrant.com> 16 ноября 2012 г. в 10:58:10

Re: [PATCH 05/14] Add a new relmapper.c function RelationMapFilenodeToOid that acts as a reverse of RelationMapOidToFilenode Andres Freund <andres@2ndquadrant.com> 18 ноября 2012 г. в 16:18:39

[PATCH 06/14] Add a new function pg_relation_by_filenode to lookup up a relation given the tablespace and the filenode OIDs Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:17:48

[PATCH 07/14] Introduce InvalidCommandId and declare that to be the new maximum for CommandCounterIncrement Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:23:53

[PATCH 08/14] Store the number of subtransactions in xl_running_xacts separately from toplevel xids Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:20:40

Re: [PATCH 08/14] Store the number of subtransactions in xl_running_xacts separately from toplevel xids Simon Riggs <simon@2ndQuadrant.com> 15 ноября 2012 г. в 14:06:08

Re: [PATCH 08/14] Store the number of subtransactions in xl_running_xacts separately from toplevel xids Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 14:06:21

Re: [PATCH 08/14] Store the number of subtransactions in xl_running_xacts separately from toplevel xids Simon Riggs <simon@2ndQuadrant.com> 2 декабря 2012 г. в 19:55:16

[PATCH 09/14] Adjust all *Satisfies routines to take a HeapTuple instead of a HeapTupleHeader Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:25:58

Re: [PATCH 09/14] Adjust all *Satisfies routines to take a HeapTuple instead of a HeapTupleHeader Steve Singer <steve@ssinger.info> 17 ноября 2012 г. в 04:27:51

Re: logical changeset generation v3 - git repository Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:31:47

Re: logical changeset generation v3 - git repository Andres Freund <andres@2ndquadrant.com> 9 декабря 2012 г. в 19:14:56

Re: logical changeset generation v3 - git repository Peter Geoghegan <peter@2ndquadrant.com> 13 декабря 2012 г. в 00:05:55

Re: logical changeset generation v3 - git repository Andres Freund <andres@2ndquadrant.com> 13 декабря 2012 г. в 17:29:08

Re: logical decoding - GetOldestXmin Andres Freund <andres@2ndquadrant.com> 13 декабря 2012 г. в 20:03:51

Re: logical decoding - GetOldestXmin Robert Haas <robertmhaas@gmail.com> 13 декабря 2012 г. в 22:29:09

Re: logical decoding - GetOldestXmin Andres Freund <andres@2ndquadrant.com> 13 декабря 2012 г. в 22:37:18

Re: logical decoding - GetOldestXmin Simon Riggs <simon@2ndQuadrant.com> 13 декабря 2012 г. в 23:35:08

Re: logical decoding - GetOldestXmin Andres Freund <andres@2ndquadrant.com> 14 декабря 2012 г. в 11:46:27

Re: logical decoding - GetOldestXmin Robert Haas <robertmhaas@gmail.com> 14 декабря 2012 г. в 19:01:40

Re: logical decoding - GetOldestXmin Andres Freund <andres@2ndquadrant.com> 15 декабря 2012 г. в 00:19:31

Re: logical decoding - GetOldestXmin Andres Freund <andres@2ndquadrant.com> 16 декабря 2012 г. в 14:55:48

Re: logical decoding - GetOldestXmin Robert Haas <robertmhaas@gmail.com> 18 декабря 2012 г. в 20:21:08

Re: logical decoding - GetOldestXmin "anarazel@anarazel.de" <andres@anarazel.de> 18 декабря 2012 г. в 22:25:21

Re: logical decoding - GetOldestXmin Robert Haas <robertmhaas@gmail.com> 19 декабря 2012 г. в 00:56:24

Re: logical decoding - GetOldestXmin Andres Freund <andres@2ndquadrant.com> 19 декабря 2012 г. в 00:59:15

Re: logical decoding - GetOldestXmin Robert Haas <robertmhaas@gmail.com> 19 декабря 2012 г. в 02:04:05

Re: logical decoding - GetOldestXmin Michael Paquier <michael.paquier@gmail.com> 14 декабря 2012 г. в 03:40:40

Re: logical decoding - GetOldestXmin Simon Riggs <simon@2ndQuadrant.com> 16 декабря 2012 г. в 16:44:30

Re: logical decoding - GetOldestXmin Andres Freund <andres@2ndquadrant.com> 16 декабря 2012 г. в 17:02:46

Re: lcr - walsender integration Andres Freund <andres@2ndquadrant.com> 15 ноября 2012 г. в 01:42:54

Re: logical changeset generation v3 Josh Berkus <josh@agliodbs.com> 15 ноября 2012 г. в 02:08:57

Re: logical changeset generation v3 - comparison to Postgres-R change set format Markus Wanner <markus@bluegap.ch> 16 ноября 2012 г. в 13:46:47

Re: logical changeset generation v3 - comparison to Postgres-R change set format Andres Freund <andres@2ndquadrant.com> 16 ноября 2012 г. в 14:05:36

Re: logical changeset generation v3 - comparison to Postgres-R change set format Markus Wanner <markus@bluegap.ch> 17 ноября 2012 г. в 09:05:59

Re: logical changeset generation v3 - comparison to Postgres-R change set format Andres Freund <andres@2ndquadrant.com> 16 ноября 2012 г. в 14:14:36

Re: logical changeset generation v3 - comparison to Postgres-R change set format Markus Wanner <markus@bluegap.ch> 17 ноября 2012 г. в 09:22:45

Re: logical changeset generation v3 - comparison to Postgres-R change set format Hannu Krosing <hannu@2ndQuadrant.com> 17 ноября 2012 г. в 13:30:36

Re: logical changeset generation v3 - comparison to Postgres-R change set format Markus Wanner <markus@bluegap.ch> 17 ноября 2012 г. в 14:00:15

Re: logical changeset generation v3 - comparison to Postgres-R change set format Hannu Krosing <hannu@2ndQuadrant.com> 17 ноября 2012 г. в 14:40:54

Re: logical changeset generation v3 - comparison to Postgres-R change set format Noah Misch <noah@leadboat.com> 13 января 2013 г. в 00:29:01

Re: logical changeset generation v3 - comparison to Postgres-R change set format Hannu Krosing <hannu@2ndQuadrant.com> 13 января 2013 г. в 10:49:39

Re: logical changeset generation v3 - comparison to Postgres-R change set format Hannu Krosing <hannu@2ndQuadrant.com> 13 января 2013 г. в 11:32:38

Re: Re: logical changeset generation v3 - comparison to Postgres-R change set format Tom Lane <tgl@sss.pgh.pa.us> 13 января 2013 г. в 17:44:57

Re: logical changeset generation v3 - comparison to Postgres-R change set format Andres Freund <andres@2ndquadrant.com> 13 января 2013 г. в 18:03:05

Re: Re: logical changeset generation v3 - comparison to Postgres-R change set format Markus Wanner <markus@bluegap.ch> 13 января 2013 г. в 18:03:01

Re: Re: logical changeset generation v3 - comparison to Postgres-R change set format Hannu Krosing <hannu@2ndQuadrant.com> 13 января 2013 г. в 20:04:45

Re: Re: logical changeset generation v3 - comparison to Postgres-R change set format Markus Wanner <markus@bluegap.ch> 14 января 2013 г. в 09:06:30

Re: Re: logical changeset generation v3 - comparison to Postgres-R change set format Dimitri Fontaine <dimitri@2ndQuadrant.fr> 13 января 2013 г. в 20:06:38

Re: Re: logical changeset generation v3 - comparison to Postgres-R change set format Hannu Krosing <hannu@2ndQuadrant.com> 14 января 2013 г. в 08:51:21

Re: logical changeset generation v3 - comparison to Postgres-R change set format Hannu Krosing <hannu@2ndQuadrant.com> 13 января 2013 г. в 20:47:13

Re: logical changeset generation v3 - comparison to Postgres-R change set format Markus Wanner <markus@bluegap.ch> 17 ноября 2012 г. в 17:41:45

Re: logical changeset generation v3 - comparison to Postgres-R change set format Hannu Krosing <hannu@2ndQuadrant.com> 17 ноября 2012 г. в 14:57:51

Re: logical changeset generation v3 - Source for Slony Steve Singer <steve@ssinger.info> 19 ноября 2012 г. в 12:05:28

Re: logical changeset generation v3 - Source for Slony Andres Freund <andres@2ndquadrant.com> 19 ноября 2012 г. в 12:05:42

Re: logical changeset generation v3 - Source for Slony Steve Singer <steve@ssinger.info> 20 ноября 2012 г. в 00:50:44

Re: logical changeset generation v3 - Source for Slony Andres Freund <andres@2ndquadrant.com> 20 ноября 2012 г. в 11:44:37

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 15 ноября 2012 г. в 04:08:30

Re: logical changeset generation v3 Andres Freund <andres@anarazel.de> 15 ноября 2012 г. в 09:34:52

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 16 ноября 2012 г. в 04:34:53

Re: logical changeset generation v3 Andrea Suisani <sickpig@opinioni.net> 16 ноября 2012 г. в 08:16:40

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 19 ноября 2012 г. в 00:31:17

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 19 ноября 2012 г. в 07:29:01

Re: logical changeset generation v3 Andres Freund <andres@2ndquadrant.com> 19 ноября 2012 г. в 08:50:36

Re: logical changeset generation v3 Andres Freund <andres@2ndquadrant.com> 10 декабря 2012 г. в 14:43:35

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 20 ноября 2012 г. в 00:30:44

Re: logical changeset generation v3 Andres Freund <andres@2ndquadrant.com> 20 ноября 2012 г. в 11:22:15

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 21 ноября 2012 г. в 05:57:13

Re: logical changeset generation v3 Andres Freund <andres@2ndquadrant.com> 21 ноября 2012 г. в 07:31:19

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 21 ноября 2012 г. в 07:34:46

Re: logical changeset generation v3 Andres Freund <andres@2ndquadrant.com> 21 ноября 2012 г. в 07:34:48

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 21 ноября 2012 г. в 09:35:36

Re: logical changeset generation v3 Andres Freund <andres@2ndquadrant.com> 21 ноября 2012 г. в 23:25:59

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 22 ноября 2012 г. в 00:13:34

Re: logical changeset generation v3 Andres Freund <andres@2ndquadrant.com> 22 ноября 2012 г. в 00:48:55

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 21 ноября 2012 г. в 06:28:36

Re: logical changeset generation v3 Andres Freund <andres@2ndquadrant.com> 21 ноября 2012 г. в 07:30:07

Re: logical changeset generation v3 Michael Paquier <michael.paquier@gmail.com> 21 ноября 2012 г. в 07:47:18

Re: logical changeset generation v3 Andres Freund <andres@2ndquadrant.com> 21 ноября 2012 г. в 07:58:59

Hi,

On 2012-11-19 09:50:30 +0100, Andres Freund wrote:
> On 2012-11-19 16:28:55 +0900, Michael Paquier wrote:
> > After launching some SQLs, the logical receiver is stuck just after sending
> > INIT_LOGICAL_REPLICATION, please see bt of process waiting:
>
> Its waiting till it sees initial an initial xl_running_xacts record. The
> easiest way to do that is manually issue a checkpoint. Sorry, should
> have included that in the description.
> Otherwise you can wait till the next routine checkpoint comes arround...
>
> I plan to cause more xl_running_xacts record to be logged in the
> future. I think the timing of those currently is non-optimal, you have
> the same problem as here in normal streaming replication as well :(

This is "fixed" now with the changes I pushed a second ago. Unless some
longrunning transactions are arround we now immediately jump to a ready
state.
This is achieved by
1. regularly logging xl_running_xacts (in background writer)
2. logging xl_runnign_xacts at the beginning of INIT_LOGICAL_REPLICATION

This also has the advantage that the xmin horizon can be increased much
more frequently.

Greetings,

Andres Freund

--Andres Freund	                   http://www.2ndQuadrant.com/PostgreSQL Development, 24x7 Support, Training & Services

В списке pgsql-hackers по дате отправления

Предыдущее

От: Stephen Frost

Дата: 10 декабря 2012 г. в 13:32:58

Сообщение: Re: Commits 8de72b and 5457a1 (COPY FREEZE)

Следующее

От: Andres Freund

Дата: 10 декабря 2012 г. в 14:51:52

Сообщение: Re: Support for REINDEX CONCURRENTLY