33.10. Функции, связанные с командой COPY
Команда COPY
в Postgres Pro имеет возможность читать и записывать данные через сетевое подключение, установленное libpq. Описанные в этом разделе функции позволяют приложениям воспользоваться этой возможностью для передачи или приёма копируемых данных.
Общая процедура такова: сначала приложение выдаёт SQL-команду COPY
, вызывая PQexec
или одну из подобных функций. В ответ оно должно получить (если не возникла ошибка) объект PGresult
с кодом состояния PGRES_COPY_OUT
или PGRES_COPY_IN
(в зависимости от направления копирования). Затем приложение должно использовать функции, описанные в этом разделе, и принимать или передавать строки данных. По завершении передачи возвращается ещё один объект PGresult
, сообщающий о состоянии завершения передачи. В случае успеха он содержит код состояния PGRES_COMMAND_OK
, а если возникает какая-то проблема — PGRES_FATAL_ERROR
. После этого можно продолжать выполнять SQL-команды через PQexec
. (Пока операция COPY
не завершена, выполнять другие SQL-команды через то же подключение нельзя.)
Если команда COPY
была выполнена через PQexec
в строке, содержащей дополнительные команды, приложение должно продолжать получать результаты через PQgetResult
после завершения последовательности COPY
. Только когда PQgetResult
возвращает NULL
, можно с уверенностью считать, что переданные PQexec
команды выполнены полностью, и безопасно передавать другие команды.
Функции, описанные в этом разделе, должны выполняться только после получения кода состояния PGRES_COPY_OUT
или PGRES_COPY_IN
от функции PQexec
или PQgetResult
.
Объект PGresult
с таким кодом состояния содержит дополнительные данные о начавшейся операции COPY
. Эти данные можно получить функциями, также применяющимися при обработке результатов запроса:
PQnfields
Возвращает число копируемых столбцов (полей).
PQbinaryTuples
Значение 0 указывает, что для всей операции копирования применяется текстовый формат (строки разделяются символами новой строки, столбцы разделяются символами-разделителями и т. д.). Значение 1 указывает, что для всей операции копирования применяется двоичный формат. За дополнительными сведениями обратитесь к COPY.
PQfformat
Возвращает код формата (0 — текстовый, 1 — двоичный), связанный с каждым копируемым столбцом. Коды форматов столбцов всегда будут нулевыми, если общий формат копирования — текстовый, но с двоичным форматом поддерживаются и текстовые, и двоичные столбцы. (Однако в текущей реализации
COPY
при двоичном копировании столбцы могут быть только двоичными, так что форматы столбцов должны всегда соответствовать общему формату.)
33.10.1. Функции для передачи данных COPY
Эти функции применяются для передачи данных при операции COPY FROM STDIN
. Они не будут работать, если подключение находится не в состоянии COPY_IN
.
PQputCopyData
Отправляет данные на сервер, когда активно состояние
COPY_IN
.int PQputCopyData(PGconn *conn, const char *buffer, int nbytes);
Передаёт серверу данные
COPY
из указанного буфера (buffer
), длинойnbytes
байт. Она возвращает 1, если данные были переданы, 0, если они не попали в очередь, так как буферы были заполнены (это возможно только в неблокирующем режиме), или -1, если произошла ошибка. (Если возвращено -1, подробности ошибки можно узнать, вызвавPQerrorMessage
. Если получен 0, дождитесь состояния готовности к записи и повторите попытку.)Приложение может разделять поток данных
COPY
на буферизуемые блоки любого удобного размера. Границы буфера не имеют семантического значения при передаче. Содержимое потока данных должно соответствовать формату данных, ожидаемому командойCOPY
; за подробностями обратитесь к COPY.PQputCopyEnd
Отправляет признак конца данных на сервер, когда активно состояние
COPY_IN
.int PQputCopyEnd(PGconn *conn, const char *errormsg);
Завершает операцию
COPY_IN
с успешным результатом, если вerrormsg
передаётсяNULL
. Еслиerrormsg
неNULL
, командаCOPY
будет завершена с ошибкой, а сообщением об ошибке будет строка, переданная вerrormsg
. (Однако не следует полагать, что именно это сообщение будет получено от сервера назад, так как сервер мог уже прервать операциюCOPY
по своим причинам.)Эта функция возвращает 1, если сообщение завершения было передано; в неблокирующем режиме это означает только, что сообщение завершения успешно поставлено в очередь. (Чтобы удостовериться, что данные были успешно отправлены в неблокирующем режиме, следует дождаться готовности к записи и вызывать
PQflush
в цикле, пока она не вернёт ноль.) Нулевой результат означает, что функция не смогла поставить сообщение завершения в очередь по причине заполнения буферов; это возможно только в неблокирующем режиме. (В этом случае нужно дождаться готовности к записи и попытаться вызватьPQputCopyEnd
снова.) Если действительно происходит ошибка, возвращается -1; получить её подробности можно, вызвавPQerrorMessage
.После успешного вызова
PQputCopyEnd
вызовитеPQgetResult
, чтобы узнать окончательный результат командыCOPY
. Ожидать появления этого результата можно обычным образом. Затем вернитесь к обычным операциям.
33.10.2. Функции для приёма данных COPY
Эти функции применяются для получения данных при операции COPY TO STDOUT
. Они не будут работать, если подключение находится не в состоянии COPY_OUT
.
PQgetCopyData
Принимает данные от сервера, когда активно состояние
COPY_OUT
.int PQgetCopyData(PGconn *conn, char **buffer, int async);
Запрашивает следующую строку данных с сервера в процессе операции
COPY
. Данные всегда возвращаются строка за строкой; если поступила только часть строки, она не возвращается. Успешное получение строки данных подразумевает выделение блока памяти для этих данных. В параметреbuffer
ей передаётся указатель, отличный отNULL
. По адресу*buffer
записывается указатель на выделенную память, либоNULL
, когда буфер не возвращается. Если буфер результата отличен отNULL
, его следует освободить, когда он станет не нужен, вызвавPQfreemem
.Когда строка получена успешно, возвращается число байт данных в этой строке (это число всегда больше нуля). Возвращаемое строковое значение всегда завершается нулём, хотя это полезно, вероятно, только для текстовой
COPY
. Нулевой результат означает, что операцияCOPY
продолжает выполняться, но строка ещё не готова (это возможно, только когда параметрasync
равен true). Возвращённое значение -1 означает, что командаCOPY
завершена, а -2 показывает, что произошла ошибка (её причину можно узнать с помощьюPQerrorMessage
).Когда параметр
async
отличен от нуля (признак установлен), функцияPQgetCopyData
не будет блокироваться, ожидая данных; она возвратит ноль, если выполнениеCOPY
продолжается, но полная строка ещё не получена. (В этом случае нужно дождаться готовности к чтению и затем вызватьPQconsumeInput
, прежде чем вызыватьPQgetCopyData
ещё раз.) Когдаasync
равен нулю (признак не установлен),PQgetCopyData
будет заблокирована до поступления данных или окончания операции.Когда
PQgetCopyData
возвращает -1, вызовитеPQgetResult
, чтобы узнать окончательный результат командыCOPY
. Ожидать появления этого результата можно обычным образом. Затем вернитесь к обычным операциям.
33.10.3. Устаревшие функции для COPY
Эти функции представляют старые методы выполнения операции COPY
. Хотя они продолжают работать, они признаны устаревшими из-за плохой обработки ошибок, неудобных способов обнаружения конца данных и отсутствия поддержки двоичных или неблокирующих передач.
PQgetline
Читает передаваемую сервером строку символов, завершающуюся символом новой строки, в буфер (buffer) размера
length
.int PQgetline(PGconn *conn, char *buffer, int length);
Эта функция копирует
length
-1 символов в буфер и преобразует символ конца строки в нулевой байт.PQgetline
возвращаетEOF
в конце ввода, 0, если была прочитана вся строка, и 1, если буфер заполнен, но завершающий символ конца строки ещё не прочитан.Заметьте, что приложение должно проверить, не состоит ли новая строка в точности из двух символов
\.
, что будет означать, что сервер завершил передачу результатов командыCOPY
. Если приложение может принимать строки длиннееlength
-1 символов, необходимо позаботиться о том, чтобы оно корректно распознавало строку\.
(а не воспринимало, например, конец длинной строки данных как завершающую строку).PQgetlineAsync
Читает передаваемую сервером строку данных
COPY
в буфер без блокировки.int PQgetlineAsync(PGconn *conn, char *buffer, int bufsize);
Эта функция похожа на
PQgetline
, но может применяться в приложениях, которые должны читать данныеCOPY
асинхронно, то есть без блокировки. Запустив командуCOPY
и получив ответPGRES_COPY_OUT
, приложение должно вызыватьPQconsumeInput
иPQgetlineAsync
, пока не будет получен сигнал «конец данных».В отличие от
PQgetline
, эта функция сама отвечает за обнаружение конца данных.При каждом вызове
PQgetlineAsync
будет возвращать данные, если во входном буфере libpq оказывается полная строка данных. В противном случае никакие данные не возвращаются до поступления остального содержимого строки. Эта функция возвращает -1, если обнаруживается признак завершения копирования, или 0, если данные не получены, или положительное количество возвращённых байт данных. Если возвращается -1, вызывающий код должен затем вызватьPQendcopy
и после этого перейти в обычный режим работы.Возвращаемые данные не будут пересекать границы строк данных. При этом может быть возвращена одна строка целиком. Но если буфер, выделенный вызывающим кодом, оказывается слишком мал для строки, передаваемой сервером, возвращена будет часть строки. Когда передаются текстовые данные, это можно выявить, проверив, содержит ли последний возвращаемый байт символ
\n
. (ДляCOPY
в двоичном формате потребуется собственно разобрать формат данныхCOPY
, чтобы выявить подобную ситуацию.) Возвращаемая строка не завершается нулём. (Если вы хотите получить строку с нулём в конце, передайте вbufsize
число на единицу меньше фактического размера блока.)PQputline
Передаёт серверу строку, завершённую нулём. Возвращает 0 в случае успеха, либо
EOF
, если передать строку не удаётся.int PQputline(PGconn *conn, const char *string);
Поток данных
COPY
, передаваемых последовательностью вызововPQputline
, имеет тот же формат, что возвращаетPQgetlineAsync
, за исключением того, что приложения не обязательно должны передавать по одной строке данных за вызовPQputline
; они могут посылать части строк или сразу несколько строк.Примечание
До версии 3.0 протокола Postgres Pro приложение должно было явно отправлять два символа
\.
последней строкой, чтобы сообщить серверу, что оно закончило передачу данныхCOPY
. Хотя это по-прежнему работает, такое поведение считается устаревшим и ожидается, что особое значение\.
будет исключено в будущих версиях. Сейчас, передав собственно данные, достаточно вызватьPQendcopy
.PQputnbytes
Передаёт серверу строку, не завершённую нулём. Возвращает 0 в случае успеха, либо
EOF
, если передать строку не удаётся.int PQputnbytes(PGconn *conn, const char *buffer, int nbytes);
Поведение этой функции не отличается от
PQputline
, но её буфер данных не должен содержать завершающий ноль, так как для неё число передаваемых байт задаётся непосредственным образом. Используйте эту функцию для передачи двоичных данных.PQendcopy
Производит синхронизацию с сервером.
int PQendcopy(PGconn *conn);
Эта функция ожидает завершения копирования сервером. Её следует вызывать, либо когда серверу была передана последняя строка функцией
PQputline
, либо когда от сервера была получена последняя строка функциейPQgetline
. Если её не вызвать, сервер «потеряет синхронизацию» с клиентом. После завершения этой функции сервер готов принимать следующую команду SQL. В случае успешного завершения возвращается 0, в противном случае — ненулевое значение. (Чтобы получить подробности ошибки при ненулевом значении, вызовитеPQerrorMessage
.)Вызывая
PQgetResult
, приложение должно обрабатывать результатPGRES_COPY_OUT
, в цикле выполняяPQgetline
, а обнаружив завершающую строку, вызватьPQendcopy
. Затем оно должно вернуться к циклуPQgetResult
и выйти из него, когдаPQgetResult
возвратит нулевой указатель. Подобным образом, получив результатPGRES_COPY_IN
, приложение должно выполнить серию вызововPQputline
, завершить её, вызвавPQendcopy
, а затем вернуться к циклуPQgetResult
. При такой организации обработки командаCOPY
будет корректно выполняться и в составе последовательности команд SQL.Старые приложения обычно передают команду
COPY
черезPQexec
и рассчитывают, что транзакция будет завершена послеPQendcopy
. Это будет работать, только если командаCOPY
является единственной SQL-командой в строке запроса.
33.10. Functions Associated with the COPY
Command
The COPY
command in Postgres Pro has options to read from or write to the network connection used by libpq. The functions described in this section allow applications to take advantage of this capability by supplying or consuming copied data.
The overall process is that the application first issues the SQL COPY
command via PQexec
or one of the equivalent functions. The response to this (if there is no error in the command) will be a PGresult
object bearing a status code of PGRES_COPY_OUT
or PGRES_COPY_IN
(depending on the specified copy direction). The application should then use the functions of this section to receive or transmit data rows. When the data transfer is complete, another PGresult
object is returned to indicate success or failure of the transfer. Its status will be PGRES_COMMAND_OK
for success or PGRES_FATAL_ERROR
if some problem was encountered. At this point further SQL commands can be issued via PQexec
. (It is not possible to execute other SQL commands using the same connection while the COPY
operation is in progress.)
If a COPY
command is issued via PQexec
in a string that could contain additional commands, the application must continue fetching results via PQgetResult
after completing the COPY
sequence. Only when PQgetResult
returns NULL
is it certain that the PQexec
command string is done and it is safe to issue more commands.
The functions of this section should be executed only after obtaining a result status of PGRES_COPY_OUT
or PGRES_COPY_IN
from PQexec
or PQgetResult
.
A PGresult
object bearing one of these status values carries some additional data about the COPY
operation that is starting. This additional data is available using functions that are also used in connection with query results:
PQnfields
Returns the number of columns (fields) to be copied.
PQbinaryTuples
0 indicates the overall copy format is textual (rows separated by newlines, columns separated by separator characters, etc). 1 indicates the overall copy format is binary. See COPY for more information.
PQfformat
Returns the format code (0 for text, 1 for binary) associated with each column of the copy operation. The per-column format codes will always be zero when the overall copy format is textual, but the binary format can support both text and binary columns. (However, as of the current implementation of
COPY
, only binary columns appear in a binary copy; so the per-column formats always match the overall format at present.)
33.10.1. Functions for Sending COPY
Data
These functions are used to send data during COPY FROM STDIN
. They will fail if called when the connection is not in COPY_IN
state.
PQputCopyData
Sends data to the server during
COPY_IN
state.int PQputCopyData(PGconn *conn, const char *buffer, int nbytes);
Transmits the
COPY
data in the specifiedbuffer
, of lengthnbytes
, to the server. The result is 1 if the data was queued, zero if it was not queued because of full buffers (this will only happen in nonblocking mode), or -1 if an error occurred. (UsePQerrorMessage
to retrieve details if the return value is -1. If the value is zero, wait for write-ready and try again.)The application can divide the
COPY
data stream into buffer loads of any convenient size. Buffer-load boundaries have no semantic significance when sending. The contents of the data stream must match the data format expected by theCOPY
command; see COPY for details.PQputCopyEnd
Sends end-of-data indication to the server during
COPY_IN
state.int PQputCopyEnd(PGconn *conn, const char *errormsg);
Ends the
COPY_IN
operation successfully iferrormsg
isNULL
. Iferrormsg
is notNULL
then theCOPY
is forced to fail, with the string pointed to byerrormsg
used as the error message. (One should not assume that this exact error message will come back from the server, however, as the server might have already failed theCOPY
for its own reasons.)The result is 1 if the termination message was sent; or in nonblocking mode, this may only indicate that the termination message was successfully queued. (In nonblocking mode, to be certain that the data has been sent, you should next wait for write-ready and call
PQflush
, repeating until it returns zero.) Zero indicates that the function could not queue the termination message because of full buffers; this will only happen in nonblocking mode. (In this case, wait for write-ready and try thePQputCopyEnd
call again.) If a hard error occurs, -1 is returned; you can usePQerrorMessage
to retrieve details.After successfully calling
PQputCopyEnd
, callPQgetResult
to obtain the final result status of theCOPY
command. One can wait for this result to be available in the usual way. Then return to normal operation.
33.10.2. Functions for Receiving COPY
Data
These functions are used to receive data during COPY TO STDOUT
. They will fail if called when the connection is not in COPY_OUT
state.
PQgetCopyData
Receives data from the server during
COPY_OUT
state.int PQgetCopyData(PGconn *conn, char **buffer, int async);
Attempts to obtain another row of data from the server during a
COPY
. Data is always returned one data row at a time; if only a partial row is available, it is not returned. Successful return of a data row involves allocating a chunk of memory to hold the data. Thebuffer
parameter must be non-NULL
.*buffer
is set to point to the allocated memory, or toNULL
in cases where no buffer is returned. A non-NULL
result buffer should be freed usingPQfreemem
when no longer needed.When a row is successfully returned, the return value is the number of data bytes in the row (this will always be greater than zero). The returned string is always null-terminated, though this is probably only useful for textual
COPY
. A result of zero indicates that theCOPY
is still in progress, but no row is yet available (this is only possible whenasync
is true). A result of -1 indicates that theCOPY
is done. A result of -2 indicates that an error occurred (consultPQerrorMessage
for the reason).When
async
is true (not zero),PQgetCopyData
will not block waiting for input; it will return zero if theCOPY
is still in progress but no complete row is available. (In this case wait for read-ready and then callPQconsumeInput
before callingPQgetCopyData
again.) Whenasync
is false (zero),PQgetCopyData
will block until data is available or the operation completes.After
PQgetCopyData
returns -1, callPQgetResult
to obtain the final result status of theCOPY
command. One can wait for this result to be available in the usual way. Then return to normal operation.
33.10.3. Obsolete Functions for COPY
These functions represent older methods of handling COPY
. Although they still work, they are deprecated due to poor error handling, inconvenient methods of detecting end-of-data, and lack of support for binary or nonblocking transfers.
PQgetline
Reads a newline-terminated line of characters (transmitted by the server) into a buffer string of size
length
.int PQgetline(PGconn *conn, char *buffer, int length);
This function copies up to
length
-1 characters into the buffer and converts the terminating newline into a zero byte.PQgetline
returnsEOF
at the end of input, 0 if the entire line has been read, and 1 if the buffer is full but the terminating newline has not yet been read.Note that the application must check to see if a new line consists of the two characters
\.
, which indicates that the server has finished sending the results of theCOPY
command. If the application might receive lines that are more thanlength
-1 characters long, care is needed to be sure it recognizes the\.
line correctly (and does not, for example, mistake the end of a long data line for a terminator line).PQgetlineAsync
Reads a row of
COPY
data (transmitted by the server) into a buffer without blocking.int PQgetlineAsync(PGconn *conn, char *buffer, int bufsize);
This function is similar to
PQgetline
, but it can be used by applications that must readCOPY
data asynchronously, that is, without blocking. Having issued theCOPY
command and gotten aPGRES_COPY_OUT
response, the application should callPQconsumeInput
andPQgetlineAsync
until the end-of-data signal is detected.Unlike
PQgetline
, this function takes responsibility for detecting end-of-data.On each call,
PQgetlineAsync
will return data if a complete data row is available in libpq's input buffer. Otherwise, no data is returned until the rest of the row arrives. The function returns -1 if the end-of-copy-data marker has been recognized, or 0 if no data is available, or a positive number giving the number of bytes of data returned. If -1 is returned, the caller must next callPQendcopy
, and then return to normal processing.The data returned will not extend beyond a data-row boundary. If possible a whole row will be returned at one time. But if the buffer offered by the caller is too small to hold a row sent by the server, then a partial data row will be returned. With textual data this can be detected by testing whether the last returned byte is
\n
or not. (In a binaryCOPY
, actual parsing of theCOPY
data format will be needed to make the equivalent determination.) The returned string is not null-terminated. (If you want to add a terminating null, be sure to pass abufsize
one smaller than the room actually available.)PQputline
Sends a null-terminated string to the server. Returns 0 if OK and
EOF
if unable to send the string.int PQputline(PGconn *conn, const char *string);
The
COPY
data stream sent by a series of calls toPQputline
has the same format as that returned byPQgetlineAsync
, except that applications are not obliged to send exactly one data row perPQputline
call; it is okay to send a partial line or multiple lines per call.Note
Before Postgres Pro protocol 3.0, it was necessary for the application to explicitly send the two characters
\.
as a final line to indicate to the server that it had finished sendingCOPY
data. While this still works, it is deprecated and the special meaning of\.
can be expected to be removed in a future release. It is sufficient to callPQendcopy
after having sent the actual data.PQputnbytes
Sends a non-null-terminated string to the server. Returns 0 if OK and
EOF
if unable to send the string.int PQputnbytes(PGconn *conn, const char *buffer, int nbytes);
This is exactly like
PQputline
, except that the data buffer need not be null-terminated since the number of bytes to send is specified directly. Use this procedure when sending binary data.PQendcopy
Synchronizes with the server.
int PQendcopy(PGconn *conn);
This function waits until the server has finished the copying. It should either be issued when the last string has been sent to the server using
PQputline
or when the last string has been received from the server usingPQgetline
. It must be issued or the server will get “out of sync” with the client. Upon return from this function, the server is ready to receive the next SQL command. The return value is 0 on successful completion, nonzero otherwise. (UsePQerrorMessage
to retrieve details if the return value is nonzero.)When using
PQgetResult
, the application should respond to aPGRES_COPY_OUT
result by executingPQgetline
repeatedly, followed byPQendcopy
after the terminator line is seen. It should then return to thePQgetResult
loop untilPQgetResult
returns a null pointer. Similarly aPGRES_COPY_IN
result is processed by a series ofPQputline
calls followed byPQendcopy
, then return to thePQgetResult
loop. This arrangement will ensure that aCOPY
command embedded in a series of SQL commands will be executed correctly.Older applications are likely to submit a
COPY
viaPQexec
and assume that the transaction is done afterPQendcopy
. This will work correctly only if theCOPY
is the only SQL command in the command string.