34.10. Функции, связанные с командой COPY
#
Команда COPY
в PostgreSQL имеет возможность читать и записывать данные через сетевое подключение, установленное libpq. Описанные в этом разделе функции позволяют приложениям воспользоваться этой возможностью для передачи или приёма копируемых данных.
Общая процедура такова: сначала приложение выдаёт SQL-команду COPY
, вызывая PQexec
или одну из подобных функций. В ответ оно должно получить (если не возникла ошибка) объект PGresult
с кодом состояния PGRES_COPY_OUT
или PGRES_COPY_IN
(в зависимости от направления копирования). Затем приложение должно использовать функции, описанные в этом разделе, и принимать или передавать строки данных. По завершении передачи возвращается ещё один объект PGresult
, сообщающий о состоянии завершения передачи. В случае успеха он содержит код состояния PGRES_COMMAND_OK
, а если возникает какая-то проблема — PGRES_FATAL_ERROR
. После этого можно продолжать выполнять SQL-команды через PQexec
. (Пока операция COPY
не завершена, выполнять другие SQL-команды через то же подключение нельзя.)
Если команда COPY
была выполнена через PQexec
в строке, содержащей дополнительные команды, приложение должно продолжать получать результаты через PQgetResult
после завершения последовательности COPY
. Только когда PQgetResult
возвращает NULL
, можно с уверенностью считать, что переданные PQexec
команды выполнены полностью, и безопасно передавать другие команды.
Функции, описанные в этом разделе, должны выполняться только после получения кода состояния PGRES_COPY_OUT
или PGRES_COPY_IN
от функции PQexec
или PQgetResult
.
Объект PGresult
с таким кодом состояния содержит дополнительные данные о начавшейся операции COPY
. Эти данные можно получить функциями, также применяющимися при обработке результатов запроса:
PQnfields
#Возвращает число копируемых столбцов (полей).
PQbinaryTuples
#Значение 0 указывает, что для всей операции копирования применяется текстовый формат (строки разделяются символами новой строки, столбцы разделяются символами-разделителями и т. д.). Значение 1 указывает, что для всей операции копирования применяется двоичный формат. За дополнительными сведениями обратитесь к COPY.
PQfformat
#Возвращает код формата (0 — текстовый, 1 — двоичный), связанный с каждым копируемым столбцом. Коды форматов столбцов всегда будут нулевыми, если общий формат копирования — текстовый, но с двоичным форматом поддерживаются и текстовые, и двоичные столбцы. (Однако в текущей реализации
COPY
при двоичном копировании столбцы могут быть только двоичными, так что форматы столбцов должны всегда соответствовать общему формату.)
34.10.1. Функции для передачи данных COPY
#
Эти функции применяются для передачи данных при операции COPY FROM STDIN
. Они не будут работать, если подключение находится не в состоянии COPY_IN
.
PQputCopyData
#Отправляет данные на сервер, когда активно состояние
COPY_IN
.int PQputCopyData(PGconn *conn, const char *buffer, int nbytes);
Передаёт серверу данные
COPY
из указанного буфера (buffer
), длинойnbytes
байт. Она возвращает 1, если данные были переданы, 0, если они не попали в очередь, так как буферы были заполнены (это возможно только в неблокирующем режиме), или -1, если произошла ошибка. (Если возвращено -1, подробности ошибки можно узнать, вызвавPQerrorMessage
. Если получен 0, дождитесь состояния готовности к записи и повторите попытку.)Приложение может разделять поток данных
COPY
на буферизуемые блоки любого удобного размера. Границы буфера не имеют семантического значения при передаче. Содержимое потока данных должно соответствовать формату данных, ожидаемому командойCOPY
; за подробностями обратитесь к COPY.PQputCopyEnd
#Отправляет признак конца данных на сервер, когда активно состояние
COPY_IN
.int PQputCopyEnd(PGconn *conn, const char *errormsg);
Завершает операцию
COPY_IN
с успешным результатом, если вerrormsg
передаётсяNULL
. Еслиerrormsg
неNULL
, командаCOPY
будет завершена с ошибкой, а сообщением об ошибке будет строка, переданная вerrormsg
. (Однако не следует полагать, что именно это сообщение будет получено от сервера назад, так как сервер мог уже прервать операциюCOPY
по своим причинам.)Эта функция возвращает 1, если сообщение завершения было передано; в неблокирующем режиме это означает только, что сообщение завершения успешно поставлено в очередь. (Чтобы удостовериться, что данные были успешно отправлены в неблокирующем режиме, следует дождаться готовности к записи и вызывать
PQflush
в цикле, пока она не вернёт ноль.) Нулевой результат означает, что функция не смогла поставить сообщение завершения в очередь по причине заполнения буферов; это возможно только в неблокирующем режиме. (В этом случае нужно дождаться готовности к записи и попытаться вызватьPQputCopyEnd
снова.) Если действительно происходит ошибка, возвращается -1; получить её подробности можно, вызвавPQerrorMessage
.После успешного вызова
PQputCopyEnd
вызовитеPQgetResult
, чтобы узнать окончательный результат командыCOPY
. Ожидать появления этого результата можно обычным образом. Затем вернитесь к обычным операциям.
34.10.2. Функции для приёма данных COPY
#
Эти функции применяются для получения данных при операции COPY TO STDOUT
. Они не будут работать, если подключение находится не в состоянии COPY_OUT
.
PQgetCopyData
#Принимает данные от сервера, когда активно состояние
COPY_OUT
.int PQgetCopyData(PGconn *conn, char **buffer, int async);
Запрашивает следующую строку данных с сервера в процессе операции
COPY
. Данные всегда возвращаются строка за строкой; если поступила только часть строки, она не возвращается. Успешное получение строки данных подразумевает выделение блока памяти для этих данных. В параметреbuffer
ей передаётся указатель, отличный отNULL
. По адресу*buffer
записывается указатель на выделенную память, либоNULL
, когда буфер не возвращается. Если буфер результата отличен отNULL
, его следует освободить, когда он станет не нужен, вызвавPQfreemem
.Когда строка получена успешно, возвращается число байт данных в этой строке (это число всегда больше нуля). Возвращаемое строковое значение всегда завершается нулём, хотя это полезно, вероятно, только для текстовой
COPY
. Нулевой результат означает, что операцияCOPY
продолжает выполняться, но строка ещё не готова (это возможно, только когда параметрasync
равен true). Возвращённое значение -1 означает, что командаCOPY
завершена, а -2 показывает, что произошла ошибка (её причину можно узнать с помощьюPQerrorMessage
).Когда параметр
async
отличен от нуля (признак установлен), функцияPQgetCopyData
не будет блокироваться, ожидая данных; она возвратит ноль, если выполнениеCOPY
продолжается, но полная строка ещё не получена. (В этом случае нужно дождаться готовности к чтению и затем вызватьPQconsumeInput
, прежде чем вызыватьPQgetCopyData
ещё раз.) Когдаasync
равен нулю (признак не установлен),PQgetCopyData
будет заблокирована до поступления данных или окончания операции.Когда
PQgetCopyData
возвращает -1, вызовитеPQgetResult
, чтобы узнать окончательный результат командыCOPY
. Ожидать появления этого результата можно обычным образом. Затем вернитесь к обычным операциям.
34.10.3. Устаревшие функции для COPY
#
Эти функции представляют старые методы выполнения операции COPY
. Хотя они продолжают работать, они признаны устаревшими из-за плохой обработки ошибок, неудобных способов обнаружения конца данных и отсутствия поддержки двоичных или неблокирующих передач.
PQgetline
#Читает передаваемую сервером строку символов, завершающуюся символом новой строки, в буфер (buffer) размера
length
.int PQgetline(PGconn *conn, char *buffer, int length);
Эта функция копирует
length
-1 символов в буфер и преобразует символ конца строки в нулевой байт.PQgetline
возвращаетEOF
в конце ввода, 0, если была прочитана вся строка, и 1, если буфер заполнен, но завершающий символ конца строки ещё не прочитан.Заметьте, что приложение должно проверить, не состоит ли новая строка в точности из двух символов
\.
, что будет означать, что сервер завершил передачу результатов командыCOPY
. Если приложение может принимать строки длиннееlength
-1 символов, необходимо позаботиться о том, чтобы оно корректно распознавало строку\.
(а не воспринимало, например, конец длинной строки данных как завершающую строку).PQgetlineAsync
#Читает передаваемую сервером строку данных
COPY
в буфер без блокировки.int PQgetlineAsync(PGconn *conn, char *buffer, int bufsize);
Эта функция похожа на
PQgetline
, но может применяться в приложениях, которые должны читать данныеCOPY
асинхронно, то есть без блокировки. Запустив командуCOPY
и получив ответPGRES_COPY_OUT
, приложение должно вызыватьPQconsumeInput
иPQgetlineAsync
, пока не будет получен сигнал «конец данных».В отличие от
PQgetline
, эта функция сама отвечает за обнаружение конца данных.При каждом вызове
PQgetlineAsync
будет возвращать данные, если во входном буфере libpq оказывается полная строка данных. В противном случае никакие данные не возвращаются до поступления остального содержимого строки. Эта функция возвращает -1, если обнаруживается признак завершения копирования, или 0, если данные не получены, или положительное количество возвращённых байт данных. Если возвращается -1, вызывающий код должен затем вызватьPQendcopy
и после этого перейти в обычный режим работы.Возвращаемые данные не будут пересекать границы строк данных. При этом может быть возвращена одна строка целиком. Но если буфер, выделенный вызывающим кодом, оказывается слишком мал для строки, передаваемой сервером, возвращена будет часть строки. Когда передаются текстовые данные, это можно выявить, проверив, содержит ли последний возвращаемый байт символ
\n
. (ДляCOPY
в двоичном формате потребуется собственно разобрать формат данныхCOPY
, чтобы выявить подобную ситуацию.) Возвращаемая строка не завершается нулём. (Если вы хотите получить строку с нулём в конце, передайте вbufsize
число на единицу меньше фактического размера блока.)PQputline
#Передаёт серверу строку, завершённую нулём. Возвращает 0 в случае успеха, либо
EOF
, если передать строку не удаётся.int PQputline(PGconn *conn, const char *string);
Поток данных
COPY
, передаваемых последовательностью вызововPQputline
, имеет тот же формат, что возвращаетPQgetlineAsync
, за исключением того, что приложения не обязательно должны передавать по одной строке данных за вызовPQputline
; они могут посылать части строк или сразу несколько строк.Примечание
До версии 3.0 протокола PostgreSQL приложение должно было явно отправлять два символа
\.
последней строкой, чтобы сообщить серверу, что оно закончило передачу данныхCOPY
. Хотя это по-прежнему работает, такое поведение считается устаревшим и ожидается, что особое значение\.
будет исключено в будущих версиях. Сейчас, передав собственно данные, достаточно вызватьPQendcopy
.PQputnbytes
#Передаёт серверу строку, не завершённую нулём. Возвращает 0 в случае успеха, либо
EOF
, если передать строку не удаётся.int PQputnbytes(PGconn *conn, const char *buffer, int nbytes);
Поведение этой функции не отличается от
PQputline
, но её буфер данных не должен содержать завершающий ноль, так как для неё число передаваемых байт задаётся непосредственным образом. Используйте эту функцию для передачи двоичных данных.PQendcopy
#Производит синхронизацию с сервером.
int PQendcopy(PGconn *conn);
Эта функция ожидает завершения копирования сервером. Её следует вызывать, либо когда серверу была передана последняя строка функцией
PQputline
, либо когда от сервера была получена последняя строка функциейPQgetline
. Если её не вызвать, сервер «потеряет синхронизацию» с клиентом. После завершения этой функции сервер готов принимать следующую команду SQL. В случае успешного завершения возвращается 0, в противном случае — ненулевое значение. (Чтобы получить подробности ошибки при ненулевом значении, вызовитеPQerrorMessage
.)Вызывая
PQgetResult
, приложение должно обрабатывать результатPGRES_COPY_OUT
, в цикле выполняяPQgetline
, а обнаружив завершающую строку, вызватьPQendcopy
. Затем оно должно вернуться к циклуPQgetResult
и выйти из него, когдаPQgetResult
возвратит нулевой указатель. Подобным образом, получив результатPGRES_COPY_IN
, приложение должно выполнить серию вызововPQputline
, завершить её, вызвавPQendcopy
, а затем вернуться к циклуPQgetResult
. При такой организации обработки командаCOPY
будет корректно выполняться и в составе последовательности команд SQL.Старые приложения обычно передают команду
COPY
черезPQexec
и рассчитывают, что транзакция будет завершена послеPQendcopy
. Это будет работать, только если командаCOPY
является единственной SQL-командой в строке запроса.
32.21. Building libpq Programs #
To build (i.e., compile and link) a program using libpq you need to do all of the following things:
Include the
libpq-fe.h
header file:#include <libpq-fe.h>
If you failed to do that then you will normally get error messages from your compiler similar to:
foo.c: In function `main': foo.c:34: `PGconn' undeclared (first use in this function) foo.c:35: `PGresult' undeclared (first use in this function) foo.c:54: `CONNECTION_BAD' undeclared (first use in this function) foo.c:68: `PGRES_COMMAND_OK' undeclared (first use in this function) foo.c:95: `PGRES_TUPLES_OK' undeclared (first use in this function)
Point your compiler to the directory where the Postgres Pro header files were installed, by supplying the
-I
option to your compiler. (In some cases the compiler will look into the directory in question by default, so you can omit this option.) For instance, your compile command line could look like:directory
cc -c -I/usr/local/pgsql/include testprog.c
If you are using makefiles then add the option to the
CPPFLAGS
variable:CPPFLAGS += -I/usr/local/pgsql/include
If there is any chance that your program might be compiled by other users then you should not hardcode the directory location like that. Instead, you can run the utility
pg_config
to find out where the header files are on the local system:$
pg_config --includedir/usr/local/include
If you have
pkg-config
installed, you can run instead:$
pkg-config --cflags libpq-I/usr/local/include
Note that this will already include the
-I
in front of the path.Failure to specify the correct option to the compiler will result in an error message such as:
testlibpq.c:8:22: libpq-fe.h: No such file or directory
When linking the final program, specify the option
-lpq
so that the libpq library gets pulled in, as well as the option-L
to point the compiler to the directory where the libpq library resides. (Again, the compiler will search some directories by default.) For maximum portability, put thedirectory
-L
option before the-lpq
option. For example:cc -o testprog testprog1.o testprog2.o -L/usr/local/pgsql/lib -lpq
You can find out the library directory using
pg_config
as well:$
pg_config --libdir/usr/local/pgsql/lib
Or again use
pkg-config
:$
pkg-config --libs libpq-L/usr/local/pgsql/lib -lpq
Note again that this prints the full options, not only the path.
Error messages that point to problems in this area could look like the following:
testlibpq.o: In function `main': testlibpq.o(.text+0x60): undefined reference to `PQsetdbLogin' testlibpq.o(.text+0x71): undefined reference to `PQstatus' testlibpq.o(.text+0xa4): undefined reference to `PQerrorMessage'
This means you forgot
-lpq
./usr/bin/ld: cannot find -lpq
This means you forgot the
-L
option or did not specify the right directory.