postgresforest510beutil/0000755000000000000000000000000011340754172014304 5ustar rootrootpostgresforest510beutil/init/0000755000000000000000000000000011340754172015247 5ustar rootrootpostgresforest510beutil/init/createmngdb.sh0000755000000000000000000000440211340754172020061 0ustar rootroot#!/bin/sh if [ $# -ne 7 ] ; then echo "Usage : ${0} [PSQL-COMMAND] [IP] [PORT] [USERNAME] [IP0:PORT0] [IP1:PORT1] [USERDB]" exit 1 fi PSQL=${1} IP=${2} PORT=${3} USERNAME=${4} URL0=${5} URL1=${6} USRDB=${7} MNGDB="${USRDB}_pghainfo" ${PSQL} -h ${IP} -p ${PORT} -U ${USERNAME} -d template1 < 0) + { + if (statement_timeout_active) + { + lock_fin_time = GetCurrentStatementStartTimestamp(); + lock_fin_time = TimestampTzPlusMilliseconds(lock_fin_time, LockTimeout); + if (statement_fin_time >= lock_fin_time) + is_lock_timeout = true; + } + else + { + is_lock_timeout = true; + } + if (is_lock_timeout && !enable_sig_alarm(LockTimeout, true)) + elog(FATAL, "could not set timer for process wakeup"); + } + if (!enable_sig_alarm(DeadlockTimeout, false)) elog(FATAL, "could not set timer for process wakeup"); *************** *** 1009,1014 **** --- 1030,1040 ---- if (!disable_sig_alarm(false)) elog(FATAL, "could not disable timer for process wakeup"); + if (LockTimeout > 0 && !disable_sig_alarm(true)) + elog(FATAL, "could not disable timer for process wakeup"); + + is_lock_timeout = false; + /* * Re-acquire the lock table's partition lock. We have to do this to hold * off cancel/die interrupts before we can mess with lockAwaited (else we diff -cr postgresql-8.3.1/src/backend/tcop/postgres.c postgresql-8.3.1-lt/src/backend/tcop/postgres.c *** postgresql-8.3.1/src/backend/tcop/postgres.c 2008-03-13 08:58:35.000000000 +0900 --- postgresql-8.3.1-lt/src/backend/tcop/postgres.c 2008-10-09 12:36:25.000000000 +0900 *************** *** 2588,2596 **** DisableNotifyInterrupt(); DisableCatchupInterrupt(); if (cancel_from_timeout) ! ereport(ERROR, ! (errcode(ERRCODE_QUERY_CANCELED), ! errmsg("canceling statement due to statement timeout"))); else if (IsAutoVacuumWorkerProcess()) ereport(ERROR, (errcode(ERRCODE_QUERY_CANCELED), --- 2588,2607 ---- DisableNotifyInterrupt(); DisableCatchupInterrupt(); if (cancel_from_timeout) ! { ! if (is_lock_timeout) { ! is_lock_timeout = false; ! ereport(ERROR, ! (errcode(ERRCODE_T_R_LOCKTIMEOUT_DETECTED), ! errmsg("canceling statement due to lock timeout"))); ! } ! else ! { ! ereport(ERROR, ! (errcode(ERRCODE_QUERY_CANCELED), ! errmsg("canceling statement due to statement timeout"))); ! } ! } else if (IsAutoVacuumWorkerProcess()) ereport(ERROR, (errcode(ERRCODE_QUERY_CANCELED), diff -cr postgresql-8.3.1/src/backend/utils/misc/guc.c postgresql-8.3.1-lt/src/backend/utils/misc/guc.c *** postgresql-8.3.1/src/backend/utils/misc/guc.c 2008-01-31 03:35:55.000000000 +0900 --- postgresql-8.3.1-lt/src/backend/utils/misc/guc.c 2008-10-08 17:33:46.000000000 +0900 *************** *** 1194,1199 **** --- 1194,1210 ---- 1000, 1, INT_MAX / 1000, NULL, NULL }, + { + {"lock_timeout", PGC_SIGHUP, LOCK_MANAGEMENT, + gettext_noop("Sets the time to wait on a lock before checking for lock timeout."), + NULL, + GUC_UNIT_MS + }, + &LockTimeout, + 0, 0, INT_MAX / 1000, NULL, NULL + }, + + /* * Note: There is some postprocessing done in PostmasterMain() to make * sure the buffers are at least twice the number of backends, so the diff -cr postgresql-8.3.1/src/backend/utils/misc/postgresql.conf.sample postgresql-8.3.1-lt/src/backend/utils/misc/postgresql.conf.sample *** postgresql-8.3.1/src/backend/utils/misc/postgresql.conf.sample 2008-01-31 03:35:55.000000000 +0900 --- postgresql-8.3.1-lt/src/backend/utils/misc/postgresql.conf.sample 2008-10-08 17:20:47.000000000 +0900 *************** *** 464,469 **** --- 464,470 ---- # max_locks_per_transaction * (max_connections + max_prepared_transactions) # lock table slots. + #lock_timeout = 0s #------------------------------------------------------------------------------ # VERSION/PLATFORM COMPATIBILITY diff -cr postgresql-8.3.1/src/include/pg_config_manual.h postgresql-8.3.1-lt/src/include/pg_config_manual.h *** postgresql-8.3.1/src/include/pg_config_manual.h 2007-06-09 03:23:53.000000000 +0900 --- postgresql-8.3.1-lt/src/include/pg_config_manual.h 2008-10-08 17:20:21.000000000 +0900 *************** *** 255,260 **** --- 255,266 ---- /* #define TRACE_SYNCSCAN */ /* + * Enable lock timeout feature; + * This value can be set in the lock_timeout GUC variable. + */ + #define ENABLE_LOCKTIMEOUT 1 + + /* * Other debug #defines (documentation, anyone?) */ /* #define HEAPDEBUGALL */ diff -cr postgresql-8.3.1/src/include/storage/proc.h postgresql-8.3.1-lt/src/include/storage/proc.h *** postgresql-8.3.1/src/include/storage/proc.h 2008-01-27 04:55:08.000000000 +0900 --- postgresql-8.3.1-lt/src/include/storage/proc.h 2008-10-08 17:18:52.000000000 +0900 *************** *** 145,154 **** /* configurable options */ extern int DeadlockTimeout; extern int StatementTimeout; extern bool log_lock_waits; extern volatile bool cancel_from_timeout; ! /* * Function Prototypes --- 145,155 ---- /* configurable options */ extern int DeadlockTimeout; extern int StatementTimeout; + extern int LockTimeout; extern bool log_lock_waits; extern volatile bool cancel_from_timeout; ! extern volatile bool is_lock_timeout; /* * Function Prototypes diff -cr postgresql-8.3.1/src/include/utils/errcodes.h postgresql-8.3.1-lt/src/include/utils/errcodes.h *** postgresql-8.3.1/src/include/utils/errcodes.h 2008-01-02 04:45:59.000000000 +0900 --- postgresql-8.3.1-lt/src/include/utils/errcodes.h 2008-10-08 17:17:35.000000000 +0900 *************** *** 235,240 **** --- 235,241 ---- #define ERRCODE_T_R_SERIALIZATION_FAILURE MAKE_SQLSTATE('4','0', '0','0','1') #define ERRCODE_T_R_STATEMENT_COMPLETION_UNKNOWN MAKE_SQLSTATE('4','0', '0','0','3') #define ERRCODE_T_R_DEADLOCK_DETECTED MAKE_SQLSTATE('4','0', 'P','0','1') + #define ERRCODE_T_R_LOCKTIMEOUT_DETECTED MAKE_SQLSTATE('4','0', 'Q','0','1') /* Class 42 - Syntax Error or Access Rule Violation */ #define ERRCODE_SYNTAX_ERROR_OR_ACCESS_RULE_VIOLATION MAKE_SQLSTATE('4','2', '0','0','0') postgresforest510beutil/recovery/0000755000000000000000000000000011340754172016142 5ustar rootrootpostgresforest510beutil/recovery/PGHARecovery.sh0000644000000000000000000005410711340754172020743 0ustar rootroot#!/bin/bash # # Online recovery script for PostgreSQL HA # # # This script is designed for PostgreSQL HA to recover database instance faulted. # # # PGHARecovery.sh -all | -base | -closevm | -sync | -recovery | -openvm | -cleanup | -cancel configfile # # # 0 = OK, 1 = FATAL # # # ~/.pgpass PG_HOME/share/recovery.conf.sample # # $Id: PGHARecovery.sh 2959 2010-02-19 09:53:42Z takahatat $ PROG=`basename $0` DIR=$(cd $(dirname $0) && pwd)/$(basename "$FILE") USER=`/usr/bin/whoami` HOST=`hostname` ######################################## # Definition ######################################## PGCONFIG_ONLINE="postgresql.conf.online" MAX_DURATION_ADD=10 # # messages # MSG_I001="online recovery (base) started" MSG_I002="- reloading postgresql.conf for recovery..." MSG_I003="- executing checkpoint..." MSG_I004="- executing pg_start_backup()..." MSG_I005="- executing base_recovery_command..." MSG_I006="online recovery (base) successful" MSG_I007="online recovery (sync) started" MSG_I008="- changing server_info..." MSG_I009="- waiting for pghainfo cache to be refreshed..." MSG_I010="- waiting for busy transaction(s) to idle..." MSG_I011="pid(s) remaining" MSG_I012="- executing pg_stop_backup()..." MSG_I013="start WAL location" MSG_I014="stop WAL location" MSG_I015="- waiting for stop WAL location to be archived..." MSG_I016="- executing sync_recovery_command..." MSG_I017="- executing instance_startup_command..." MSG_I018="- setting recovery.conf..." MSG_I019="- removing recovery.conf..." MSG_I020="online recovery (sync) successful" MSG_I021="- resetting postgresql.conf..." MSG_I022="updated server_info.udb_validity" MSG_I023="online recovery (cleanup) started" MSG_I024="online recovery (cleanup) successful" MSG_I025="- reloading postgresql.conf for online..." MSG_I026="- removing archived WAL file(s)..." MSG_I027="current configuration" MSG_I028="reloaded configuration" MSG_I029="kill SIGHUP process" MSG_I030="- getting max serverinfo_read_duration..." MSG_I031="max serverinfo_read_duration" MSG_I032="loading serverinfo_read_duration" MSG_I033="online recovery (closevm) started" MSG_I034="online recovery (closevm) successful" MSG_I035="online recovery (openvm) started" MSG_I036="online recovery (openvm) successful" MSG_I037="online recovery (recovery) started" MSG_I038="online recovery (recovery) successful" MSG_I039="loading udb_url" MSG_I040="NOTICE : execute -cleanup on recovery node" MSG_I041="- removing ${PGCONFIG_ONLINE}..." MSG_I042="online recovery (cancel) started" MSG_I043="online recovery (cancel) successful" MSG_I044="- executing env_check_command..." MSG_E001="usage : ${PROG} -all | -base | -closevm | -sync | -recovery | -openvm | -cleanup | -cancel configfile" MSG_E002="failed to copy file(s)" MSG_E003="failed to kill SIGHUP process" MSG_E004="file not found" MSG_E005="failed to execute checkpoint" MSG_E006="failed to configure file(s)" MSG_E007="failed to execute pg_start_backup()" MSG_E008="failed to execute base_recovery_command" MSG_E009="online recovery (base) failed" MSG_E010="failed to get database name like %_pghainfo" MSG_E011="failed to change server_info.udb_validity" MSG_E012="timeout. there is busy transaction(s)" MSG_E013="failed to execute pg_stop_backup()" MSG_E014="timeout. WAL file is not archived." MSG_E015="failed to execute sync_recovery_command" MSG_E016="failed to execute instance_startup_command" MSG_E017="failed to remove file(s)" MSG_E018="online recovery (sync) failed" MSG_E019="online recovery (cleanup) failed" MSG_E020="failed to load serverinfo_read_duration" MSG_E021="online recovery (closevm) failed" MSG_E022="online recovery (openvm) failed" MSG_E023="online recovery (recovery) failed" MSG_E024="online recovery (cancel) failed" MSG_E025="failed to execute env_check_command" MSG_E026="invalid file exist. (maybe forgot to execute this script with '-cleanup' or '-cancel' option)" MSG_E027="invalid HA status. there are many master database instances." MSG_E028="invalid host. this database instance is not master." MSG_E029="failed to execute psql" MSG_E030="invalid file permission" ######################################## # Function ######################################## # base recovery function BaseRecovery() { # if pg_start_backup() already is already executed if [ ! -e ${dbcluster_dir}/backup_label ] then # # reload postgresql.conf for base recovery # Logging "${MSG_I002}" # backup postgresql.conf & edit postgresql.conf (replace archive_command) if [ ! -e ${dbcluster_dir}/${PGCONFIG_ONLINE} ] then cp ${dbcluster_dir}/postgresql.conf ${dbcluster_dir}/${PGCONFIG_ONLINE} && \ sed -e "s/^archive_command/#archive_command/" ${dbcluster_dir}/${PGCONFIG_ONLINE} > ${dbcluster_dir}/postgresql.conf && \ echo "archive_command = '${archive_command}'" >> ${dbcluster_dir}/postgresql.conf if [ $? -ne 0 ] then EchoNG Logging "${MSG_E006} : ${dbcluster_dir}/postgresql.conf" return 1 fi else Logging "${MSG_E026} : ${dbcluster_dir}/${PGCONFIG_ONLINE}" return 1 fi ReloadConfiguration || return 1 # # execute CHECKPOINT # Logging "${MSG_I003}" ${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -c "CHECKPOINT" > /dev/null if [ $? -ne 0 ] then EchoNG Logging "${MSG_E005}" return 1 fi EchoOK # # execute pg_start_backup # Logging "${MSG_I004}" XLOG_START=`${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c "SELECT pg_xlogfile_name(pg_start_backup('pgha_recovery'))" | awk '{print $1}' | head -n 1` if [ $? -ne 0 ] || [ "x${XLOG_START}" == "x" ] then EchoNG Logging "${MSG_E007}" return 1 fi Logging "${MSG_I013} : ${XLOG_START}" EchoOK fi # # set recovery.conf # Logging "${MSG_I018}" sed -e "s|^#restore_command.\+$|restore_command = '${restore_command}'|" ${pg_dir}/share/recovery.conf.sample >> ${dbcluster_dir}/recovery.conf if [ $? -ne 0 ] then EchoNG Logging "${MSG_E006} : recovery.conf append restore_command" return 1 fi EchoOK # # execute base recovery # Logging "${MSG_I005}" ${base_recovery_command} if [ $? -ne 0 ] then EchoNG Logging "${MSG_E008}" return 1 fi EchoOK # # move recovery.conf # Logging "${MSG_I019}" rm ${dbcluster_dir}/recovery.conf if [ $? -ne 0 ] then EchoNG Logging "${MSG_E017} : ${dbcluster_dir}/recovery.conf" return 1 fi EchoOK return 0 } # suppress JDBC access function CloseVM() { # # change server_info.udb_validity (suppress query from JDBC) # ChangeUDBValidity wait online online if [ $? -ne 0 ] then return 1 fi # # wait for busy transaction to idle # GetMaxDuration && WaitTransactionToIdle if [ $? -ne 0 ] then return 1 fi return 0 } # sync recovery (redo xlog) function SyncRecovery() { if [ -e ${dbcluster_dir}/backup_label ] then # # execute pg_stop_backup # Logging "${MSG_I012}" XLOG_STOP=`${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c "SELECT pg_xlogfile_name(pg_stop_backup())" | awk '{print $1}' | head -n 1` if [ $? -ne 0 ] || [ "x${XLOG_STOP}" == "x" ] then EchoNG Logging "${MSG_E013}" return 1 fi Logging "${MSG_I014} : ${XLOG_STOP}" EchoOK # # wait for stop WAL location to be archived # Logging "${MSG_I015}" TMP=1 for CNT in `seq 1 ${archive_wait_timeout}` do sleep 1 echo -n "." if [ -e ${archivexlog_dir}/${XLOG_STOP} ] && [ `du -b ${archivexlog_dir}/${XLOG_STOP} | awk '{print $1}' | head -n 1` -eq 16777216 ] then TMP=0 break fi done echo if [ ${TMP} -ne 0 ] then EchoNG Logging "${MSG_E014}" return 1 fi EchoOK fi # # execute sync recovery # Logging "${MSG_I016}" ${sync_recovery_command} if [ $? -ne 0 ] then EchoNG Logging "${MSG_E015}" return 1 fi EchoOK return 0 } # recovery instance function RecoverInstance() { # # execute instance startup # Logging "${MSG_I017}" ${instance_startup_command} > /dev/null if [ $? -ne 0 ] then EchoNG Logging "${MSG_E016}" return 1 fi EchoOK return 0 } # unsuppress JDBC access function OpenVM() { # # change server_info.udb_validity (suppress query from JDBC) # ChangeUDBValidity online all all if [ $? -ne 0 ] then return 1 fi return 0 } # cleanup recovery function CleanupRecovery() { # # reset postgresql.conf # if [ -e ${dbcluster_dir}/${PGCONFIG_ONLINE} ] then Logging "${MSG_I021}" cp ${dbcluster_dir}/${PGCONFIG_ONLINE} ${dbcluster_dir}/postgresql.conf if [ $? -ne 0 ] then EchoNG Logging "${MSG_E002} : ${dbcluster_dir}/${PGCONFIG_ONLINE} ${dbcluster_dir}/postgresql.conf" return 1 fi EchoOK fi # # reload postgresql.conf # Logging "${MSG_I025}" ReloadConfiguration || return 1 # # remove postgresql.conf for recovery # if [ -e ${dbcluster_dir}/${PGCONFIG_ONLINE} ] && [ "${dbcluster_dir}/${PGCONFIG_ONLINE}" != "/" ] then Logging "${MSG_I041}" rm ${dbcluster_dir}/${PGCONFIG_ONLINE} if [ $? -ne 0 ] then EchoNG Logging "${MSG_E017} : ${dbcluster_dir}/${PGCONFIG_ONLINE}" return 1 fi EchoOK fi # # remove archived WAL # if [ "${archivexlog_dir}/" != "/" ] then Logging "${MSG_I026}" rm -f ${archivexlog_dir}/* if [ $? -ne 0 ] then EchoNG Logging "${MSG_E017} : ${archivexlog_dir}/*" return 1 fi EchoOK fi return 0 } # cancel recovery function CancelRecovery() { if [ -e ${dbcluster_dir}/backup_label ] then # # execute pg_stop_backup # Logging "${MSG_I012}" XLOG_STOP=`${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c "SELECT pg_xlogfile_name(pg_stop_backup())" | awk '{print $1}' | head -n 1` if [ $? -ne 0 ] || [ "x${XLOG_STOP}" == "x" ] then EchoNG Logging "${MSG_E013}" return 1 fi Logging "${MSG_I014} : ${XLOG_STOP}" EchoOK fi # # change server_info.udb_validity (suppress query from JDBC) # ChangeUDBValidity online wait wait if [ $? -ne 0 ] then return 1 fi # # cleanup recovery temporally files # CleanupRecovery if [ $? -ne 0 ] then return 1 fi return 0 } # reload postgresql.conf function ReloadConfiguration() { # # reload postgresql.conf # Logging "${MSG_I027} : archive_mode = `${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c 'SHOW archive_mode' | head -n 1`" Logging "${MSG_I027} : archive_command = `${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c 'SHOW archive_command' | head -n 1`" PID=`cat ${dbcluster_dir}/postmaster.pid | head -n 1` && Logging "${MSG_I029} : `ps -f --no-header -p ${PID}`" && kill -s SIGHUP `cat ${dbcluster_dir}/postmaster.pid | head -n 1` if [ $? -ne 0 ] then EchoNG Logging "${MSG_E003}" return 1 fi Logging "${MSG_I028} : archive_mode = `${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c 'SHOW archive_mode' | head -n 1`" Logging "${MSG_I028} : archive_command = `${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c 'SHOW archive_command' | head -n 1`" EchoOK return 0 } # change server_info.udb_validity (suppress query from JDBC) # arg1 : updated udb_validity, arg2 : current udb_validity, arg3 : target server's current udb_validity function ChangeUDBValidity() { UPDATED_VALIDITY=$1 CURRENT_VALIDITY=$2 TARGET_SERVER=$3 case ${UPDATED_VALIDITY} in online) UPDATED_VALIDITY_VAL=1 ;; wait) UPDATED_VALIDITY_VAL=0 ;; *) UPDATED_VALIDITY_VAL=0 ;; esac Logging "${MSG_I008}" DBLIST=`${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c "SELECT datname FROM pg_database WHERE datname LIKE '%_pghainfo'" | awk '{print $1}'` if [ $? -ne 0 ] || [ "x${DBLIST}" == "x" ] then EchoNG Logging "${MSG_E010}" return 1 fi for DB in ${DBLIST} do Logging "${MSG_I039} : ${DB}" case ${TARGET_SERVER} in online) URLLIST=`${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -p ${pg_port} -q -A -t -c "SELECT udb_url FROM server_info WHERE udb_validity = 1" | awk '{print $1}'` ;; wait) URLLIST=`${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -p ${pg_port} -q -A -t -c "SELECT udb_url FROM server_info WHERE udb_validity = 0" | awk '{print $1}'` ;; *) URLLIST=`${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -p ${pg_port} -q -A -t -c "SELECT udb_url FROM server_info"| awk '{print $1}'` ;; esac for URL in ${URLLIST} do HOST=`echo ${URL} | cut -d "/" -f 1 | cut -d ":" -f 1` PORT=`echo ${URL} | cut -d "/" -f 1 | cut -d ":" -f 2` UDB=`echo ${URL} | cut -d "/" -f 2` case ${CURRENT_VALIDITY} in online) ${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -h ${HOST} -p ${PORT} -q -c "UPDATE server_info SET udb_validity = ${UPDATED_VALIDITY_VAL} WHERE udb_validity = 1" ;; wait) ${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -h ${HOST} -p ${PORT} -q -c "UPDATE server_info SET udb_validity = ${UPDATED_VALIDITY_VAL} WHERE udb_validity = 0" ;; *) ${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -h ${HOST} -p ${PORT} -q -c "UPDATE server_info SET udb_validity = ${UPDATED_VALIDITY_VAL}" ;; esac if [ $? -eq 0 ] then Logging "${MSG_I022} : ${DB} at ${HOST} (${URL} from ${CURRENT_VALIDITY} to ${UPDATED_VALIDITY})" else EchoNG Logging "${MSG_E011}" return 1 fi done done EchoOK return 0 } # get max serverinfo_read_duration function GetMaxDuration() { DURATION=0 Logging "${MSG_I030}" DBLIST=`${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c "SELECT datname FROM pg_database WHERE datname LIKE '%_pghainfo'" | awk '{print $1}'` for DB in ${DBLIST} do Logging "${MSG_I032} : ${DB}" TMP=`${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -p ${pg_port} -q -A -t -c "SELECT value FROM global_config WHERE key = 'mngdb_read_duration'" | awk '{print $1}' | head -n 1` if [ "x${TMP}" == "x" ] then Logging "${MSG_E020}" fi if [ ${TMP} -gt ${DURATION} ] then DURATION=${TMP} fi done Logging "${MSG_I031} : ${DURATION}" EchoOK DURATION=`expr ${DURATION} + ${MAX_DURATION_ADD}` return 0 } # wait for busy transaction to idle function WaitTransactionToIdle() { Logging "${MSG_I009}" for CNT in `seq 1 ${DURATION}` do sleep 1 echo -n "." done echo EchoOK Logging "${MSG_I010}" TMP=1 for CNT in `seq 1 ${idle_wait_timeout}` do sleep 1 PIDS=`${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -p ${pg_port} -q -A -t -c "SELECT procpid FROM pg_stat_activity WHERE procpid <> pg_backend_pid() AND current_query <> '' AND current_query NOT LIKE '%autovacuum:%'" | awk '{print $1}' | tr "\n" " "` if [ "x${PIDS}" == "x" ] then TMP=0 break fi Logging "${MSG_I011} : ${PIDS}" done if [ ${TMP} -ne 0 ] then EchoNG Logging ${MSG_E012} return 1 fi EchoOK return 0 } # check environment function CheckEnvironment() { Logging "${MSG_I044}" ${env_check_command} if [ $? -ne 0 ] then EchoNG Logging "${MSG_E025}" return 1 fi EchoOK # check psql password setting if [ ! -e ~/.pgpass ] then Logging "${MSG_E004} (~/.pgpass)" return 1 fi if [ `/usr/bin/stat --format="%a" ~/.pgpass` != "600" ] then Logging "${MSG_E030}. ~/.pgpass must be -rw-------." return 1 fi # check ha system catalog ${pg_dir}/bin/psql -U ${pg_user} -p ${pg_port} -d ${pg_db} -q -A -t -l > /dev/null 2>&1 if [ $? -ne 0 ] then Logging "${MSG_E029}" return 1 fi DBLIST=`${pg_dir}/bin/psql -U ${pg_user} -d ${pg_db} -p ${pg_port} -q -A -t -c "SELECT datname FROM pg_database WHERE datname LIKE '%_pghainfo'" | awk '{print $1}'` if [ $? -ne 0 ] || [ "x${DBLIST}" == "x" ] then EchoNG Logging "${MSG_E010}" return 1 fi for DB in ${DBLIST} do ROWS=`${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -p ${pg_port} -q -A -t -c "SELECT udb, count(*) AS cnt FROM (SELECT udb_url, udb_validity, split_part(udb_url, '/', 2) AS udb FROM server_info WHERE udb_validity IN (0, 1)) AS udb_info GROUP BY udb"` for ROW in ${ROWS} do UDB=`echo ${ROW} | cut -d "|" -f 1` CNT=`echo ${ROW} | cut -d "|" -f 2` if [ ${CNT} -ne 1 ] then Logging "${MSG_E027} (${UDB})" return 1 fi done ROWS=`${pg_dir}/bin/psql -U ${pg_user} -d ${DB} -p ${pg_port} -q -A -t -c "SELECT udb, count(*) AS cnt FROM (SELECT udb_url, udb_validity, split_part(udb_url, '/', 2) AS udb FROM server_info WHERE udb_validity IN (0, 1) AND udb_url LIKE '${src_pg_host}%') AS udb_info GROUP BY udb"` for ROW in ${ROWS} do UDB=`echo ${ROW} | cut -d "|" -f 1` CNT=`echo ${ROW} | cut -d "|" -f 2` if [ ${CNT} -ne 1 ] then Logging "${MSG_E028} (${UDB})" return 1 fi done done return 0 } function Logging() { MODE=$2 OPTS="" case ${MODE} in withline) EchoLine Logging "$1" EchoLine return 0 ;; noreturn) OPTS="-n" ;; *) ;; esac echo ${OPTS} "$1" /usr/bin/logger "${PROG} $1" } function EchoOK() { Logging "[ OK ]" } function EchoNG() { Logging "[ NG ]" } function EchoLine() { Logging "----------------------------------------" } ######################################## # SHELL ######################################## # # init # # check argument count if [ $# -ne 2 ] then Logging "${MSG_E001}" exit 1 fi # set argument PHASE=$1 CONFIG=$2 # check configuration file if [ ! -e ${CONFIG} ] then Logging "${MSG_E004} : ${CONFIG}" exit 1 fi # convert configfile path if [ `echo ${CONFIG} | grep "^/" | wc -l` -ne 1 ] then CONFIG=${PWD}/${CONFIG} fi # set configuration . ${CONFIG} # # main # RET=9 case ${PHASE} in -all) $0 -base ${CONFIG} || exit 1 Logging "" $0 -closevm ${CONFIG} || exit 1 Logging "" $0 -sync ${CONFIG} || exit 1 Logging "" $0 -recovery ${CONFIG} || exit 1 Logging "" $0 -openvm ${CONFIG} || exit 1 Logging "" $0 -cleanup ${CONFIG} || exit 1 Logging "" Logging "${MSG_I040}" RET=0 ;; -base) Logging "${MSG_I001}" withline CheckEnvironment && BaseRecovery RET=$? if [ ${RET} -eq 0 ] then Logging "${MSG_I006}" withline else Logging "${MSG_E009}" withline fi ;; -closevm) Logging "${MSG_I033}" withline CheckEnvironment && CloseVM RET=$? if [ ${RET} -eq 0 ] then Logging "${MSG_I034}" withline else Logging "${MSG_E021}" withline fi ;; -sync) Logging "${MSG_I007}" withline CheckEnvironment && SyncRecovery RET=$? if [ ${RET} -eq 0 ] then Logging "${MSG_I020}" withline else Logging "${MSG_E018}" withline fi ;; -recovery) Logging "${MSG_I037}" withline CheckEnvironment && RecoverInstance RET=$? if [ ${RET} -eq 0 ] then Logging "${MSG_I038}" withline else Logging "${MSG_E023}" withline fi ;; -openvm) Logging "${MSG_I035}" withline CheckEnvironment && OpenVM RET=$? if [ ${RET} -eq 0 ] then Logging "${MSG_I036}" withline else Logging "${MSG_E022}" withline fi ;; -cleanup) Logging "${MSG_I023}" withline CleanupRecovery RET=$? if [ ${RET} -eq 0 ] then Logging "${MSG_I024}" withline else Logging "${MSG_E019}" withline fi ;; -cancel) Logging "${MSG_I042}" withline CheckEnvironment && CancelRecovery RET=$? if [ ${RET} -eq 0 ] then Logging "${MSG_I043}" withline else Logging "${MSG_E024}" withline fi ;; *) Logging "${MSG_E001}" exit 1 ;; esac # # final # exit ${RET} postgresforest510beutil/recovery/pgha_recovery.conf0000644000000000000000000000222111340754172021643 0ustar rootroot# # Online recovery configuration for PostgreSQL HA # # $Id: pgha_recovery.conf 2968 2010-02-23 13:24:50Z takahatat $ # directory definition pg_dir="/home/postgres/pg831-lt" dbcluster_dir="/home/postgres/forestdata" archivexlog_dir="/home/postgres/pg_archive" # access definition pg_user="forest" pg_db="template1" pg_port="5432" src_pg_host="192.168.1.101" dst_pg_host="192.168.1.102" # server configuration # - size of archived wal file must be 16MByte archive_command="cp %p ${archivexlog_dir}/%f" restore_command="cp ${archivexlog_dir}/%f %p" # timeout definition # - max time[sec] for transaction(s) to idle idle_wait_timeout=20 archive_wait_timeout=10 # command for environment check env_check_command="true" # command for base recovery base_recovery_command="/usr/bin/scp -24qp -r ${dbcluster_dir} ${dst_pg_host}:${dbcluster_dir%/*}" # command for sync recovery sync_recovery_command="/usr/bin/scp -24qp -r ${archivexlog_dir} ${dst_pg_host}:${archivexlog_dir%/*}" # command for startup instance at recovery node instance_startup_command="/usr/bin/ssh -24q ${dst_pg_host} ${pg_dir}/bin/pg_ctl start -w -D ${dbcluster_dir} -l ${dbcluster_dir}/pgsql.log" postgresforest510beutil/recovery/pgha_recovery_rsync.conf0000644000000000000000000000250711340754172023070 0ustar rootroot# # Online recovery configuration for PostgreSQL HA # # $Id: pgha_recovery.conf 2843 2009-04-06 05:03:06Z takahatat $ # directory definition pg_dir="/home/postgres/pg831-lt" dbcluster_dir="/home/postgres/forestdata" archivexlog_dir="/home/postgres/pg_archive" # access definition pg_user="forest" pg_db="template1" pg_port="5432" src_pg_host="192.168.1.101" dst_pg_host="192.168.1.102" # server configuration # - size of archived wal file must be 16MByte archive_command="cp %p ${archivexlog_dir}/%f" restore_command="cp ${archivexlog_dir}/%f %p" # timeout definition # - max time[sec] for transaction(s) to idle idle_wait_timeout=20 archive_wait_timeout=10 # command for environment check env_check_command="${DIR}/recovery_util.sh -envcheck ${CONFIG}" # command for base recovery base_recovery_command="${DIR}/recovery_util.sh -base_rsync ${CONFIG}" # command for sync recovery sync_recovery_command="${DIR}/recovery_util.sh -sync_rsync ${CONFIG}" # command for startup instance at recovery node instance_startup_command="${DIR}/recovery_util.sh -recovery ${CONFIG}" # ssh non passphase check (added for recovery_util.sh) check_ssh=false # file transfer limit rate (byte/sec)(added for recovery_util.sh) transfer_limit_rate=3145728 # postgresql startup arguments (added for recovery_util.sh) pg_args="-l ${dbcluster_dir}/postgresql.log"postgresforest510beutil/recovery/pgha_recovery_scp.conf0000644000000000000000000000250311340754172022513 0ustar rootroot# # Online recovery configuration for PostgreSQL HA # # $Id: pgha_recovery.conf 2843 2009-04-06 05:03:06Z takahatat $ # directory definition pg_dir="/home/postgres/pg831-lt" dbcluster_dir="/home/postgres/forestdata" archivexlog_dir="/home/postgres/pg_archive" # access definition pg_user="forest" pg_db="template1" pg_port="5432" src_pg_host="192.168.1.101" dst_pg_host="192.168.1.102" # server configuration # - size of archived wal file must be 16MByte archive_command="cp %p ${archivexlog_dir}/%f" restore_command="cp ${archivexlog_dir}/%f %p" # timeout definition # - max time[sec] for transaction(s) to idle idle_wait_timeout=20 archive_wait_timeout=10 # command for environment check env_check_command="${DIR}/recovery_util.sh -envcheck ${CONFIG}" # command for base recovery base_recovery_command="${DIR}/recovery_util.sh -base_scp ${CONFIG}" # command for sync recovery sync_recovery_command="${DIR}/recovery_util.sh -sync_scp ${CONFIG}" # command for startup instance at recovery node instance_startup_command="${DIR}/recovery_util.sh -recovery ${CONFIG}" # ssh non passphase check (added for recovery_util.sh) check_ssh=false # file transfer limit rate (byte/sec)(added for recovery_util.sh) transfer_limit_rate=3145728 # postgresql startup arguments (added for recovery_util.sh) pg_args="-l ${dbcluster_dir}/postgresql.log"postgresforest510beutil/recovery/recovery_guide.html0000644000000000000000000014201011340754172022041 0ustar rootroot PostgresForest - オンラインリカバリツール

PostgresForest - オンラインリカバリツール

1   はじめに

1.1   対象読者

このドキュメントは、PostgresForestの接続対象となっているDBサーバの環境構築および運用を行う者を対象としています。 また、読者はRDBMS（PostgreSQL）の管理やOS（Linux）に関する一般的な知識を保持することを前提としています。

1.2   表記について

このマニュアルの本文およびコード例で使用されている表記規則について説明します。

1.2.1   本文の表記規則

本文では、特定の項目が一目でわかるように、次の表記規則を使用しています。

固定幅フォント

コマンド、パラメータ、プログラムコード、SQLキーワード、 ファイル名などのシステム要素や、 画面出力などの入出力を表現するもの全ては、 固定幅フォントを使用します。 プログラム要素には、 大文字と小文字を組み合せて使用するものもありますが、 この場合は記載されているとおりに入力してください。

イタリック

イタリック (斜体)は、実際の値と置き換えられるプレースホルダまたは変数を示します。

1.2.2   コマンドの表記規則

コマンドの書式については、以下の規則を使用します。

大括弧( [ および ] )

オプションである部分を示します。

中括弧 ( { および } ) と縦線 ( | )

いずれか1つを選択しなければならないことを意味します。

点々 ( ... )

前にある要素が繰り返されるという意味です。

分かりやすさのために、

  • シェルコマンドの前には 「 $ や # 」
  • psqlで実行するSQLコマンドの前には 「 データベース名 =# 」

などのプロンプトを付ける場合があります。

1.3   動作環境

1.3.1   対応プラットホーム

オンラインリカバリツールが正常に動作することを確認した構成を以下に示します。

OS RedHat Enterprise Linux 5 Update 1 (x86 32bit)
PostgreSQL 8.3.1 (./configure --prefix= PREFIX )
PostgresForest 5.1.0

2   オンラインリカバリツールの概要

PostgresForestにより冗長化された構成において、 ソフトウェアやハードウェアの障害により、DBサーバが縮退してAPサーバから切り離されることがあります。 縮退後、システムは1台のDBサーバのみで稼動しており、さらなる障害に備えて冗長された構成に復旧する必要があります。

このツールを用いることにより、 現在稼働中のDBサーバにできる限り影響を与えることなく、 縮退した原因を取り除いたサーバ（もしくは事前に準備されていたサーバ）を稼動状態に復旧することができます。

ただし、DBクラスタ内に複数のUDBが存在しており、 一部のUDBのみが縮退していたとしても、DBクラスタ全体が復旧対象となります。 そのため、このツールを利用する上では、 事前に縮退したDBサーバ上のインスタンスを手動で停止し、 縮退したDBサーバ上にある稼働中のUDBを縮退状態とする必要があります。

2.1   パッケージ構成

PGHARecovery.sh:
 オンラインリカバリツール本体
pgha_recovery.conf:
 scpによるオンラインリカバリ設定ファイルのサンプル（両系の postgresql.conf が同じ場合）
pgha_recovery_rsync.conf:
 rsyncによるオンラインリカバリ設定ファイルのサンプル（両系の postgresql.conf が異なる場合）
pgha_recovery_scp.conf:
 scpによるオンラインリカバリ設定ファイルのサンプル（両系の postgresql.conf が異なる場合）
recovery_util.sh:
 pgha_recovery_rsync.conf および pgha_recovery_scp.conf を利用する場合に必要となるサンプルスクリプト

2.2   説明上の構成例

以降の説明では、次の構成により構成されたDBサーバを元に説明します。

ホスト名 IPアドレス UDB1の状態 UDB2の状態
db_active 192.168.1.101 稼働中（1） 稼働中（1）
db_fault 192.168.1.102 縮退中（-1） 稼働中（1）

構成としては、db_activeとdb_faultの2ノードにより冗長化されたDBサーバが存在し、 各々2つのユーザDB（UDB1、UDB2）を保持しています。 しかし、PostgresForestがdb_faultのUDB1に対する処理を行う中で、 何らかの障害を検知して、db_fault上のUDB1を縮退状態となっている状態です。

3   実行環境の構築

3.1   前提条件

オンラインリカバリツールを動作させるための前提条件を以下に示します。

  • 稼働中および復旧対象のDBサーバの構成（ディレクトリ構成）が同じであること。
  • 稼働中のDBサーバのWALアーカイブが有効（ archive_mode が on ）であること。
  • 冗長構成のDBサーバに対して、相互にログイン可能（復旧対象から稼働中のDBサーバ、稼働中から復旧対象のDBサーバへ接続できる）なスーパーユーザが定義されていること。
  • 復旧対象のDBサーバにおいて、PostgreSQLがインストール済みであること。
  • 復旧対象のDBサーバにおいて、 initdb コマンドにより作成可能なDBクラスタが作成されていないこと。
  • PostgreSQL対話的ターミナル（ psql ファイル）が PREFIX /bin/psql に配置されていること。
  • 復旧コマンドファイルのサンプル（ recovery.conf.sample ファイル）が　*PREFIX* /share/recovery.conf.sample に存在し、デフォルトのままであること。
  • サーバ構成ファイル（ postgresql.conf ）が DBCLUSTERDIR /postgresql.conf に配置されていること。
  • PIDファイル（ postmaster.pid ）が DBCLUSTERDIR /postmaster.pid に配置されていること。
  • postmaster.pid ファイルがDBクラスタディレクトリ内に存在すること。
  • PostgreSQLの実行ユーザがログイン可能であり、ホームディレクトリが存在すること。
  • WALアーカイブモードでトランザクションログの保管をしている場合、保管後のログファイルのサイズが16MByteであること。（圧縮などによりファイルサイズの異なる保管方法をしていないこと）
  • 稼働中のDBサーバと復旧対象のDBサーバ間でファイル転送を行う手段をFTP、SCP、NFSなどにより確立されていること。
  • 稼働中のDBサーバから復旧対象のDBサーバ上のPostgreSQLインスタンスを起動する手段をTELNET、SSH、RSHなどにより確立されていること。
PREFIX
PostgreSQLのインストールディレクトリの絶対パスを示す。
DBCLUSTERDIR
DBクラスタが作成されたディレクトリの絶対パスを示す。

3.2   構築の手順

3.2.1   オンラインリカバリ構成ファイル（ pgha_recovery.conf ）の作成

pgha_recovery.conf.sample を元に、各種パラメータを環境に合わせて設定します。 すべての設定が完了したら、PostgreSQLインスタンスの起動ユーザが読み込み可能なファイルパスに配置します。

なお、

3.2.1.1   物理構成設定

pg_dir

PostgreSQLのインストールディレクトリを絶対パスで指定します。

設定例
pg_dir='/home/postgres/app/pgsql-8.3.1'
dbcluster_dir

DBクラスタを作成したディレクトリを絶対パスで指定します。

設定例
dbcluster_dir='/home/postgres/data/dbcluster-8.3.1'
archivexlog_dir

WALアーカイブ先となるディレクトリを絶対パスで指定します。 すでにWALアーカイブモードでトランザクションログの保管をしている場合は、 その保管先のディレクトリとなります。

設定例
archivexlog_dir='/home/postgres/data/dbcluster-8.3.1/pg_archive'

3.2.1.2   接続設定

pg_user

冗長構成の両DBサーバにログインするスーパーユーザを指定します。

設定例
pg_user='postgres'
pg_db

上記のスーパーユーザが接続する際に使用するデータベース名を指定します。 復旧対象のDBクラスタ内に存在する任意のデータベース名で十分であり、基本的に設定例から変更する必要はありません。

設定例
pg_db='template1'
pg_port

上記のスーパーユーザが接続する際に使用するポート番号を指定します。 復旧対象のDBクラスタを構成している postgresql.conf 内の接続設定 port の設定値と同値になります。

設定例
pg_port='5432'
src_pg_host

リストア元となるデータベースサーバのIPアドレスを指定します。 サーバが複数のIPアドレスを保持する場合は、管理情報データベースの作成時に指定したIPアドレスとしてください。

設定例
host_pg_from="192.168.1.101"
dst_pg_host

リストア先となるデータベースサーバのIPアドレスを指定します。 サーバが複数のIPアドレスを保持する場合は、管理情報データベースの作成時に指定したIPアドレスとしてください。

設定例
host_pg_dest="192.168.1.102"

3.2.1.3   DBサーバ構成設定

archive_command

オンラインリカバリ中に再設定されるWAL格納設定 archive_command を指定します。 すでにWALアーカイブモードでトランザクションログの保管をしている場合は、WAL格納設定 archive_command の設定値と同値となります。

設定例
archive_command='cp %p /home/postgres/data/dbcluster-8.3.1/pg_archive/%f'
restore_command

復旧対象のサーバに対して、オンラインリカバリ実行中に発生したトランザクションログを適用する際に使用する 保管済みセグメントを取り出すために実行するシェルコマンド restore_command を指定します。 （http://www.postgresql.jp/document/pg831doc/html/continuous-archiving.html#RECOVERY-CONFIG-SETTINGS）

設定例
restore_command='cp /home/postgres/data/dbcluster-8.3.1/pg_archive/%f %p'

3.2.1.4   待ち時間設定

idle_wait_timeout

全てのUDBの状態を待ち状態（0）とし、PostgresForestからの問い合わせを抑制した後、活動中のトランザクションが存在しなくなるまでの最大待ち時間[sec]を指定します。 正確には、UDBの状態更新した後、「PostgresForestの管理情報更新間隔の最大値 + この設定値」を超えても活動中のトランザクションが存在する場合、タイムアウトとなります。

設定例
idle_wait_timeout=60
archive_wait_timeout

オンラインリカバリ実行中に保管される最後のトランザクションログ（pg_stop_backup()実行後の保管されるトランザクションログ）が正常に格納されるまでの最大待ち時間[sec]を指定します。

設定例
archive_wait_timeout=60

3.2.1.5   ファイル転送設定

base_recovery_command

稼働中のDBサーバから復旧対象のDBサーバに対して、DBクラスタディレクトリを転送する際に使用するコマンドを指定します。 転送完了後にコマンドが終了する必要があり、コマンドの返り値は転送に成功した場合が0、それ以外の場合は0以外である必要があります。 一般的に、DBクラスタのファイルサイズに比例した時間が実行時間と考えられ、ベースリカバリフェーズの所用時間に影響します。

設定例
base_recovery_command='/usr/bin/scp -24Bq -r /home/postgres/data/dbcluster-8.3.1 postgres@db_fault:/home/postgres/data'
sync_recovery_command

稼働中のDBサーバから復旧対象のDBサーバに対して、保管されたトランザクションログを転送する際に使用するコマンドを指定します。 転送完了後にコマンドが終了する必要があり、コマンドの返り値は転送に成功した場合が0、それ以外の場合は0以外である必要があります。 一般的に、 DBクラスタのファイルサイズおよびDBの更新頻度に比例した時間が実行時間と考えられ、差分リカバリフェーズの所要時間に影響します。

設定例
sync_recovery_command='/usr/bin/scp -24Bq -r /home/postgres/data/dbcluster-8.3.1/pg_archive postgres@db_fault:/home/postgres/data/dbcluster-8.3.1'

3.2.1.6   復旧実行設定

instance_startup_command

稼働中のDBサーバから、復旧対象のPostgreSQLインスタンスを起動するコマンドを指定します。 起動完了後にコマンドが終了する必要があり、コマンドの返り値は起動に成功した場合が0、それ以外の場合は0以外である必要があります。

設定例
instance_startup_command='/usr/bin/ssh -24q postgres@db_fault /home/postgres/app/pgsql-8.3.1/bin/pg_ctl start -w -t 180 -D /home/postgres/data/dbcluster-8.3.1 -l /home/postgres/data/postmaster.log'

4   実行の流れ

オンラインリカバリツールのコマンドは稼働中のDBサーバにおいて、PostgreSQLインスタンスの起動ユーザで実行します。 前述の構成の場合、db_activeにて実行することになります。

4.1   パスワードファイル（ .pgpass ）の作成

稼働中および復旧対象のDBサーバにおけるPostgreSQL実行ユーザのホームディレクトリ内に .pgpass ファイル（http://www.postgresql.jp/document/pg831doc/html/libpq-pgpass.html）を作成します。 内容としては、``psql`` コマンドにより稼働中および復旧対象のDBサーバにログイン可能なスーパーユーザーを記載します。 ただし、UNIXドメインソケットによるアクセスも行いますので、localhostに対するパスワードも記述してください。

前述の構成における記載例を以下に示します。

localhost:5432:*:postgres:pw_postgres
192.168.1.101:5432:*:postgres:pw_postgres
192.168.1.102:5432:*:postgres:pw_postgres
運用時に .pgpass を利用されている場合
元の設定項目を保持したまま不足している項目を追記する必要があります。変更前の .pgpass ファイルをコピーしてバックアップしておくことをお勧めします。

4.2   復旧対象のPostgreSQLインスタンスに含まれるUDBの状態変更

稼働中の管理DBの状態を更新して、 すでに停止している復旧対象のPostgreSQLに含まれる UDB で稼働中のものが存在すれば、すべて縮退中とする。

前述の構成では db_fault サーバに含まれる UDB2 を縮退中に更新する。

4.3   一括実行

設定ファイルが妥当であることを確認後、以下のコマンドを実行します。 また、ベースリカバリフェーズから個別のフェーズを順次実行してもリカバリは可能です。

postgres $ ./PGHARecovery.sh -all pgha_recovery.confのファイルパス

以下のメッセージが表示されれば、正常に終了しています。 復旧対象のDBサーバで運用状態復旧フェーズを実行してください。

execute -cleanup for recovery node

4.4   フェーズごとの実行

4.4.1   ベースリカバリフェーズ

稼働中のDBサーバにPostgreSQLインスタンスの起動ユーザでログインし、以下のコマンドを実行します。

postgres $ ./PGHARecovery.sh -base pgha_recovery.confのファイルパス

以下のメッセージが表示されれば、正常に終了しています。

online recovery (base) successful

4.4.2   トランザクション閉塞フェーズ

稼働中のDBサーバにPostgreSQLインスタンスの起動ユーザでログインし、以下のコマンドを実行します。 APから発行されるトランザクションはJDBCドライバ内で待ち状態となり、 トランザクション開放フェーズが完了した後、トランザクションが再開されます。

postgres $ ./PGHARecovery.sh -closevm pgha_recovery.confのファイルパス

以下のメッセージが表示されれば、正常に終了しています。

online recovery (closevm) successful

4.4.3   差分リカバリフェーズ

稼働中のDBサーバにPostgreSQLインスタンスの起動ユーザでログインし、以下のコマンドを実行します。

postgres $ ./PGHARecovery.sh -sync pgha_recovery.confのファイルパス

以下のメッセージが表示されれば、正常に終了しています。

online recovery (sync) successful

4.4.4   復旧対象起動フェーズ

稼働中のDBサーバにPostgreSQLインスタンスの起動ユーザでログインし、以下のコマンドを実行します。

postgres $ ./PGHARecovery.sh -recovery pgha_recovery.confのファイルパス

以下のメッセージが表示されれば、正常に終了しています。

online recovery (recovery) successful

4.4.5   トランザクション開放フェーズ

稼働中のDBサーバにPostgreSQLインスタンスの起動ユーザでログインし、以下のコマンドを実行します。

postgres $ ./PGHARecovery.sh -openvm pgha_recovery.confのファイルパス

以下のメッセージが表示されれば、正常に終了しています。

online recovery (openvm) started

4.4.6   運用状態復旧フェーズ

稼働中および復旧対象のDBサーバにPostgreSQLインスタンスの起動ユーザでログインし、以下のコマンドを実行します。

postgres $ ./PGHARecovery.sh -cleanup pgha_recovery.confのファイルパス

以下のメッセージが表示されれば、正常に終了しています。

online recovery (cleanup) successful

4.5   パスワードファイル（ .pgpass ）の削除

セキュリティ上の問題が考えられるため、開始時に設置した .pgpass ファイルを削除します。

運用時に .pgpass を利用されている場合
追記した項目を削除して、変更前の .pgpass ファイルに戻します。

5   こんなときには

5.1   オンラインリカバリと中断したい場合

以下のコマンドを実行後、復旧対象のPostgreSQLインスタンスが起動している場合は停止してください。

postgres $ ./PGHARecovery.sh -cancel pgha_recovery.confのファイルパス

ただし、復旧対象のPostgreSQLインスタンスに含まれるUDBはすべて縮退状態となります。

5.2   エラーメッセージと対策方法

実行中に出力される可能性のあるエラーメッセージおよび対処方法について、記載します。

file not found

引数に指定したオンラインリカバリ構成ファイルパス上にファイルにアクセスできなかった場合に出力されます。

ツールの実行ユーザがアクセス可能なファイルパスにオンラインリカバリ構成ファイルを設置して、異常終了したフェーズを再実行してください。

発生する可能性のあるフェーズ
全フェーズ
online recovery (base) failed

ベースリカバリフェーズが正常終了しなかった場合に出力されます。

他の出力メッセージを元に障害箇所を特定し、障害に基づいた対処方法を実行してください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ
online recovery (closevm) failed

トランザクション閉塞フェーズが正常終了しなかった場合に出力されます。

他の出力メッセージを元に障害箇所を特定し、障害に基づいた対処方法を実行してください。

発生する可能性のあるフェーズ
トランザクション閉塞フェーズ
online recovery (sync) failed

何らかの原因により差分リカバリフェーズが正常終了しなかった場合に出力されます。

他の出力メッセージを元に障害箇所を特定し、障害に基づいた対処方法を実行してください。

発生する可能性のあるフェーズ
差分リカバリフェーズ
online recovery (recovery) failed

何らかの原因により復旧対象起動フェーズが正常終了しなかった場合に出力されます。

他の出力メッセージを元に障害箇所を特定し、障害に基づいた対処方法を実行してください。

発生する可能性のあるフェーズ
復旧対象起動フェーズ
online recovery (openvm) failed

何らかの原因によりトランザクション開放フェーズが正常終了しなかった場合に出力されます。

他の出力メッセージを元に障害箇所を特定し、障害に基づいた対処方法を実行してください。

発生する可能性のあるフェーズ
トランザクション開放フェーズ
online recovery (cleanup) failed

何らかの原因により運用状態復旧フェーズが正常終了しなかった場合に出力されます。

他の出力メッセージを元に障害箇所を特定し、障害に基づいた対処方法を実行してください。

発生する可能性のあるフェーズ
運用状態復旧フェーズ
failed to execute base_recovery_command

稼働中のDBサーバから復旧対象のDBサーバへのファイル転送コマンドが正常終了しなかった場合に出力されます。

base_recovery_command で指定されたコマンドが正常終了しなかった原因を取り除き、ベースリカバリフェーズを実行してください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ
failed to execute sync_recovery_command

稼働中のDBサーバから復旧対象のDBサーバへのファイル転送コマンドが正常終了しなかった場合に出力されます。

sync_recovery_command で指定されたコマンドが正常終了しなかった原因を取り除き、差分バックアップフェーズを実行してください。

発生する可能性のあるフェーズ
差分バックアップフェーズ
failed to execute instance_startup_command

稼働中のDBサーバで実行された復旧対象のPostgreSQLインスタンスを起動するコマンドが正常終了しなかった場合に出力されます。

instance_startup_command で指定されたコマンドが正常終了しなかった原因を取り除き、復旧対象起動フェーズを実行してください。

発生する可能性のあるフェーズ
復旧対象起動フェーズ
failed to execute pg_start_backup()

稼働中のDBサーバにおいて、ベースバックアップの開始が正常終了しなかった場合に出力されます。

WALアーカイブモードでトランザクションログの保管をしており、定期的にPostgreSQLのオンラインバックアップを実施している場合はその時間帯と重複していないかどうか、ご確認ください。 失敗した原因を取り除いた後、ベースリカバリフェーズを再実行してください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ
failed to execute pg_stop_backup()

稼働中のDBサーバにおいて、ベースバックアップの終了が正常終了しなかった場合に出力されます。

WALアーカイブモードでトランザクションログの保管をしており、定期的にPostgreSQLのオンラインバックアップを実施している場合はその時間帯と重複していないかどうか、ご確認ください。 失敗した原因を取り除いた後、差分バックアップフェーズを再実行してください。

発生する可能性のあるフェーズ
差分バックアップフェーズ
timeout. there is busy transaction(s)

idle_wait_timeout で設定された時間が経過したにも関わらず、活動中のトランザクションが存在する場合に出力されます。

その場合、統計情報コレクタの情報（ pg_stat_activity ビューなど）から活動中のトランザクションを特定する必要があります。 DBサーバに対する新たなトランザクションがJDBC側で待ち状態となっているため、活動が長時間続くことが想定される場合は、 差分バックアップフェーズ、トランザクション開放フェーズ、サーバ再設定フェーズ（稼動中のみ）の順で実行し、別の時間帯にオンラインリカバリツールを実行してください。 一方、短時間で活動中のトランザクションが終了する場合は再度トランザクション閉塞フェーズを実行してください。

発生する可能性のあるフェーズ
トランザクション閉塞フェーズ
timeout. wal file is not archived.

保管されるべきトランザクションログ（pg_stop_backup()実行後の保管されるトランザクションログ）が archive_wait_timeout で指定された時間内に生成されなかった場合に出力されます。

稼働中のDBサーバのディスク空き容量を確認し、``stop wal location`` メッセージにて出力されたファイルが archivexlog_dir ディレクトリ内に生成されていないかどうか、確認してください。 もし生成されていることを確認できたら、差分バックアップフェーズを再実行してください。

発生する可能性のあるフェーズ
差分リカバリフェーズ
failed to kill SIGHUP process

PostgreSQLインスタンスのサーバ構成を再設定できなかった場合に出力されます。

実行ユーザとPostgreSQLインスタンスの起動ユーザが一致しているかどうか、ご確認ください。 失敗した原因を取り除いた後、ベースリカバリフェーズを再実行してください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ、運用状態復旧フェーズ
failed to execute checkpoint

稼働中のDBサーバに対して、CHECKPOINTが実行できなかった場合に出力されます。

pgha_recovery.conf の設定項目 pg_user 、 pg_db 、 pg_port が適切であるかどうか、ご確認ください。 また、 .pgpass の設定が適切であるかどうかもご確認ください。 失敗した原因を取り除いた後、ベースリカバリフェーズを再実行してください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ
failed to copy file(s)

postgresql.conf を運用時設定への復旧に失敗した場合に出力されます。

ツールの実行ユーザとPostgreSQLインスタンスの起動ユーザが一致しているかどうか、ご確認ください。 失敗した原因を取り除いた後、運用状態復旧フェーズを再実行してください。

発生する可能性のあるフェーズ
運用状態復旧フェーズ
failed to remove file(s)

recovery.conf もしくは不要となったアーカイブWALファイルの削除に失敗した場合に出力されます。

ツールの実行ユーザとPostgreSQLインスタンスの起動ユーザが一致しているかどうか、ご確認ください。 失敗の原因が取り除かれたら、異常終了したフェーズを再実行してください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ、運用状態復旧フェーズ
failed to configure file(s)

postgresql.conf 、 recovery.conf の配置に失敗した場合に出力されます。

DBCLUSTERDIR /postgresql.conf.online が生成されているかどうか、 PREFIX /share/recovery.conf.sample が適切に配置されているかどうか、ご確認ください。 失敗した原因を取り除いた後、ベースリカバリフェーズを再実行してください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ
failed to get pghainfo database name (%_pghainfo)

管理DBの一覧取得に失敗した場合に出力されます。

pgha_recovery.conf の設定項目 pg_user 、 pg_db 、 pg_port が適切であるかどうか、ご確認ください。 また、 .pgpass の設定が適切であるかどうかもご確認ください。 失敗した原因を取り除いた後、異常終了したフェーズを再実行してください。

発生する可能性のあるフェーズ
トランザクション閉塞フェーズ、トランザクション開放フェーズ
failed to change server_info.udb_validity

管理DB内のUDB状態の変更に失敗した場合に出力されます。

pgha_recovery.conf の設定項目 pg_user 、 pg_db 、 pg_port が適切であるかどうか、ご確認ください。 また、 .pgpass の設定が適切であるかどうかもご確認ください。 失敗した原因を取り除いた後、異常終了したフェーズを再実行してください。

発生する可能性のあるフェーズ
トランザクション閉塞フェーズ、トランザクション開放フェーズ
failed to load serverinfo_read_duration

JDBCによる管理DBの読み込み間隔の取得に失敗した場合に出力されます。

pgha_recovery.conf の設定項目 pg_user 、 pg_db 、 pg_port が適切であるかどうか、ご確認ください。 また、 .pgpass の設定が適切であるかどうかもご確認ください。 失敗した原因を取り除いた後、トランザクション閉塞フェーズを再実行してください。

発生する可能性のあるフェーズ
トランザクション閉塞フェーズ
failed to execute env_check_command

予期せぬ環境で実行された場合に出力されます。

env_check_command で指定されたコマンドが正常終了しなかった原因を取り除き、異常終了したフェーズを再実行してください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ、トランザクション閉塞フェーズ、差分リカバリフェーズ、復旧対象起動フェーズ、トランザクション開放フェーズ
invalid file exist. (maybe forgot to execute this script with '-cleanup' or '-cancel' option)

何らかの原因により、不正なファイルが残っている場合に出力されます。

前回、正常に完了していない可能性があるため、どのフェーズまで処理が完了していたかご確認ください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ
invalid HA status. there are many master database instances.

複数のインスタンスが稼動しているUDBが存在する場合に出力されます。

本スクリプトを実行する上での前提条件をご確認ください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ、トランザクション閉塞フェーズ、差分リカバリフェーズ、復旧対象起動フェーズ、トランザクション開放フェーズ
invalid host. this database instance is not master.

実行しているサーバが稼働中でない場合に出力されます。

本スクリプトを実行する上での前提条件をご確認ください。

発生する可能性のあるフェーズ
ベースリカバリフェーズ、トランザクション閉塞フェーズ、差分リカバリフェーズ、復旧対象起動フェーズ、トランザクション開放フェーズ
postgresforest510beutil/recovery/recovery_util.sh0000644000000000000000000001400211340754172021366 0ustar rootroot#!/bin/bash # # Data transfer script for PostgreSQL HA # # # This script is designed for PostgreSQL HA # # # recovery_util_rsync.sh -base_[rsync|scp] | -sync_[rsync|scp] | -recovery | -envcheck configfile # # # 0 = OK, 1 = FATAL # # # # $Id$ PROG=`basename $0` DIR=$(cd $(dirname $0) && pwd)/$(basename "$FILE") USER=`/usr/bin/whoami` HOST=`hostname` ######################################## # Definition ######################################## # # messages # MSG_I001="rsync command finished" MSG_I002="scp command finished" MSG_E001="usage : ${PROG} -base | -sync | -recovery | -envcheck configfile" MSG_E002="failed to execute rsync command" MSG_E003="invalid user" MSG_E004="file not found" MSG_E005="failed to execute ssh without passphase" MSG_E006="failed to execute scp command" ######################################## # Function ######################################## function Logging() { MODE=$2 OPTS="" case ${MODE} in withline) EchoLine Logging "$1" EchoLine return 0 ;; noreturn) OPTS="-n" ;; *) ;; esac echo ${OPTS} "$1" /usr/bin/logger "${PROG} $1" } function EchoLine() { Logging "----------------------------------------" } ######################################## # SHELL ######################################## # # init # # check argument count if [ $# -ne 2 ] then Logging "${MSG_E001}" exit 1 fi # set argument PHASE=$1 CONFIG=$2 # check configuration file if [ ! -e ${CONFIG} ] then Logging "${MSG_E004} : ${CONFIG}" exit 1 fi # set configuration . ${CONFIG} if [ "${transfer_limit_rate}x" != "0x" ] then TRANSFER_LIMIT_RATE_KB=`expr ${transfer_limit_rate} / 1024` || exit 1 fi dbcluster_dirparent=`dirname ${dbcluster_dir}` archivexlog_dirparent=`dirname ${archivexlog_dir}` RET=9 case ${PHASE} in -base_init) if [ -e ${dbcluster_dir}/postgresql.conf ] then cp -pL ${dbcluster_dir}/postgresql.conf ${dbcluster_dirparent}/postgresql.conf.online || exit 1 fi if [ -e ${dbcluster_dir} ] then rm -rf ${dbcluster_dir} || exit 1 fi if [ -e ${archivexlog_dir} ] then rm -rf ${archivexlog_dir} || exit 1 fi ;; -base_rsync) /usr/bin/ssh -24q ${USER}@${dst_pg_host} ${DIR}/recovery_util.sh -base_init ${CONFIG} || exit 1 dbcluster_dirname=`basename ${dbcluster_dir}` rsync -arq --bwlimit=${TRANSFER_LIMIT_RATE_KB} --include="/${dbcluster_dirname}/pg_xlog/archive_status/" --exclude="/${dbcluster_dirname}/pg_xlog/archive_status/*" --exclude="/${dbcluster_dirname}/pg_xlog/*" --exclude="/${dbcluster_dirname}/postgresql.conf.online" ${dbcluster_dir} ${USER}@${dst_pg_host}:${dbcluster_dirparent} RET=$? Logging "${MSG_I001} (return code : ${RET})" case ${RET} in 0) # success ;; 23) # skip partial transfer due to error because of xlog files ;; 24) # skip partial transfer due to vanished source files because of sort work files ;; *) Logging "${MSG_E002}" exit 1 ;; esac ;; -base_scp) /usr/bin/ssh -24q ${USER}@${dst_pg_host} ${DIR}/recovery_util.sh -base_init ${CONFIG} || exit 1 /usr/bin/scp -24qp -r ${dbcluster_dir} ${USER}@${dst_pg_host}:${dbcluster_dir%/*} RET=$? Logging "${MSG_I002} (return code : ${RET})" case ${RET} in 0) # success ;; *) Logging "${MSG_E006}" exit 1 ;; esac ;; -sync_rsync) rsync -arq --bwlimit=${TRANSFER_LIMIT_RATE_KB} ${archivexlog_dir} ${USER}@${dst_pg_host}:${archivexlog_dirparent} RET=$? Logging "${MSG_I001} (return code : ${RET})" case ${RET} in 0) # success ;; 23) # skip partial transfer due to error because of archived xlog files ;; *) Logging "${MSG_E002}" exit 1 ;; esac ;; -sync_scp) /usr/bin/scp -24qp -r ${archivexlog_dir} ${USER}@${dst_pg_host}:${archivexlog_dir%/*} RET=$? Logging "${MSG_I002} (return code : ${RET})" case ${RET} in 0) # success ;; *) Logging "${MSG_E006}" exit 1 ;; esac ;; -recovery_remote) cp -p ${dbcluster_dirparent}/postgresql.conf.online ${dbcluster_dir}/postgresql.conf || exit 1 rm ${dbcluster_dirparent}/postgresql.conf.online || exit 1 if [ -e ${dbcluster_dir}/postgresql.conf.online ] then rm ${dbcluster_dir}/postgresql.conf.online fi ${pg_dir}/bin/pg_ctl start -w -D ${dbcluster_dir} ${pg_args} || exit 1 if [ "${archivexlog_dir}/" != "/" ] then rm -f ${archivexlog_dir}/* || exit 1 fi ;; -recovery) /usr/bin/ssh -24q ${USER}@${dst_pg_host} ${DIR}/recovery_util.sh -recovery_remote ${CONFIG} || exit 1 ;; -envcheck) # check exec user if [ ! -O ${dbcluster_dir} ] then Logging "${MSG_E003} (${USER})" exit 1 fi # check ssh key setting if [ "x${check_ssh}" == "xtrue" ] then /usr/bin/ssh -24q -o "BatchMode yes" ${USER}@${dst_pg_host} true if [ $? -ne 0 ] then Logging "${MSG_E005} (${USER}@${dst_pg_host})" exit 1 fi fi ;; *) Logging "${MSG_E001}" exit 1 ;; esac exit 0