PostgreSQL pg_ctl start超时分析

138次阅读

共计 5126 个字符，预计需要花费 13 分钟才能阅读完成。

一、问题
pg_ctl start 启动时报错退出：pg_ctl：server did not start in time。超时时间是多少？从什么时候到哪个阶段算超时？

二、分析：该信息打印位置，从后面代码段 do_start 函数中可以看出
1、pg_ctl start 调用 start_postmaster 启动 PG 的主进程后，每隔 0.1ms 检查一次 postmaster.pid 文件，是否已写入 ready/standby
2、总共会检查 600 次，即从启动主进程后，最多等待 60s，如果没有写入 ready/standby 则打印上述日志并退出
3、默认等待时间是 60s，如果 pg_ctl start - t 指定等待时间，则等待时间为该指定时间

三、什么时候 postmaster.pid 文件写入 ready/standby
1、如果是主机不管有没有设置 hot standby
1）当 startup 进程恢复完成退出时，调用 proc_exit 函数向主进程发送 SIGCHLD 信号并退出
2）主进程接收到信号后，signal 处理函数 reaper 调用 AddToDataDirLockFile 向 postmaster.pid 文件写入 ready
2、如果是备机即 data 目录下有 recovery.cnf 文件，且设置了 hot standby，在实际恢复前没有到达一致性位置
1）startup 进程向主进程发送 PMSIGNAL_RECOVERY_STARTED 信号，主进程调用信号处理函数 sigusr1_handler，将 pmState=PM_RECOVERY
2）每次读取下一个 xlog 前都会调用 CheckRecoveryConsistency 函数进行一致性检查：
2.1 进入一致性状态，starup 进程向主进程发送 PMSIGNAL_BEGIN_HOT_STANDBY 信号，主进程接收到信号后调用 sigusr1_handler->AddToDataDirLockFile 向 postmaster.pid 文件写入 ready
3、如果是备机即 data 目录下有 recovery.cnf 文件，且设置了 hot standby，在实际恢复前没有到达一致性位置
1）startup 进程向主进程发送 PMSIGNAL_RECOVERY_STARTED 信号，主进程调用信号处理函数 sigusr1_handler，将 pmState=PM_RECOVERY
2）每次读取下一个 xlog 前都会调用 CheckRecoveryConsistency 函数进行一致性检查。如果没有进入一致性状态
3）本地日志恢复完成，切换日志源时同样调用 CheckRecoveryConsistency 函数进行一致性检查
3.1 进入一致性状态，starup 进程向主进程发送 PMSIGNAL_BEGIN_HOT_STANDBY 信号，主进程接收到信号后调用 sigusr1_handler->AddToDataDirLockFile 向 postmaster.pid 文件写入 ready
4、如果是备机即 data 目录下有 recovery.cnf 文件，且设置了 hot standby，在实际恢复前到达一致性位置
1）startup 进程向主进程发送 PMSIGNAL_RECOVERY_STARTED 信号，主进程调用信号处理函数 sigusr1_handler，将 pmState=PM_RECOVERY
2）CheckRecoveryConsistency 函数进行一致性检查，向主进程发送 PMSIGNAL_BEGIN_HOT_STANDBY 信号，主进程接收到信号后调用 sigusr1_handler->AddToDataDirLockFile 向 postmaster.pid 文件写入 ready
5、如果是备机即 data 目录下有 recovery.cnf 文件，没有设置 hot standby
1）startup 进程向主进程发送 PMSIGNAL_RECOVERY_STARTED 信号
2）主进程接收到信号后，向 postmaster. 将 pmState=PM_RECOVERY

四、代码分析
1、pg_ctl start 流程

do_start->
pm_pid = start_postmaster();
if (do_wait){
print_msg(_(“waiting for server to start…”));
switch (wait_for_postmaster(pm_pid, false)){
case POSTMASTER_READY:
print_msg(_(” done\n”));
print_msg(_(“server started\n”));
break;
case POSTMASTER_STILL_STARTING:
print_msg(_(” stopped waiting\n”));
write_stderr(_(“%s: server did not start in time\n”), progname);
exit(1);
break;
case POSTMASTER_FAILED:
print_msg(_(” stopped waiting\n”));
write_stderr(_(“%s: could not start server\n” “Examine the log output.\n”), progname);
exit(1);
break;
}
}else
print_msg(_(“server starting\n”));

wait_for_postmaster->
for (i = 0; i < wait_seconds * WAITS_PER_SEC; i++){
if ((optlines = readfile(pid_file, &numlines)) != NULL && numlines >= LOCK_FILE_LINE_PM_STATUS){
pmpid = atol(optlines[LOCK_FILE_LINE_PID – 1]);
pmstart = atol(optlines[LOCK_FILE_LINE_START_TIME – 1]);
if (pmstart >= start_time – 2 && pmpid == pm_pid){
char *pmstatus = optlines[LOCK_FILE_LINE_PM_STATUS – 1];
if (strcmp(pmstatus, PM_STATUS_READY) == 0 || strcmp(pmstatus, PM_STATUS_STANDBY) == 0){
/* postmaster is done starting up */
free_readfile(optlines);
return POSTMASTER_READY;
}
}
}
free_readfile(optlines);
if (waitpid((pid_t) pm_pid, &exitstatus, WNOHANG) == (pid_t) pm_pid)
return POSTMASTER_FAILED;
pg_usleep(USEC_PER_SEC / WAITS_PER_SEC);
}
/* out of patience; report that postmaster is still starting up */
return POSTMASTER_STILL_STARTING;

2、server 主进程及信号处理函数

PostmasterMain->
pqsignal_no_restart(SIGUSR1, sigusr1_handler); /* message from child process */
pqsignal_no_restart(SIGCHLD, reaper); /* handle child termination */
…
StartupXLOG();
…
proc_exit(0);//exit 函数向主进程发送 SIGCHLD 信号

reaper->// 进程终止或者停止的信号
AddToDataDirLockFile(LOCK_FILE_LINE_PM_STATUS, PM_STATUS_READY);

postmaster 进程接收信号：
sigusr1_handler->
if (CheckPostmasterSignal(PMSIGNAL_RECOVERY_STARTED) &&
pmState == PM_STARTUP && Shutdown == NoShutdown){
CheckpointerPID = StartCheckpointer();
BgWriterPID = StartBackgroundWriter();
if (XLogArchivingAlways())
PgArchPID = pgarch_start();
//hot_standby 在 postgresql.conf 文件中配置 TRUE
// 表示在恢复的时候允许连接
if (!EnableHotStandby){
// 将 standby 写入 postmaster.pid 文件，表示 up 但不允许连接
AddToDataDirLockFile(LOCK_FILE_LINE_PM_STATUS, PM_STATUS_STANDBY);
}
pmState = PM_RECOVERY;
}
if (CheckPostmasterSignal(PMSIGNAL_BEGIN_HOT_STANDBY) &&
pmState == PM_RECOVERY && Shutdown == NoShutdown){
PgStatPID = pgstat_start();
// 将 ready 写入 postmaster.pid 文件，允许连接
AddToDataDirLockFile(LOCK_FILE_LINE_PM_STATUS, PM_STATUS_READY);
pmState = PM_HOT_STANDBY;
}
…

3、Startup 进程

StartupXLOG->
ReadCheckpointRecord
if (ArchiveRecoveryRequested && IsUnderPostmaster){// 有 recovery.conf 文件则 ArchiveRecoveryRequested 为 TRUE
// 有 recovery.conf 文件则 ArchiveRecoveryRequested 为 TRUE
PublishStartupProcessInformation();
SetForwardFsyncRequests();
// 向 master 进程发送 PMSIGNAL_RECOVERY_STARTED 信号
SendPostmasterSignal(PMSIGNAL_RECOVERY_STARTED);
bgwriterLaunched = true;
}
CheckRecoveryConsistency();–>…
|– if (standbyState == STANDBY_SNAPSHOT_READY && !LocalHotStandbyActive &&
| reachedConsistency && IsUnderPostmaster){
| SpinLockAcquire(&XLogCtl->info_lck);
| XLogCtl->SharedHotStandbyActive = true;
| SpinLockRelease(&XLogCtl->info_lck);
| LocalHotStandbyActive = true;
| SendPostmasterSignal(PMSIGNAL_BEGIN_HOT_STANDBY);
|– }
…
回放一个 record 后，每次读取下一个 record 前都会调用 CheckRecoveryConsistency