深入 · 一次请求的完整旅程

先说清楚一件事：TCP 握手不传业务数据。它只解决一个问题——确认「我在」，顺便约定「我们以后用哪套规则说话」。

为什么必须三次，两次不行吗

行不通，两次会留下一个致命漏洞：历史连接的垃圾包会被当成新连接。

举个真实场景：你 3 分钟前打开过网站，连接断了，路上留了一个包卡在网络里。3 分钟后你重新打开，这个迟到的旧包正好 arrive在新连接建立的那一刻。

TCP 连接建好了，现在是一条明文的管道——路上任何人抓包都看得见你请求的 URL 和 Cookie。TLS 的任务就是在这条管道里装一把只有你和服务器有钥匙的锁。

大白话类比：共同商定一把钥匙

那证书是干什么的

上面这套流程有个致命漏洞：如果我伪造一个服务器，把自己的公钥发给你，你加密后我用自己的私钥解开——你完全没察觉，数据全在我手里。

证书就是来解决这个漏洞的。证书里写着「这把公钥确实属于 memberhandbook.cn 这个域名」，并且由一个你信任的机构（CA，证书颁发机构）签了名。浏览器内置了一堆公认 CA 的公钥，只要签名对得上，就说明这把钥匙没被掉包。

自签证书为什么浏览器一定报警

用openssl 自己签的证书，签名人是你自己，不是任何浏览器信任的 CA。浏览器会想：「任何人都能给自己签一张证书，我凭什么信？」——这就是「不受信任的证书 / NET::ERR_CERT_AUTHORITY_INVALID」。

HTTP 的朴素之处在于：它就是一大段纯文本，没有二进制协议那么难读。请求和响应都是「一堆行 + 一个空行 + 正文」。

一次真实形状的请求

GET /fde/kb/14-request-deep.html HTTP/1.1
Host: memberhandbook.cn
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X)
Accept: text/html,application/xhtml+xml
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Cache-Control: max-age=0
<空行>
（GET 请求没有正文，这个空行之后什么都没有）

第 1 行是请求行，三段：方法 + 路径 + 协议版本。GET 是「我要东西」，POST 是「我给你东西」。

空行之后是请求头，每行一个 名字: 值。请求头是「补充信息」：我要什么格式、有没有身份、有没有缓存。

一次真实形状的响应

HTTP/1.1 200 OK
Server: nginx
Content-Type: text/html; charset=utf-8
Content-Length: 18432
Cache-Control: no-cache
Last-Modified: Thu, 02 Oct 2026 03:20:11 GMT
ETag: "66b1f0a2-4810"
<空行>
<!doctype html>
<html lang="zh-CN">
<head><title>深入 · 一次请求的完整旅程 ...</title></head>
...
</html>

第 1 行是状态行：版本 + 状态码 + 一句人类可读的原因短语（OK/Not Found/Moved Permanently）。程序只看状态码，那句短语是给人看的。

五个必须认识的头

301 和 302 到底差在哪

为什么规范域名（canonical）必须 301

你主站的真实问题：www.memberhandbook.cn 和 memberhandbook.cn 都能打开同一批页面。这在 SEO 里叫「重复内容 + 权重分散」——搜索引擎不知道该把排名给谁，两边都排不上。

server {
    listen 80;
    server_name www.memberhandbook.cn;
    # 规范域名：永久搬家，浏览器和搜索引擎都会记住
    return 301 https://memberhandbook.cn$request_uri;
}
# 反过来，非 www 那边所有请求都 301 过去 → 整个站只有一个「官方地址」

nginx 是门卫。一个请求进来，它按固定的优先级决定：读磁盘上的文件？还是转给 Node 进程？还是给404？

请求进来
  │
  ├─ ① 精确匹配location = /某个路径
  │     └─ 优先级最高，一旦命中就结束，别的规则再看
  │        （你给 /video/polish_r2v_prompt 单独开的就是这个）
  │
  ├─ ② 前缀匹配 location ^~ /前缀/
  │     ├─ 命中且带 ^~ → 立刻生效，不再往下匹配正则
  │     │   ⚠️ 好处：不会被后面的正则location 抢走
  │     │   ⚠️ 代价：同前缀的后端 API 也会被它吃掉
  │     │   （你踩过：POST /video/polish_prompt 被改写成 /files/video/polish_prompt → 静态目录只收 GET → 405）
  │     └─ 命中但不带 ^~ → 记下这个候选，继续试正则 location
  │
  ├─ ③ 正则匹配 location ~ /某个正则/
  │     └─ 命中就用它。nginx 按配置里出现的先后顺序试，
  │        第一个匹配的就赢（不是最长匹配）
  │
  ├─ ④ 普通前缀 location /前缀/（不带 ^~ 不带 ~）
  │     └─ 前面正则都没赢，才用这个（最长前缀优先）
  │
  └─ ⑤ 都没有 → 走 server 层的兜底
        │
        ├─ try_files $uri $uri/ /index.html
        │    ① $uri   当文件找  ──有就返回
        │    ② $uri/   当目录找，找里面index.html ──有就返回
        │    ③ /index.html ──都没有就返回它（SPA 兜底）
        │
        ├─ 都没有 → 404
        └─ 你也可以在最后写 return 200 /index.html 强制兜底

配置片段 A：静态目录（你项目 /fde/ 就是这一种）

location /fde/ {
    alias /www/wwwroot/memberhandbook.cn/fde/;
    # 关键：静态文件必须能被爬虫直接读到完整 HTML
    try_files $uri $uri/ =404;
    # ⚠️ 这里刻意不写 /index.html 兜底
    #因为 /fde/ 是真静态站，兜底会把「写错的路径」也返回 200，
    # 让 404 变成永远发现不了的假象
}

为什么这里不兜底：SPA 主站需要兜底（因为磁盘上真的没有 /bt/ 这类文件），但纯静态站不需要。写错 URL 就该给 404，这是给搜索引擎的诚实信号。

配置片段 B：反代到 Node（你 LumenX / H9 就是这一种）

location / {
    proxy_pass http://127.0.0.1:17177;
    # 反代五件套，少一个都会出诡异问题
    proxy_set_header Host              $host;
    proxy_set_header X-Real-IP         $remote_addr;
    proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_read_timeout 3600s;   # AI 生成要等很久，超时必须放大
}

DNS 就是电话簿：把域名翻译成 IP。你只需要认识一种记录——A。

# 绕过 DNS 直测某个 IP（区分是 DNS 问题还是服务器问题）
curl -I --resolve memberhandbook.cn:443:124.222.108.196 \
     https://memberhandbook.cn/fde/
#   ↑ --resolve 意思是「这次别查 DNS，直接用这个 IP，但域名的 Host 头照旧」

线上出问题后，人工点开看不算验证。你看到的浏览器页面经过了缓存、重定向、JS 渲染多层加工。验证要程序化：看状态码 + 看字节数 + 看内容采样。

① 看状态码和响应头

curl -I https://memberhandbook.cn/fde/
# 输出举例：
# HTTP/2 200
# server: nginx
# content-type: text/html; charset=utf-8
# last-modified: Thu, 02 Oct 2026 03:20:11 GMT
# -I 只取响应头，不下载正文，快

② 模拟真实浏览器的 User-Agent

curl -A "Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X)\
 AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1" \
      -I https://memberhandbook.cn/tool/abandoned
# ⚠️ 不加 -A 就是 curl 默认 UA，会拿到和真实浏览器不同的结果

③ 只取「状态码:字节数」

curl -s -o /dev/null -w "%{http_code}:%{size_download}\n" https://memberhandbook.cn/tool/abandoned
# 期望输出： 200:18432   （正常，有真实内容）
# 如果输出： 200:3120    ←这就是你主站那个空壳！字节数一下就暴露了

# 连类型一起看：
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://memberhandbook.cn/tool/abandoned
# 期望： 200 text/html

④ 对比不同 UA 的字节差异（判断爬虫有没有被区别对待）

# 同一 URL 换三种 UA 各测一次，把字节数并排比
for UA in "curl/8.0" "Mozilla/5.0 (compatible; DeepSeekBot/1.0)" "Mozilla/5.0 (compatible; Bytespider)"; do
  N=$(curl -s -A "$UA" -o /dev/null -w "%{http_code}:%{size_download}" https://memberhandbook.cn/tool/abandoned)
  echo "$UA  ->  $N"
done
# 判读：
#   三个字节数一样 → HTTP 层没拦爬虫，问题在页面是 JS 空壳
#   爬虫 UA 字节数明显小 → 服务器在按 UA 做区别返回，要去查 vhost
#   爬虫 UA 状态码非 200 → 才是真的被拦

⑤ 顺手验证多 vhost 和跳转链

# 看完整的跳转链（-L 跟随，-v 看每次请求的头）
curl -IL http://www.memberhandbook.cn/fde/
# 期望： 301 → https://memberhandbook.cn/fde/ → 200
# 如果看到 302，或者干脆 200（www 也直接出内容）→ 规范域名没做对

# 服务器本机直测必须带 Host，否则落到默认站点误判 404
curl -H 'Host: lumenx.memberhandbook.cn' -I http://127.0.0.1/projects/

200 只说明「服务器愿意给你一个响应」，不代表那个响应里有你要的东西。你 LumenX 整站挂着 Basic Auth，页面返回 200，但浏览器给你弹的是登录框——爬虫拿到的是登录页，不是正文。所以必须加一条：同时验证字节数和内容采样。

# 内容采样：确认拿到的确实是正文，不是登录页/错误页
curl -s https://memberhandbook.cn/tool/abandoned | grep -o '<title>[^<]*</title>'
# 如果输出是站点名（而不是这个工具页自己的标题）→ 就是空壳，需要预渲染

临时跳转用了 301，浏览器把跳转永久缓存了，你想改回来发现改不动——因为客户端已经不请求你了。规范域名、域名迁移用 301；登录后跳回、灰度切换、A/B 分流用 302 或 307。

拿 curl 默认 UA 去测，测的是「curl 看到什么」，不是「爬虫看到什么」。结论会错，方向会错，排查会白跑一轮。验证爬虫行为时，UA 必须换成对应爬虫的真名；验证用户行为时，用真实浏览器 UA。

你改完 HTML 刷新，页面还是老的。可能是浏览器缓存、CDN 缓存、或 Cache-Control 设成了长缓存。排查第一步永远是绕缓存验证：curl 直连（curl 不读浏览器缓存），确认服务器上新内容确实存在；如果 curl 能看到新的、浏览器看不到，那就是缓存问题，不是部署没成功。

• ✓我能说清TCP 三次握手每一次在确认什么，以及为什么两次会收下历史垃圾包
• ✓我能用「共同商定一把钥匙」解释 TLS，并说清证书存在的理由是防冒充
• ✓我知道自签证书为什么报警，也知道宝塔签发的证书要 cp 到宝塔路径才生效
• ✓我能写出一个完整 HTTP 请求和响应，并解释 Host / User-Agent / Authorization / Content-Type / Cache-Control 各自管什么
• ✓我知道 301 会被浏览器缓存、302 不会，也知道规范域名只能用 301
• ✓我能画出 nginx 决策树，说清 = > ^~ > 正则 > 普通前缀的优先级
• ✓我知道 ^~ 抢API 会导致405，并会用 location = 修
• ✓我能用 curl -s -o /dev/null -w "%{http_code}:%{size_download}" 一眼看出 SPA 空壳
• ✓我知道 200 不等于对，要同时验字节数和内容采样
• ✓我能解释「上线后别人打不开我自己能开」是各级 DNS 缓存造成的