如何使用 Envoy 实现 HTTP/2 CONNECT 隧道：解析 Istio Ambient 模式的 HBONE

在 Istio Ambient 模式中，HTTP/2 CONNECT 隧道是实现 HBONE（基于 HTTP 的覆盖网络环境）的关键机制。通过移除 Sidecar，这种模式显著简化了服务网格的部署和管理，同时依靠代理支持透明流量传输。本篇博客将展示如何使用两个 Envoy 实例搭建 HTTP/2 CONNECT 隧道，并深入解析其工作原理。

这个示例来源于 Envoy 官方文档中关于 Tunneling TCP over HTTP 的说明与示例。通过该示例，两个 Envoy 代理被用于模拟 HBONE 隧道的核心操作过程，其中：

客户端：发送诸如 https://www.baidu.com 的 curl 请求。
Envoy1：封装请求。
Envoy2：解封装请求并转发到上游服务器。
上游服务器：目标服务器，例如 www.baidu.com。

架构图如下：

通过两个 Envoy 建立 HBONE 隧道，不仅是对其技术原理的验证，还具有重要的实际用途。本文的示例旨在：

展示透明代理与流量拦截：无需修改应用程序，Envoy 能透明地代理和转发流量，适用于现有应用场景。
确保数据安全与加密传输：隧道内使用 TLS 加密，确保数据在不受信任的网络中传输时的安全性。
优化高效流量管理：借助 HTTP/2 的多路复用特性，大幅提高数据传输效率。
提供实验环境验证服务网格功能：通过该设置，开发者可以在可控环境中测试和调试服务网格中的通信行为。

这些功能让该示例不仅服务于理论研究，还为实际生产部署提供指导。

为什么选择两个 Envoy 的架构？

在上一篇博客中，我着重介绍了 Envoy 与上游服务器建立 HTTP/2 CONNECT 隧道的基本原理，但示例中通过自定义支持 CONNECT 的服务器简化了实际场景。为了更真实地模拟 HBONE 的运行原理，我们选择了两个 Envoy 的架构。这种设置具有以下优势：

1. 更贴近真实网络场景

在实际应用中，客户端通常通过本地或企业代理（第一个 Envoy）访问外部网络，而这些代理通过边界代理（第二个 Envoy）与目标服务器通信。
两个 Envoy 的设置模拟了这种代理链的结构，清晰展示了隧道的作用和数据流向。

2. 清晰体现隧道的建立过程

第一个 Envoy（封装端）接收客户端流量，将其封装为 HTTP/2 CONNECT 请求。
第二个 Envoy（解封装端）接收 CONNECT 请求，解封装后将原始数据转发到上游服务器。
隧道建立的起点和终点分离，逻辑更清晰。

3. 支持多客户端和多路复用

多个客户端可通过第一个 Envoy 发起请求，所有请求通过共享的 HTTP/2 隧道到达第二个 Envoy，再解封装后转发到目标服务器。
展示了 HTTP/2 的多路复用能力，提高了通信效率。

4. 灵活演示 HTTP 升级和 CONNECT 功能

可以分别演示以下场景：
- HTTP/1.1 升级到 HTTP/2。
- 使用 HTTP/2 CONNECT 创建隧道。
- 隧道内传递 HTTP 流量的过程。

5. 验证 TLS 和安全性

两个 Envoy 之间的通信使用 TLS，确保隧道中的数据加密传输。
Envoy 与客户端及上游服务器之间的 TLS 配置可独立验证其安全管理能力。

两个 Envoy 之间如何建立隧道？

下图展示了两个 Envoy 之间通过 HTTP/2 CONNECT 建立隧道的过程。

下面是详细步骤说明：

客户端连接到第一个 Envoy（封装端）：
- 客户端发送 TCP 或 HTTP 流量到 Envoy1。
- Envoy1 配置了一个监听器，用于接收客户端的流量并将其转发到指定的上游。
封装流量为 HTTP/2 CONNECT 请求：
- Envoy1 将接收到的流量通过 tunneling_config 配置，封装为 HTTP/2 CONNECT 请求。
- CONNECT 请求的目标地址和端口信息嵌入到请求头部。
- 通过 TLS 加密，确保传输过程中的数据安全。
发送 CONNECT 请求到第二个 Envoy（解封装端）：
- Envoy1 通过其 cluster 配置，将封装后的 CONNECT 请求发送到 Envoy2。
- HTTP/2 协议的多路复用能力使多个客户端的流量可以复用同一个隧道连接。
第二个 Envoy 解封装 CONNECT 请求：
- Envoy2 接收到 CONNECT 请求后，验证 TLS 连接的完整性和有效性。
- 解封装 CONNECT 请求，从数据流中提取原始 TCP 数据包。
转发解封装后的数据到目标服务器：
- Envoy2 通过其 route 和 cluster 配置，将解封装后的数据发送到上游服务器。
- 这一过程对客户端和目标服务器透明，无需它们感知中间代理的存在。

两个 Envoy 实现了从客户端到目标服务器之间的透明通信，同时保持了数据传输的安全性和高效性。

实现步骤

这种设置的具体示例可以在 Envoy 示例配置目录中找到。

准备环境

在开始之前，请确保你的环境满足以下要求：

# 检查 Envoy 版本
envoy --version

# 创建工作目录
mkdir envoy-tunnel-demo
cd envoy-tunnel-demo

建议使用 Envoy v1.28+ 版本以确保所有功能正常工作。

Envoy 1（封装端）配置

示例文件： encapsulate_in_http2_connect.yaml

Envoy 1 接收客户端的 TCP 或 HTTP 流量，并将其封装为 HTTP/2 CONNECT 请求发送到 Envoy 2：

⚙️ Envoy 1 配置示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
admin:
  address:
    socket_address:
      protocol: TCP
      address: 127.0.0.1
      port_value: 9903  # Envoy 的管理界面监听地址和端口，可用于监控和调试

static_resources:
  listeners:
  - name: listener_0  # 定义了第一个监听器，用于接收客户端的流量
    address:
      socket_address:
        protocol: TCP
        address: 127.0.0.1
        port_value: 10000  # 客户端将流量发送到此端口
    filter_chains:
    - filters:
      - name: tcp  # 使用 TCP 代理过滤器
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.tcp_proxy.v3.TcpProxy
          stat_prefix: tcp_stats  # 统计信息的前缀，用于监控此过滤器
          cluster: "cluster_0"  # 将接收到的流量转发到 cluster_0
          tunneling_config:
            hostname: host.com:443  # 使用 HTTP/2 CONNECT 隧道封装数据，目标为 host.com 的 443 端口
            headers_to_add:
            - header:
                key: original_dst_port  # 添加一个自定义头，标记原始目标端口
                value: "%DOWNSTREAM_LOCAL_PORT%"  # 动态插入客户端连接到的本地端口

  clusters:
  - name: cluster_0  # 定义了目标集群，Envoy 会将流量转发到这个集群
    connect_timeout: 5s  # 与集群建立连接的超时时间
    # 确保使用 HTTP/2 CONNECT 隧道
    typed_extension_protocol_options:
      envoy.extensions.upstreams.http.v3.HttpProtocolOptions:
        "@type": type.googleapis.com/envoy.extensions.upstreams.http.v3.HttpProtocolOptions
        explicit_http_config:
          http2_protocol_options: {}  # 明确指定使用 HTTP/2 协议
    load_assignment:
      cluster_name: cluster_0
      endpoints:
      - lb_endpoints:
        - endpoint:
            address:
              socket_address:
                address: 127.0.0.1  # 目标为 Envoy2 的地址
                port_value: 10001  # Envoy2 的监听端口

配置关键点解析：

监听器配置：在 :10000 端口监听客户端连接
隧道配置：tunneling_config 指定如何封装流量
TLS 配置：使用自签名证书进行安全传输
上游集群：指向第二个 Envoy 实例（:20000 端口）

说明：hostname 配置成什么值都无关紧要，因为它仅用于 HTTP/2 CONNECT 请求的 :authority 头，作为协议的标识字段，不会影响隧道内透明传输的数据，也不会对实际的流量处理产生作用，除非下游对该字段进行验证。

运行 Envoy 1：

envoy -c encapsulate_in_http2_connect.yaml

Envoy 2（解封装端）配置

示例文件： terminate_http2_connect.yaml

Envoy 2 接收来自 Envoy 1 的 HTTP/2 CONNECT 流量，解封装并将原始数据转发到上游服务器：

⚙️ Envoy 2 配置示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
admin:
  address:
    socket_address:
      protocol: TCP
      address: 127.0.0.1
      port_value: 9902 # 管理接口监听地址和端口，用于监控和调试 Envoy 实例

static_resources:
  listeners:
  - name: listener_0 # 定义了第一个监听器，用于接收来自 Envoy1 的流量
    address:
      socket_address:
        protocol: TCP
        address: 127.0.0.1
        port_value: 10001 # 监听端口，Envoy1 会将 CONNECT 请求发送到此端口
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: ingress_http
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains:
              - "*" # 匹配所有域名的流量
              routes:
              - match:
                  connect_matcher: {} # 匹配所有 HTTP/2 CONNECT 请求
                route:
                  cluster: service_google # 将流量路由到 service_google 集群
                  upgrade_configs:
                  - upgrade_type: CONNECT
                    connect_config: {} # 支持 HTTP/2 CONNECT 升级
          http_filters:
          - name: envoy.filters.http.router
            typed_config:
              "@type": type.googleapis.com/envoy.extensions.filters.http.router.v3.Router
          http2_protocol_options:
            allow_connect: true # 启用 HTTP/2 CONNECT 方法支持
          upgrade_configs:
          - upgrade_type: CONNECT # 配置支持 HTTP/2 的 CONNECT 方法

  clusters:
  - name: service_google
    connect_timeout: 0.25s
    type: LOGICAL_DNS
    dns_lookup_family: V4_ONLY
    lb_policy: ROUND_ROBIN
    load_assignment:
      cluster_name: service_google
      endpoints:
      - lb_endpoints:
        - endpoint:
            address:
              socket_address:
                address: www.baidu.com # 目标上游服务器的地址
                port_value: 443 # 目标上游服务器的端口（HTTPS）

配置关键点解析：

CONNECT 处理器：专门处理 HTTP/2 CONNECT 请求
路由配置：将解封装的流量路由到外部服务器
TLS 终止：接收并解密来自 Envoy 1 的加密流量
上游配置：支持动态转发到任意目标服务器

运行 Envoy 2：

envoy -c terminate_http2_connect.yaml

证书生成

为了确保两个 Envoy 之间的 TLS 通信，我们需要生成必要的证书：

# 生成 CA 私钥
openssl genrsa -out ca-key.pem 2048

# 生成 CA 证书
openssl req -new -x509 -key ca-key.pem -out ca-cert.pem -days 365 -subj "/CN=Test CA"

# 生成服务器私钥
openssl genrsa -out server-key.pem 2048

# 生成服务器证书签名请求
openssl req -new -key server-key.pem -out server.csr -subj "/CN=localhost"

# 签发服务器证书
openssl x509 -req -in server.csr -CA ca-cert.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem -days 365

测试验证

基本连通性测试

发送 curl 请求测试隧道功能：

curl -H 'Host: www.baidu.com' --resolve www.baidu.com:10000:127.0.0.1 https://www.baidu.com:10000 -k

📄 curl 请求响应示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
* Added www.baidu.com:10000:127.0.0.1 to DNS cache
* Hostname www.baidu.com was found in DNS cache
*   Trying 127.0.0.1:10000...
* Connected to www.baidu.com (127.0.0.1) port 10000
* ALPN: curl offers h2,http/1.1
* (304) (OUT), TLS handshake, Client hello (1):
*  CAfile: /etc/ssl/cert.pem
*  CApath: none
* (304) (IN), TLS handshake, Server hello (2):
* TLSv1.2 (IN), TLS handshake, Certificate (11):
* TLSv1.2 (IN), TLS handshake, Server key exchange (12):
* TLSv1.2 (IN), TLS handshake, Server finished (14):
* TLSv1.2 (OUT), TLS handshake, Client key exchange (16):
* TLSv1.2 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.2 (OUT), TLS handshake, Finished (20):
* TLSv1.2 (IN), TLS change cipher, Change cipher spec (1):
* TLSv1.2 (IN), TLS handshake, Finished (20):
* SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256 / [blank] / UNDEF
* ALPN: server accepted http/1.1
* Server certificate:
*  subject: C=CN; ST=beijing; L=beijing; O=Beijing Baidu Netcom Science Technology Co., Ltd; CN=baidu.com
*  start date: Jul  8 01:41:02 2024 GMT
*  expire date: Aug  9 01:41:01 2025 GMT
*  subjectAltName: host "www.baidu.com" matched cert's "*.baidu.com"
*  issuer: C=BE; O=GlobalSign nv-sa; CN=GlobalSign RSA OV SSL CA 2018
*  SSL certificate verify ok.
* using HTTP/1.x
> GET / HTTP/1.1
> Host: www.baidu.com
> User-Agent: curl/8.7.1
> Accept: */*
> 
* Request completely sent off
< HTTP/1.1 200 OK
< Accept-Ranges: bytes
< Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
< Connection: keep-alive
< Content-Length: 2443
< Content-Type: text/html
< Date: Wed, 15 Jan 2025 12:31:38 GMT
< Etag: "58860410-98b"
< Last-Modified: Mon, 23 Jan 2017 13:24:32 GMT
< Pragma: no-cache
< Server: bfe/1.0.8.18
< Set-Cookie: BDORZ=27315; max-age=86400; domain=.baidu.com; path=/
< 
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');
                </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>
* Connection #0 to host www.baidu.com left intact

结果显示成功建立 TLS 连接，并返回目标服务器的 HTTP 响应。

将两个 Envoy 合并为一个 Envoy 实例既作为封装端（处理客户端的 TCP/HTTP 请求并将其封装为 HTTP/2 CONNECT 请求），又作为解封装端（接收封装流量并转发到目标服务器）。

这种合并配置在某些简化场景下很有用，特别是在测试环境或需要减少组件数量的情况下。

⚙️ 查看合并后的 Envoy 配置

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
admin:
  address:
    socket_address:
      protocol: TCP
      address: 127.0.0.1
      port_value: 9900
static_resources:
  listeners:
  - name: listener_encapsulation
    address:
      socket_address:
        protocol: TCP
        address: 127.0.0.1
        port_value: 10000
    filter_chains:
    - filters:
      - name: envoy.filters.network.tcp_proxy
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.tcp_proxy.v3.TcpProxy
          stat_prefix: tcp_to_http2
          cluster: cluster_tunnel
          tunneling_config:
            hostname: host.com:443
            headers_to_add:
            - header:
                key: original_dst_port
                value: "%DOWNSTREAM_LOCAL_PORT%"
  - name: listener_decapsulation
    address:
      socket_address:
        protocol: TCP
        address: 127.0.0.1
        port_value: 10001
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: ingress_http
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains:
              - "*"
              routes:
              - match:
                  connect_matcher: {}
                route:
                  cluster: service_google
                  upgrade_configs:
                  - upgrade_type: CONNECT
                    connect_config: {}
          http_filters:
          - name: envoy.filters.http.router
            typed_config:
              "@type": type.googleapis.com/envoy.extensions.filters.http.router.v3.Router
          http2_protocol_options:
            allow_connect: true
          upgrade_configs:
          - upgrade_type: CONNECT
  clusters:
  - name: cluster_tunnel
    connect_timeout: 5s
    typed_extension_protocol_options:
      envoy.extensions.upstreams.http.v3.HttpProtocolOptions:
        "@type": type.googleapis.com/envoy.extensions.upstreams.http.v3.HttpProtocolOptions
        explicit_http_config:
          http2_protocol_options: {}
    load_assignment:
      cluster_name: cluster_tunnel
      endpoints:
      - lb_endpoints:
        - endpoint:
            address:
              socket_address:
                address: 127.0.0.1
                port_value: 10001
  - name: service_google
    connect_timeout: 0.25s
    type: LOGICAL_DNS
    dns_lookup_family: V4_ONLY
    lb_policy: ROUND_ROBIN
    load_assignment:
      cluster_name: service_google
      endpoints:
      - lb_endpoints:
        - endpoint:
            address:
              socket_address:
                address: www.baidu.com
                port_value: 443

总结

通过两个 Envoy 实例的协作，我们清晰地展示了 HTTP/2 CONNECT 隧道的建立过程及其在代理链中的作用。这种设置不仅真实模拟了 Istio Ambient 模式中 HBONE 的通信机制，也验证了 Envoy 在透明代理、安全通信和高效流量管理中的强大能力。

关键收获

技术理解：深入理解了 HTTP/2 CONNECT 隧道的工作原理
实践经验：掌握了 Envoy 配置和调试技巧
架构洞察：了解了现代服务网格的发展趋势
应用价值：认识到 HBONE 在云原生环境中的重要作用

下一步探索

尝试在生产环境中部署类似的隧道架构
探索与其他云原生工具的集成
深入研究性能优化和安全加固
关注相关技术标准的发展动态

随着云原生技术的不断发展，HTTP/2 CONNECT 隧道和 HBONE 技术将在服务网格、边缘计算和混合云架构中发挥越来越重要的作用。掌握这些技术不仅有助于理解现有系统的工作原理，更为未来的技术选型和架构设计提供了有力支撑。