大海
331 lines
33 KiB
Markdown
331 lines
33 KiB
Markdown
# 第三部分：核心网络架构
|
|
|
|
## 3.1 节点体系设计
|
|
|
|
### 3.1.1 三层节点架构
|
|
|
|
```
|
|
┌─────────────────────────────────────────────────────────────────────────┐
|
|
│ 三层节点架构 │
|
|
├─────────────────────────────────────────────────────────────────────────┤
|
|
│ │
|
|
│ ┌─────────────────────────────────────────────────────────────────┐ │
|
|
│ │ 接入层 (Access Layer) │ │
|
|
│ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │
|
|
│ │ │ 北京BGP │ │ 上海BGP │ │ 广州BGP │ │ 深圳BGP │ │ │
|
|
│ │ │ 103.x.1 │ │ 103.x.2 │ │ 103.x.3 │ │ 103.x.4 │ │ │
|
|
│ │ │ 电信/联通 │ │ 电信/联通 │ │ 电信/联通 │ │ 电信/联通 │ │ │
|
|
│ │ │ /移动 │ │ /移动 │ │ /移动 │ │ /移动 │ │ │
|
|
│ │ └────┬─────┘ └────┬─────┘ └────┬─────┘ └────┬─────┘ │ │
|
|
│ └───────┼──────────────┼──────────────┼──────────────┼─────────────┘ │
|
|
│ │ │ │ │ │
|
|
│ └──────────────┴──────┬───────┴──────────────┘ │
|
|
│ │ │
|
|
│ ┌─────────────────────────────┼─────────────────────────────────────┐ │
|
|
│ │ 中转层 (Relay Layer) │ │
|
|
│ │ ┌──────────────┴──────────────┐ │ │
|
|
│ │ │ │ │ │
|
|
│ │ ┌───────────┴───┐ ┌──────────┴───────┐ │ │
|
|
│ │ │ 国内中转集群 │ │ 国际中转集群 │ │ │
|
|
│ │ │ CN2专线/AS9929 │ │ PCCW/NTT/Telia │ │ │
|
|
│ │ │ │ │ │ │ │
|
|
│ │ │ 上海←→北京 │ │ 香港←→东京 │ │ │
|
|
│ │ │ 上海←→广州 │ │ 香港←→新加坡 │ │ │
|
|
│ │ │ 北京←→成都 │ │ 东京←→洛杉矶 │ │ │
|
|
│ │ └───────────────┘ └──────────────────┘ │ │
|
|
│ └─────────────────────────────────────────────────────────────────┘ │
|
|
│ │ │
|
|
│ ┌─────────────────────────────┼─────────────────────────────────────┐ │
|
|
│ │ 出口层 (Exit Layer) │ │
|
|
│ │ ┌──────────────┴──────────────┐ │ │
|
|
│ │ │ │ │ │
|
|
│ │ ┌───────────┴───┐ ┌──────────┴───────┐ │ │
|
|
│ │ │ 国内游戏出口 │ │ 海外游戏出口 │ │ │
|
|
│ │ │ │ │ │ │ │
|
|
│ │ │ 电信游戏专区 │ │ 日本(东京/大阪) │ │ │
|
|
│ │ │ 联通游戏专区 │ │ 韩国(首尔) │ │ │
|
|
│ │ │ 移动游戏专区 │ │ 新加坡 │ │ │
|
|
│ │ │ │ │ 美国(LA/西雅图) │ │ │
|
|
│ │ │ │ │ 德国(法兰克福) │ │ │
|
|
│ │ │ │ │ 英国(伦敦) │ │ │
|
|
│ │ └───────────────┘ └──────────────────┘ │ │
|
|
│ └─────────────────────────────────────────────────────────────────┘ │
|
|
│ │
|
|
└─────────────────────────────────────────────────────────────────────────┘
|
|
```
|
|
|
|
### 3.1.2 各节点职责
|
|
|
|
```
|
|
┌──────────────┬──────────────────────────────────────────────────────────┐
|
|
│ 节点类型 │ 职责 │
|
|
├──────────────┼──────────────────────────────────────────────────────────┤
|
|
│ 接入节点 │ 1. 就近接入用户流量（Anycast/BGP多线） │
|
|
│ (Access) │ 2. 用户身份验证 │
|
|
│ │ 3. 流量分类与标记（QoS） │
|
|
│ │ 4. 初始路由决策 │
|
|
│ │ 5. 连接管理 │
|
|
│ │ 6. 负载均衡 │
|
|
│ │ │
|
|
│ │ 部署要求： │
|
|
│ │ - BGP多线接入（电信+联通+移动） │
|
|
│ │ - 带宽：1Gbps-10Gbps │
|
|
│ │ - 地理位置：靠近用户密集区 │
|
|
│ │ - 数量：200+ │
|
|
├──────────────┼──────────────────────────────────────────────────────────┤
|
|
│ 中转节点 │ 1. 流量中转与转发 │
|
|
│ (Relay) │ 2. 协议转换（如需要） │
|
|
│ │ 3. 流量压缩与加密 │
|
|
│ │ 4. 链路质量监控 │
|
|
│ │ 5. 多路径管理 │
|
|
│ │ 6. FEC前向纠错 │
|
|
│ │ │
|
|
│ │ 部署要求： │
|
|
│ │ - 优质线路（CN2/AS9929/国际专线） │
|
|
│ │ - 带宽：10Gbps-100Gbps │
|
|
│ │ - 地理位置：骨干网核心节点 │
|
|
│ │ - 数量：50+ │
|
|
├──────────────┼──────────────────────────────────────────────────────────┤
|
|
│ 出口节点 │ 1. 就近出口到游戏服务器 │
|
|
│ (Exit) │ 2. NAT/代理功能 │
|
|
│ │ 3. 协议适配 │
|
|
│ │ 4. 游戏服务器健康检查 │
|
|
│ │ 5. 流量统计与计费 │
|
|
│ │ │
|
|
│ │ 部署要求： │
|
|
│ │ - 靠近游戏服务器机房 │
|
|
│ │ - 带宽：1Gbps-10Gbps │
|
|
│ │ - 地理位置：游戏服务器集中区 │
|
|
│ │ - 数量：100+ │
|
|
└──────────────┴──────────────────────────────────────────────────────────┘
|
|
```
|
|
|
|
### 3.1.3 节点间通信
|
|
|
|
```
|
|
┌──────────────────────────────────────────────────────────────────┐
|
|
│ 节点间通信协议 │
|
|
├──────────────────────────────────────────────────────────────────┤
|
|
│ │
|
|
│ 控制面（Control Plane）： │
|
|
│ - 协议：gRPC + Protobuf │
|
|
│ - 功能：节点注册、配置下发、状态同步、路由更新 │
|
|
│ - 传输：TCP (TLS) │
|
|
│ - 频率：心跳每10秒，配置变更实时推送 │
|
|
│ │
|
|
│ 数据面（Data Plane）： │
|
|
│ - 协议：自定义UDP协议 / QUIC │
|
|
│ - 功能：游戏流量转发 │
|
|
│ - 传输：UDP │
|
|
│ - 特点：低延迟、高吞吐、前向纠错 │
|
|
│ │
|
|
│ 管理面（Management Plane）： │
|
|
│ - 协议：HTTPS REST API │
|
|
│ - 功能：运维管理、监控数据采集、日志收集 │
|
|
│ - 传输：TCP (TLS) │
|
|
│ │
|
|
│ 节点发现机制： │
|
|
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
|
|
│ │ 节点启动 │───→│ 注册中心 │───→│ 广播通知 │ │
|
|
│ │ 启动上报 │ │ etcd │ │ 其他节点 │ │
|
|
│ └──────────┘ └──────────┘ └──────────┘ │
|
|
│ │
|
|
│ 健康检查机制： │
|
|
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
|
|
│ │ 心跳上报 │───→│ 超时检测 │───→│ 故障处理 │ │
|
|
│ │ 每10秒 │ │ 30秒超时 │ │ 自动摘除 │ │
|
|
│ │ UDP │ │ 3次重试 │ │ 告警通知 │ │
|
|
│ └──────────┘ └──────────┘ └──────────┘ │
|
|
│ │
|
|
└──────────────────────────────────────────────────────────────────┘
|
|
```
|
|
|
|
## 3.2 全球节点规划
|
|
|
|
### 3.2.1 中国大陆节点
|
|
|
|
```
|
|
┌────────┬──────────┬────────────┬──────────┬──────────┬──────────────┐
|
|
│ 城市 │ 节点数量 │ 机房类型 │ 带宽 │ ISP │ 用途 │
|
|
├────────┼──────────┼────────────┼──────────┼──────────┼──────────────┤
|
|
│ 北京 │ 5 │ BGP多线 │ 10Gbps │ 三线 │ 华北接入 │
|
|
│ 上海 │ 5 │ BGP多线 │ 10Gbps │ 三线 │ 华东接入+中转 │
|
|
│ 广州 │ 4 │ BGP多线 │ 10Gbps │ 三线 │ 华南接入 │
|
|
│ 深圳 │ 3 │ BGP多线 │ 10Gbps │ 三线 │ 华南接入 │
|
|
│ 成都 │ 3 │ BGP多线 │ 5Gbps │ 三线 │ 西南接入 │
|
|
│ 武汉 │ 2 │ BGP多线 │ 5Gbps │ 三线 │ 华中接入 │
|
|
│ 杭州 │ 2 │ BGP多线 │ 5Gbps │ 三线 │ 华东接入 │
|
|
│ 南京 │ 2 │ BGP多线 │ 5Gbps │ 三线 │ 华东接入 │
|
|
│ 西安 │ 2 │ BGP多线 │ 5Gbps │ 三线 │ 西北接入 │
|
|
│ 重庆 │ 2 │ BGP多线 │ 5Gbps │ 三线 │ 西南接入 │
|
|
├────────┼──────────┼────────────┼──────────┼──────────┼──────────────┤
|
|
│ 合计 │ 30 │ │ │ │ │
|
|
└────────┴──────────┴────────────┴──────────┴──────────┴──────────────┘
|
|
|
|
专用线路：
|
|
- CN2 GT: 上海 ←→ 北京/广州/成都
|
|
- AS9929 (联通A网): 北京 ←→ 上海/广州
|
|
- 9929/CN2 混合: 国内核心城市互联
|
|
|
|
部署方案：
|
|
┌──────────────────────────────────────────────────────────────┐
|
|
│ 单节点部署架构 │
|
|
├──────────────────────────────────────────────────────────────┤
|
|
│ │
|
|
│ ┌──────────────────────────────────────────────────────┐ │
|
|
│ │ 物理服务器 │ │
|
|
│ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │
|
|
│ │ │ CPU: 32核│ │ RAM: 64G │ │ SSD: 1T │ │ │
|
|
│ │ │ E5-2680 │ │ DDR4 │ │ NVMe │ │ │
|
|
│ │ └──────────┘ └──────────┘ └──────────┘ │ │
|
|
│ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │
|
|
│ │ │ 网卡 │ │ 网卡 │ │ 网卡 │ │ │
|
|
│ │ │ 10GbE │ │ 10GbE │ │ 1GbE │ │ │
|
|
│ │ │ (数据) │ │ (管理) │ │ (IPMI) │ │ │
|
|
│ │ └──────────┘ └──────────┘ └──────────┘ │ │
|
|
│ └──────────────────────────────────────────────────────┘ │
|
|
│ │ │
|
|
│ ┌──────────────────────────────────────────────────────┐ │
|
|
│ │ 软件栈 │ │
|
|
│ │ ┌────────────────────────────────────────────────┐ │ │
|
|
│ │ │ OS: Ubuntu 22.04 LTS / Debian 12 │ │ │
|
|
│ │ │ 内核: 6.1+ (开启BBR拥塞控制) │ │ │
|
|
│ │ │ 容器: Docker + containerd │ │ │
|
|
│ │ │ 编排: K3s (轻量Kubernetes) │ │ │
|
|
│ │ └────────────────────────────────────────────────┘ │ │
|
|
│ │ ┌────────────────────────────────────────────────┐ │ │
|
|
│ │ │ 服务容器: │ │ │
|
|
│ │ │ - accelerator-relay (转发服务) │ │ │
|
|
│ │ │ - accelerator-health (健康检查) │ │ │
|
|
│ │ │ - accelerator-monitor (监控Agent) │ │ │
|
|
│ │ │ - node-exporter (系统指标) │ │ │
|
|
│ │ └────────────────────────────────────────────────┘ │ │
|
|
│ └──────────────────────────────────────────────────────┘ │
|
|
│ │
|
|
└──────────────────────────────────────────────────────────────┘
|
|
```
|
|
|
|
### 3.2.2 海外节点
|
|
|
|
```
|
|
┌──────────────┬──────────┬────────────┬──────────┬──────────────────┐
|
|
│ 地区 │ 城市 │ 节点数量 │ 带宽 │ 用途 │
|
|
├──────────────┼──────────┼────────────┼──────────┼──────────────────┤
|
|
│ 亚太 │ 香港 │ 4 │ 10Gbps │ 国际接入+中转 │
|
|
│ │ 东京 │ 3 │ 10Gbps │ 日服游戏出口 │
|
|
│ │ 大阪 │ 2 │ 5Gbps │ 日服备用 │
|
|
│ │ 首尔 │ 2 │ 5Gbps │ 韩服游戏出口 │
|
|
│ │ 新加坡 │ 3 │ 10Gbps │ 东南亚接入 │
|
|
│ │ 悉尼 │ 1 │ 2Gbps │ 澳服出口 │
|
|
├──────────────┼──────────┼────────────┼──────────┼──────────────────┤
|
|
│ 北美 │ 洛杉矶 │ 3 │ 10Gbps │ 美西接入+出口 │
|
|
│ │ 西雅图 │ 2 │ 5Gbps │ 美西北出口 │
|
|
│ │ 达拉斯 │ 2 │ 5Gbps │ 美南出口 │
|
|
│ │ 圣何塞 │ 2 │ 5Gbps │ 硅谷出口 │
|
|
│ │ 弗吉尼亚 │ 2 │ 5Gbps │ 美东出口 │
|
|
├──────────────┼──────────┼────────────┼──────────┼──────────────────┤
|
|
│ 欧洲 │ 法兰克福 │ 2 │ 5Gbps │ 欧洲接入 │
|
|
│ │ 伦敦 │ 2 │ 5Gbps │ 英国出口 │
|
|
│ │ 阿姆斯特丹│ 1 │ 2Gbps │ 欧洲中转 │
|
|
├──────────────┼──────────┼────────────┼──────────┼──────────────────┤
|
|
│ 合计 │ │ 31 │ │ │
|
|
└──────────────┴──────────┴────────────┴──────────┴──────────────────┘
|
|
```
|
|
|
|
## 3.3 节点部署方案
|
|
|
|
### 3.3.1 云服务器方案
|
|
|
|
```
|
|
┌──────────────┬────────────┬────────────┬────────────┬──────────────┐
|
|
│ 云服务商 │ 适用场景 │ 优势 │ 劣势 │ 月成本(单节点)│
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ 阿里云 │ 国内接入 │ 节点多 │ 带宽贵 │ ¥3000-8000 │
|
|
│ │ BGP接入 │ 稳定性好 │ │ (5Mbps) │
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ 腾讯云 │ 国内接入 │ 游戏优化 │ 海外节点少 │ ¥3000-8000 │
|
|
│ │ 游戏加速 │ 专线资源 │ │ (5Mbps) │
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ 华为云 │ 国内+海外 │ 全球布局 │ 价格较高 │ ¥4000-10000 │
|
|
│ │ │ 专线资源 │ │ (5Mbps) │
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ AWS │ 海外节点 │ 全球覆盖 │ 国内差 │ $200-500 │
|
|
│ │ │ 弹性伸缩 │ │ (5Mbps) │
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ GCP │ 海外节点 │ 网络质量好 │ 国内差 │ $200-500 │
|
|
│ │ │ 全球网络 │ │ (5Mbps) │
|
|
└──────────────┴────────────┴────────────┴────────────┴──────────────┘
|
|
```
|
|
|
|
### 3.3.2 裸金属方案
|
|
|
|
```
|
|
┌──────────────┬────────────┬────────────┬────────────┬──────────────┐
|
|
│ IDC/服务商 │ 适用场景 │ 优势 │ 劣势 │ 月成本(单节点)│
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ UCloud │ 国内BGP │ 性价比高 │ 节点少 │ ¥2000-5000 │
|
|
│ │ 游戏加速 │ 游戏优化 │ │ (10Gbps) │
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ Vultr │ 海外节点 │ 按时计费 │ 国内没有 │ $100-300 │
|
|
│ │ │ 全球30+ │ │ (1Gbps) │
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ Hetzner │ 欧洲节点 │ 性价比极高 │ 只有欧洲 │ €50-150 │
|
|
│ │ │ 带宽大 │ │ (1Gbps) │
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ OVH │ 欧洲+北美 │ DDoS防护 │ 客服差 │ €100-300 │
|
|
│ │ │ 带宽大 │ │ (1Gbps) │
|
|
├──────────────┼────────────┼────────────┼────────────┼──────────────┤
|
|
│ 自建IDC │ 核心节点 │ 完全控制 │ 成本高 │ ¥10000+ │
|
|
│ │ 中转节点 │ 定制化 │ 运维复杂 │ (10Gbps) │
|
|
└──────────────┴────────────┴────────────┴────────────┴──────────────┘
|
|
```
|
|
|
|
### 3.3.3 成本分析
|
|
|
|
```
|
|
┌─────────────────────────────────────────────────────────────────────────┐
|
|
│ 节点成本预算 (月度) │
|
|
├─────────────────────────────────────────────────────────────────────────┤
|
|
│ │
|
|
│ 国内节点 (30个)： │
|
|
│ ┌──────────┬──────────┬──────────┬──────────┬──────────┐ │
|
|
│ │ 类型 │ 数量 │ 单价/月 │ 总价/月 │ 带宽 │ │
|
|
│ ├──────────┼──────────┼──────────┼──────────┼──────────┤ │
|
|
│ │ 接入节点 │ 25 │ ¥3,000 │ ¥75,000 │ 5Gbps │ │
|
|
│ │ 中转节点 │ 5 │ ¥8,000 │ ¥40,000 │ 10Gbps │ │
|
|
│ │ 小计 │ 30 │ │ ¥115,000 │ │ │
|
|
│ └──────────┴──────────┴──────────┴──────────┴──────────┘ │
|
|
│ │
|
|
│ 海外节点 (31个)： │
|
|
│ ┌──────────┬──────────┬──────────┬──────────┬──────────┐ │
|
|
│ │ 类型 │ 数量 │ 单价/月 │ 总价/月 │ 带宽 │ │
|
|
│ ├──────────┼──────────┼──────────┼──────────┼──────────┤ │
|
|
│ │ 接入节点 │ 15 │ $200 │ $3,000 │ 2Gbps │ │
|
|
│ │ 中转节点 │ 6 │ $500 │ $3,000 │ 5Gbps │ │
|
|
│ │ 出口节点 │ 10 │ $300 │ $3,000 │ 3Gbps │ │
|
|
│ │ 小计 │ 31 │ │ $9,000 │ │ │
|
|
│ └──────────┴──────────┴──────────┴──────────┴──────────┘ │
|
|
│ │
|
|
│ 专线费用： │
|
|
│ ┌──────────────────────┬──────────┬──────────┐ │
|
|
│ │ 线路 │ 月租 │ 说明 │ │
|
|
│ ├──────────────────────┼──────────┼──────────┤ │
|
|
│ │ CN2 GT (上海←→北京) │ ¥5,000 │ 100Mbps │ │
|
|
│ │ CN2 GT (上海←→广州) │ ¥5,000 │ 100Mbps │ │
|
|
│ │ AS9929 (国内核心) │ ¥8,000 │ 200Mbps │ │
|
|
│ │ 国际专线 (上海←→东京)│ ¥15,000 │ 100Mbps │ │
|
|
│ │ 国际专线 (香港←→LA) │ ¥20,000 │ 100Mbps │ │
|
|
│ │ 小计 │ ¥53,000 │ │ │
|
|
│ └──────────────────────┴──────────┴──────────┘ │
|
|
│ │
|
|
│ 月度总成本： │
|
|
│ 国内节点: ¥115,000 │
|
|
│ 海外节点: ¥65,000 (按$1=¥7.2计算) │
|
|
│ 专线费用: ¥53,000 │
|
|
│ 其他(域名/CDN/证书): ¥5,000 │
|
|
│ ───────────────────────── │
|
|
│ 总计: ¥238,000/月 │
|
|
│ │
|
|
└─────────────────────────────────────────────────────────────────────────┘
|
|
```
|