设计短链接生成服务

很久之前就一直想做一个短链接生成服务,但一直没有短域名和机会,只好把之前设计的思路记录下来。

起因

很多在做互联网推广都会使用发短信的方式,而短信服务提供商又对短信内容限制长度,这时候就要把长链接转为短链接。当然也有其他的方式,大厂如淘宝,有自己的 app,又被腾讯限制在微信推广的情况下,它们会用特殊处理过的文字在微信推广,用户复制内容到剪贴板再打开淘宝的 app,app 就读取剪贴板的内容识别正确的商品。

一、核心业务时序图

下面就用时序图的方式设计一个把长链接转为短链接,以及使用短链接重定向跳转到原始长链接的完整交互过程:

sequenceDiagram
    autonumber
    participant 浏览器 as 客户端
    participant 服务器 as 短链网关
    participant 缓存 as Redis 缓存
    participant 数据库 as 数据库与发号器

    Note over 浏览器, 数据库: 阶段 1:长链接生成短链接
    浏览器->>服务器: POST 提交长链接
    服务器->>数据库: 获取全局唯一递增 ID
    数据库-->>服务器: 返回唯一数值 ID
    服务器->>服务器: Base62 编码与位置换混淆生成短码
    服务器->>数据库: 持久化映射关系与过期时间
    服务器->>缓存: 预热写入缓存
    服务器-->>浏览器: 返回短链接

    Note over 浏览器, 数据库: 阶段 2:访问短链接并重定向
    浏览器->>服务器: GET 访问短链接
    服务器->>缓存: 查询短码
    alt 缓存命中
        缓存-->>服务器: 返回长链接
    else 缓存未命中
        服务器->>数据库: 查表获取长链接
        数据库-->>服务器: 返回长链接
        服务器->>缓存: 回写 Redis 并设置 TTL
    end
    服务器->>服务器: 异步记录打点日志
    服务器-->>浏览器: HTTP 302 Found 重定向
    浏览器->>浏览器: 自动跳转至目标长链接

二、重定向状态码:为什么 99% 的短链用 302 而不是 301?

在实现短链接跳转时,HTTP 协议提供了两种常用的重定向方式:301 (Moved Permanently) 与 302 (Found / Moved Temporarily)(或 HTTP 1.1 的 307 Temporary Redirect)。

很多初学者容易误用 301,但工业级短链系统几乎都采用 302:

评估维度HTTP 301 永久重定向HTTP 302 / 307 临时重定向(推荐)
浏览器行为浏览器会永久强缓存重定向结果浏览器不会缓存跳转关系,每次访问均发起请求
服务器压力后续访问直接在本地跳,服务器零压力每次点击均穿透至短链网关,有一定并发请求
数据统计分析❌ 无法统计(后续点击完全不经过服务端)✅ 精准打点(可精确统计 PV、UV、地域、点击时间、渠道转化率)
链接更新与下线❌ 无法动态修改或紧急封禁违规链接✅ 可随时在后台禁用、更换目标长链接或设置过期时间

📌 架构选型结论:短链接的核心商业价值往往就在于数据看板与转化漏斗分析(如短信营销的 ROI 评估)。如果使用了 301,用户第二次点击直接由浏览器缓存完成跳转,服务端将丢失全部统计数据,因此必须使用 302 / 307 临时重定向。


三、短码生成算法:哈希算法 vs 分布式发号器

短码的本质,是将一个长度任意的长字符串映射为一个长度通常为 6~7 位 的短字符。字符集通常选用 Base62(包含 0-9、a-z、A-Z 共 62 个 ASCII 可见字符,避免 URL 中出现特殊转义符号)。

3.1 方案 A:MurmurHash + Base62(哈希截断法)

对长链接做哈希运算(推荐使用非加密型、计算极快且雪崩效应极佳的 MurmurHash32),得到一个 32 位无符号整数,再转换为 62 进制表示:

  • 优点:无需全局维护自增状态,单机或无状态服务即可独立生成。
  • 致命痛点:哈希冲突(Hash Collision)。
    • 根据鸽巢原理,不同长链接计算出的 Hash 值必然有概率撞车;
    • 解决冲突策略:查询数据库检查短码是否存在,若已被占用且对应的长链接不同,则给长链接末尾拼上自定义 Salt(如 长链接 + "_retry_1")重新计算 Hash,直至无冲突为止。
    • 缺点是随着数据量激增,冲突重试会引发多次数据库读取,写入性能恶化。

3.2 方案 B:全局唯一 ID 发号器 + Base62(工业界主流最佳实践)

建立一个全局唯一且单调递增的数字生成器,拿到唯一的十进制整数 ID 后,直接转成 62 进制字符串:

1
十进制数值 ID: 12530189  ——(Base62 编码)——>  短码字符串: "xB4daqe"
  • 优点:从数学上彻底绝绝哈希冲突,一条 ID 严格对应一个短码,生成的短码绝对唯一且长度渐进可控。
  • 发号器的高性能实现方案:
    1. Redis INCR:单机可达 10万 QPS,部署 Redis 集群时可以通过配置不同步长(Step)实现多节点分发;
    2. 美团 Leaf / 百度 UidGenerator(号段模式):业务服务一次性向数据库批量申请一个号段(如每次取 10,000 个 ID 放内存缓存自增),数据库并发压力骤降上万倍,发号延迟达到纳秒级。

四、安全攻防:防遍历爬虫与防批量扫号

如果直接将纯自增 ID 转成 Base62,会带来极其严峻的数据安全隐患:

1
2
3
ID = 10000001 -> "6C1X"
ID = 10000002 -> "6C1Y"
ID = 10000003 -> "6C1Z"

竞争对手或恶意黑客只需写一个遍历脚本,从 sort.cn/6C1X 递增访问到 sort.cn/9999,就能把你系统中所有商家配置的推广商品、未公开折扣、甚至内部专属链接全部爬取!

为了保证生成的短码具备不可推导性与随机离散感,通常配合以下两道防线:

4.1 乱序 Base62 字典映射

不要使用标准 ASCII 排序的 0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ,而是事先伪随机打乱字符序列:

1
2
# 打乱后的自定义 62 进制字符映射表(系统密钥)
BASE62_ALPHABET = "K9zXwL2dFhQp4rTgYbV7mNjC1sAkEtWuZ8xMvPeJ3o6iS0cHaDfGq5yRInUB"

4.2 基于 Feistel 结构的数值位混淆置换

在送入 Base62 转换前,先将递增的 32 位整数通过轻量级分组置换(如简化版 Feistel 密码或 Skip32)进行可逆的位混淆:

1
2
3
4
5
6
def obfuscate_id(id_val: int) -> int:
"""利用位运算与异或乘法打乱连续自增序列,保持一一对应可逆映射"""
id_val = ((id_val >> 16) ^ id_val) * 0x45d9f3b & 0xFFFFFFFF
id_val = ((id_val >> 16) ^ id_val) * 0x45d9f3b & 0xFFFFFFFF
id_val = (id_val >> 16) ^ id_val
return id_val

通过这一层数学置换后:

  • ID = 1 $\longrightarrow$ 输出混淆数 0x29A1F8C3 $\longrightarrow$ 短码 9kL2xQ
  • ID = 2 $\longrightarrow$ 输出混淆数 0x71E0B34A $\longrightarrow$ 短码 mP8tZa

相邻的连续 ID 在外观上呈现完全不相关的随机分布,从根本上粉碎了自动化批量爬取的可能。


五、高并发读多写少架构:缓存分层设计

短链接系统是典型的极度读多写少场景(读写比通常在 $100:1$ 到 $1000:1$ 之间,一条促销短信批量推送后,短链可能在短时间内被数十万人并发点击)。

架构上必须保证重定向解析路径 99% 以上拦截在内存缓存层,严禁直击数据库:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
客户端请求 (GET /xB4daqe)
│
▼
┌──────────────────┐
│ 布隆过滤器判定 │ ──[不存在]──> 拦截并直接返回 404 (防止缓存穿透)
└──────────────────┘
│ [存在]
▼
┌──────────────────┐
│ Redis 内存缓存 │ ──[命中]───> 302 跳转
└──────────────────┘
│ [未命中]
▼
┌──────────────────┐
│ MySQL 数据库查询 │ ──> 回写 Redis (加随机 TTL 防止雪崩) ──> 302 跳转
└──────────────────┘
  1. 布隆过滤器(Bloom Filter)防缓存穿透:
    • 攻击者可能恶意构造数百万个不存在的随机短码发起爆破;
    • 在网关前置布隆过滤器,所有成功生成的短码均记录入布隆过滤器中。若过滤器判定不存在,直接秒回 404,完全不碰后端的 Redis 与 MySQL。
  2. 防缓存雪崩与热点 Key 保护:
    • 为 Redis Key 设置随机过期时间偏移(如 Base_TTL + rand(100s, 600s)),避免大批短链集中到期失效;
    • 对于突发爆款营销活动(极高频单 Key),可开启本地内存缓存(如 Go sync.Map / Java Caffeine),在应用进程内直接拦截。

六、容量规划与数据库表结构设计

6.1 容量与短码长度估算

为什么绝大多数短链系统都设计为 6 位 或 7 位?

  • 6 位 Base62 字符组合空间:$62^6 = 56,800,235,584$(约 568 亿 个唯一短链)
  • 7 位 Base62 字符组合空间:$62^7 \approx 3,521,614,606,208$(约 3.5 万亿 个唯一短链)

假设一个日活千万级的大型平台,每天生成 1000 万条新短链: $$\frac{568 亿}{1000 万/天} \approx 5680 天 \approx 15.5 年$$

6 位短码足以从容支撑超大规模系统平稳运行 15 年以上!

6.2 数据库 DDL 表结构定义

针对 MySQL / PostgreSQL,推荐的短链映射表设计如下:

1
2
3
4
5
6
7
8
9
10
11
CREATE TABLE `tb_short_url` (
`id` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '自增主键,对应发号器数值',
`short_code` VARCHAR(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '短链接后缀标识码 (区分大小写)',
`original_url` VARCHAR(2048) NOT NULL COMMENT '原始长链接',
`user_id` BIGINT UNSIGNED DEFAULT 0 COMMENT '创建者用户ID/业务方标识',
`expire_time` DATETIME DEFAULT NULL COMMENT '过期时间 (NULL 为永久有效)',
`create_time` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_short_code` (`short_code`),
KEY `idx_expire_time` (`expire_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='短链接映射主表';

⚠️ 关键细节提醒: short_code 字段必须显式声明字符集校对规则为 utf8mb4_bin(二进制区分大小写),因为 Base62 严格区分 a 与 A,若误用默认的 utf8mb4_general_ci 会导致大小写被视为同一个短码而引发唯一索引冲突!


七、业务风控与安全治理

在生产级落地中,短链接服务如果缺乏风控机制,极易被黑灰产利用作为洗流量、绕过审查与钓鱼欺诈的跳板:

  1. 防循环嵌套与套娃重定向:
    • 恶意用户可能把短链本身再拿来生成新的短链(A -> B -> C -> A),造成死循环重定向或耗尽服务资源;
    • 防御手段:在输入长链接解析阶段,校验 URL 的 Domain,严禁输入本系统域名或已知短链域名的 URL。
  2. 恶意网址钓鱼防御(安全黑白名单):
    • 许多即时通讯软件信任知名的短链域名,诈骗分子常利用短链伪装恶意 APK 下载地址或博彩钓鱼网页;
    • 防御手段:接入安全防护 API(如腾讯安全云检测、Google Safe Browsing),在生成短链前异步审查长链接合法性,并对违规目标支持一键封杀拉黑。
  3. 过期清理与冷数据归档:
    • 对带有有效期的营销短链(如促销短信 3 天有效),配合定时任务或 TTL 机制自动下线,回收存储空间。

总结

一个看似简单的“短链接”服务,麻雀虽小五脏俱全。从最基础的输入输出,延展到工业级高可用架构,核心在于处理好以下几点:

  • 协议层:坚定选择 302 临时重定向 确保监控与分析统计能力;
  • 算法层:通过 分布式发号器 + 可逆置换混淆 + Base62 编码,兼得无冲突与抗扫描防遍历特性;
  • 架构层:利用 布隆过滤器 + 多级缓存(Redis / 本地缓存),从容应对超高并发的读流量倾斜。

参考资料与延伸阅读

1. HTTP 协议标准规范

2. 分布式全局唯一 ID 架构

3. 高并发缓存与算法工程


设计短链接生成服务
https://bubao.github.io/posts/372bc467.html
作者
一念
发布于
2021年3月8日
许可协议