设计短链接生成服务
很久之前就一直想做一个短链接生成服务,但一直没有短域名和机会,只好把之前设计的思路记录下来。
起因
很多在做互联网推广都会使用发短信的方式,而短信服务提供商又对短信内容限制长度,这时候就要把长链接转为短链接。当然也有其他的方式,大厂如淘宝,有自己的 app,又被腾讯限制在微信推广的情况下,它们会用特殊处理过的文字在微信推广,用户复制内容到剪贴板再打开淘宝的 app,app 就读取剪贴板的内容识别正确的商品。
一、核心业务时序图
下面就用时序图的方式设计一个把长链接转为短链接,以及使用短链接重定向跳转到原始长链接的完整交互过程:
sequenceDiagram
autonumber
participant 浏览器 as 客户端
participant 服务器 as 短链网关
participant 缓存 as Redis 缓存
participant 数据库 as 数据库与发号器
Note over 浏览器, 数据库: 阶段 1:长链接生成短链接
浏览器->>服务器: POST 提交长链接
服务器->>数据库: 获取全局唯一递增 ID
数据库-->>服务器: 返回唯一数值 ID
服务器->>服务器: Base62 编码与位置换混淆生成短码
服务器->>数据库: 持久化映射关系与过期时间
服务器->>缓存: 预热写入缓存
服务器-->>浏览器: 返回短链接
Note over 浏览器, 数据库: 阶段 2:访问短链接并重定向
浏览器->>服务器: GET 访问短链接
服务器->>缓存: 查询短码
alt 缓存命中
缓存-->>服务器: 返回长链接
else 缓存未命中
服务器->>数据库: 查表获取长链接
数据库-->>服务器: 返回长链接
服务器->>缓存: 回写 Redis 并设置 TTL
end
服务器->>服务器: 异步记录打点日志
服务器-->>浏览器: HTTP 302 Found 重定向
浏览器->>浏览器: 自动跳转至目标长链接
二、重定向状态码:为什么 99% 的短链用 302 而不是 301?
在实现短链接跳转时,HTTP 协议提供了两种常用的重定向方式:301 (Moved Permanently) 与 302 (Found / Moved Temporarily)(或 HTTP 1.1 的 307 Temporary Redirect)。
很多初学者容易误用 301,但工业级短链系统几乎都采用 302:
| 评估维度 | HTTP 301 永久重定向 | HTTP 302 / 307 临时重定向(推荐) |
|---|---|---|
| 浏览器行为 | 浏览器会永久强缓存重定向结果 | 浏览器不会缓存跳转关系,每次访问均发起请求 |
| 服务器压力 | 后续访问直接在本地跳,服务器零压力 | 每次点击均穿透至短链网关,有一定并发请求 |
| 数据统计分析 | ❌ 无法统计(后续点击完全不经过服务端) | ✅ 精准打点(可精确统计 PV、UV、地域、点击时间、渠道转化率) |
| 链接更新与下线 | ❌ 无法动态修改或紧急封禁违规链接 | ✅ 可随时在后台禁用、更换目标长链接或设置过期时间 |
📌 架构选型结论:短链接的核心商业价值往往就在于数据看板与转化漏斗分析(如短信营销的 ROI 评估)。如果使用了 301,用户第二次点击直接由浏览器缓存完成跳转,服务端将丢失全部统计数据,因此必须使用 302 / 307 临时重定向。
三、短码生成算法:哈希算法 vs 分布式发号器
短码的本质,是将一个长度任意的长字符串映射为一个长度通常为 6~7 位 的短字符。字符集通常选用 Base62(包含 0-9、a-z、A-Z 共 62 个 ASCII 可见字符,避免 URL 中出现特殊转义符号)。
3.1 方案 A:MurmurHash + Base62(哈希截断法)
对长链接做哈希运算(推荐使用非加密型、计算极快且雪崩效应极佳的 MurmurHash32),得到一个 32 位无符号整数,再转换为 62 进制表示:
- 优点:无需全局维护自增状态,单机或无状态服务即可独立生成。
- 致命痛点:哈希冲突(Hash Collision)。
- 根据鸽巢原理,不同长链接计算出的 Hash 值必然有概率撞车;
- 解决冲突策略:查询数据库检查短码是否存在,若已被占用且对应的长链接不同,则给长链接末尾拼上自定义 Salt(如
长链接 + "_retry_1")重新计算 Hash,直至无冲突为止。 - 缺点是随着数据量激增,冲突重试会引发多次数据库读取,写入性能恶化。
3.2 方案 B:全局唯一 ID 发号器 + Base62(工业界主流最佳实践)
建立一个全局唯一且单调递增的数字生成器,拿到唯一的十进制整数 ID 后,直接转成 62 进制字符串:
1 | |
- 优点:从数学上彻底绝绝哈希冲突,一条 ID 严格对应一个短码,生成的短码绝对唯一且长度渐进可控。
- 发号器的高性能实现方案:
- Redis
INCR:单机可达 10万 QPS,部署 Redis 集群时可以通过配置不同步长(Step)实现多节点分发; - 美团 Leaf / 百度 UidGenerator(号段模式):业务服务一次性向数据库批量申请一个号段(如每次取 10,000 个 ID 放内存缓存自增),数据库并发压力骤降上万倍,发号延迟达到纳秒级。
- Redis
四、安全攻防:防遍历爬虫与防批量扫号
如果直接将纯自增 ID 转成 Base62,会带来极其严峻的数据安全隐患:
1 | |
竞争对手或恶意黑客只需写一个遍历脚本,从 sort.cn/6C1X 递增访问到 sort.cn/9999,就能把你系统中所有商家配置的推广商品、未公开折扣、甚至内部专属链接全部爬取!
为了保证生成的短码具备不可推导性与随机离散感,通常配合以下两道防线:
4.1 乱序 Base62 字典映射
不要使用标准 ASCII 排序的 0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ,而是事先伪随机打乱字符序列:
1 | |
4.2 基于 Feistel 结构的数值位混淆置换
在送入 Base62 转换前,先将递增的 32 位整数通过轻量级分组置换(如简化版 Feistel 密码或 Skip32)进行可逆的位混淆:
1 | |
通过这一层数学置换后:
ID = 1$\longrightarrow$ 输出混淆数0x29A1F8C3$\longrightarrow$ 短码9kL2xQID = 2$\longrightarrow$ 输出混淆数0x71E0B34A$\longrightarrow$ 短码mP8tZa
相邻的连续 ID 在外观上呈现完全不相关的随机分布,从根本上粉碎了自动化批量爬取的可能。
五、高并发读多写少架构:缓存分层设计
短链接系统是典型的极度读多写少场景(读写比通常在 $100:1$ 到 $1000:1$ 之间,一条促销短信批量推送后,短链可能在短时间内被数十万人并发点击)。
架构上必须保证重定向解析路径 99% 以上拦截在内存缓存层,严禁直击数据库:
1 | |
- 布隆过滤器(Bloom Filter)防缓存穿透:
- 攻击者可能恶意构造数百万个不存在的随机短码发起爆破;
- 在网关前置布隆过滤器,所有成功生成的短码均记录入布隆过滤器中。若过滤器判定不存在,直接秒回 404,完全不碰后端的 Redis 与 MySQL。
- 防缓存雪崩与热点 Key 保护:
- 为 Redis Key 设置随机过期时间偏移(如
Base_TTL + rand(100s, 600s)),避免大批短链集中到期失效; - 对于突发爆款营销活动(极高频单 Key),可开启本地内存缓存(如 Go
sync.Map/ Java Caffeine),在应用进程内直接拦截。
- 为 Redis Key 设置随机过期时间偏移(如
六、容量规划与数据库表结构设计
6.1 容量与短码长度估算
为什么绝大多数短链系统都设计为 6 位 或 7 位?
- 6 位 Base62 字符组合空间:$62^6 = 56,800,235,584$(约 568 亿 个唯一短链)
- 7 位 Base62 字符组合空间:$62^7 \approx 3,521,614,606,208$(约 3.5 万亿 个唯一短链)
假设一个日活千万级的大型平台,每天生成 1000 万条新短链: $$\frac{568 亿}{1000 万/天} \approx 5680 天 \approx 15.5 年$$
6 位短码足以从容支撑超大规模系统平稳运行 15 年以上!
6.2 数据库 DDL 表结构定义
针对 MySQL / PostgreSQL,推荐的短链映射表设计如下:
1 | |
⚠️ 关键细节提醒:
short_code字段必须显式声明字符集校对规则为utf8mb4_bin(二进制区分大小写),因为 Base62 严格区分a与A,若误用默认的utf8mb4_general_ci会导致大小写被视为同一个短码而引发唯一索引冲突!
七、业务风控与安全治理
在生产级落地中,短链接服务如果缺乏风控机制,极易被黑灰产利用作为洗流量、绕过审查与钓鱼欺诈的跳板:
- 防循环嵌套与套娃重定向:
- 恶意用户可能把短链本身再拿来生成新的短链(
A -> B -> C -> A),造成死循环重定向或耗尽服务资源; - 防御手段:在输入长链接解析阶段,校验 URL 的 Domain,严禁输入本系统域名或已知短链域名的 URL。
- 恶意用户可能把短链本身再拿来生成新的短链(
- 恶意网址钓鱼防御(安全黑白名单):
- 许多即时通讯软件信任知名的短链域名,诈骗分子常利用短链伪装恶意 APK 下载地址或博彩钓鱼网页;
- 防御手段:接入安全防护 API(如腾讯安全云检测、Google Safe Browsing),在生成短链前异步审查长链接合法性,并对违规目标支持一键封杀拉黑。
- 过期清理与冷数据归档:
- 对带有有效期的营销短链(如促销短信 3 天有效),配合定时任务或 TTL 机制自动下线,回收存储空间。
总结
一个看似简单的“短链接”服务,麻雀虽小五脏俱全。从最基础的输入输出,延展到工业级高可用架构,核心在于处理好以下几点:
- 协议层:坚定选择 302 临时重定向 确保监控与分析统计能力;
- 算法层:通过 分布式发号器 + 可逆置换混淆 + Base62 编码,兼得无冲突与抗扫描防遍历特性;
- 架构层:利用 布隆过滤器 + 多级缓存(Redis / 本地缓存),从容应对超高并发的读流量倾斜。
参考资料与延伸阅读
1. HTTP 协议标准规范
- 📖 RFC 9110: HTTP Semantics - Redirection 3xx — 官方权威解读 301 与 302/307 重定向行为与缓存规范
- 📖 MDN Web Docs: HTTP 重定向 — 永久重定向与临时重定向的浏览器差异
2. 分布式全局唯一 ID 架构
- 📝 美团技术团队:Leaf——美团分布式 ID 生成系统 — 深入剖析双 Buffer 异步号段模式与 Snowflake 方案
- 🚀 Baidu UidGenerator (GitHub) — 百度开源的高性能分布式 UID 生成器
- 🚀 Twitter Snowflake (GitHub) — 经典的 64 位分布式自增 ID 架构
3. 高并发缓存与算法工程
- 📖 RedisBloom 官方文档 — Redis 原生布隆过滤器设计与防缓存穿透
- 🔢 Austin Appleby: MurmurHash3 — 高性能非加密型雪崩哈希算法实现
- 🛡️ Google Safe Browsing API — 恶意网址与钓鱼链接自动化检测规范
