黑白老照片修复与智能上色指南

家里的老相册中,往往留存着长辈年轻时珍贵的黑白合影或老照片。然而受制于当年的感光胶片与冲印技术,再加上几十年的岁月沉淀,这些老旧影像普遍存在色彩缺失、噪点划痕、五官模糊等复合退化问题。

在社交媒体与短视频平台上,我们经常看到许多博主分享黑白老照片修复的神奇效果。实际上,在现代计算机视觉与深度学习领域,黑白影像的色彩还原与清晰度修复已经形成了非常成熟的技术流水线。

本文系统梳理老照片修复的核心工作流,并演示我开源的一站式本地工具 bubao/fixOldImg(内部名 fixImg):它把 DeOldify / DDColor 智能着色 + GFPGAN 人脸先验重建 + Real-ESRGAN 真超分 整合进一个带 Web 界面的应用,支持流程编排、SSE 实时进度、批量处理、历史记录与模型管理,同时提供 CLI 与 RESTful API,既适合单张快速处理,也能嵌入自动化流水线。

本文原发于 2024 年 10 月;当前版本按 2026 年 11 月重写。fixImg 已演进为「Node/Express 壳 + Python 常驻 worker」的流程化版本:新增 DDColor 上色引擎与 restore 划痕修复步骤,新增 Web 界面、批量处理、历史记录、方案预设与模型管理,CLI 与 API 参数也有变化(新增 --color-model / --ddcolor-size 与 pipeline 组合)。


一、效果对比:黑白老照片重获新生

在深入技术细节前,先来看看前沿深度学习模型对黑白旧照的上色与清晰度修复效果:

DeOldify 黑白老照片智能着色对比

GFPGAN 老照片人脸高清修复与超分辨率效果

从上图可以看出,算法不仅能够根据场景语义合理猜测衣着、肤色与环境背景的色调,还能在保留人物原貌神韵的前提下,对眼睫毛、瞳孔反光与发丝等微观细节进行高精度的先验重建。


二、老照片复合退化与「黄金处理流水线」

老照片的损坏不是单一维度的,通常包含三个层面的衰减:

  1. 色彩通道缺失:原始胶片只记录了亮度(Luminance/Y 通道),色度(Chrominance/UV 通道)完全为零;
  2. 全局退化与高阶噪点:纸张霉变、褪色划痕、底片粗颗粒以及多次翻拍扫描带来的压缩伪影;
  3. 人脸关键结构塌陷:面部区域尺寸小、失焦模糊,导致五官细节丢失。

单一模型无法同时完美解决所有问题,因此工业界与开源社区通常采用**分阶段流水线(Pipeline)**协同处理。fixImg 把这条流水线拆成四个可编排的阶段:

flowchart TD
    A["老旧照片
(灰度 / 划痕 / 模糊)"] -->|"可选: 去细划痕"| B["restore
黑帽运算 + inpaint"] B -->|"① 上色"| C["color
DeOldify / DDColor"] C -->|"② 人脸先验重建"| D["enhance
GFPGAN / RestoreFormer"] D -->|"③ 真超分放大"| E["scale
Real-ESRGAN"] E --> F["高清彩色复原照片
(RGB 输出)"]

💡 核心避坑:为什么推荐「先上色,后增强」?

fixImg 通过 workflow 参数支持四种工作流:color-enhance(先上色再增强,推荐)、enhance-color(先增强再上色)、color(仅上色)、enhance(仅增强);restore 为可选前置步骤,scale 始终在最后。实测经验是:不要颠倒上色与增强的顺序。

  • 若先放大/修复,后上色(❌ 不推荐):超分模型生成的高分辨率细节往往带有微小的合成伪影,上色模型(在标准图像分布上训练)面对超大尺寸像素矩阵时,极易产生大面积色彩漂移、色块斑驳(Color Bleeding),甚至冲淡原本修复好的睫毛与眼部细节;
  • 先着色,后放大/修复(✅ 最佳实践):上色模型在标准分辨率下快速基于语义理解推断出自然协调的全局色板(肤色、服装、背景);随后送入 GFPGAN 与 Real-ESRGAN,算法在完整的 RGB 空间中同步对五官轮廓与背景进行精细化去噪、纹理锐化与超分辨率重建,边缘过渡极为自然,人脸神态栩栩如生。

三、方案一:零代码在线体验(Hugging Face Spaces)

如果你手头只有一两张照片需要处理,不想在本地配置繁杂的 Python 深度学习环境,可以直接使用 Hugging Face 社区托管的在线 Spaces。

1. 第一步:使用 DeOldify 完成黑白着色

  1. 打开在线工具:leonelhs/deoldify (Hugging Face);
  2. 上传黑白照片,选择 Artistic(艺术模式,色彩更丰富饱和)或 Stable(稳定模式,色彩更自然保守);
  3. 调整 Render Factor(渲染因子,建议设置为 20~35 之间,数值越高细节越丰富,过高可能会有轻微色斑);
  4. 点击 Submit,等待计算完成后右键下载着色后的彩色照片。

2. 第二步:使用 GFPGAN 进行面部超清修复

  1. 打开在线工具:Xintao/GFPGAN (Hugging Face);
  2. 上传刚才下载好的彩色照片;
  3. 版本选择:推荐勾选 v1.4(细节最丰富逼真)或 RestoreFormer;
  4. Rescaling Factor:根据需要选择放大倍数(2x 或 4x);
  5. 点击提交,即可在右侧对比滑块中查看修复前后的惊艳变化并保存最终成品。

四、方案二:本地化一站式工具 fixImg

在线 Web 端处理单张图片很方便,但如果面临相册批量处理、数据隐私保护(不希望私人照片上传云端)、或者需要嵌入业务系统自动化运行时,本地运行才是终极方案。

fixImg 把 DeOldify、DDColor、Real-ESRGAN 与 GFPGAN 整合为一个完整应用:Node.js + Express 负责 Web 界面、REST API、参数校验、限流与历史持久化;一个常驻的 Python worker(server.py)负责模型加载与推理,模型在进程内缓存、只加载一次,前端通过 SSE 实时拿到每个阶段的进度。

1. 环境要求与一键安装

  • Node.js >= 22.5(使用内置 node:sqlite 做历史/预设持久化);
  • Python 3.10(requires-python = ">=3.10,<3.11"),推荐用 uv 管理虚拟环境与依赖锁定;
  • macOS ARM64 已验证;DDColor 推理按 cuda → mps → cpu 自动选择设备,可用 FIXIMG_DDDEVICE 覆盖。
1
2
3
4
5
6
# 克隆代码仓库
git clone https://github.com/bubao/fixOldImg.git
cd fixOldImg

# 一键启动:自动创建 venv、装依赖、下载模型并启动(幂等,已装好的会跳过)
bash scripts/start.sh --setup

脚本为幂等设计,已安装的部分会跳过;启动后访问 http://localhost:3000 即可打开图形界面。若不想自动安装,也可以手动准备环境:

1
2
3
4
5
6
7
8
9
10
11
12
13
# Python 环境(uv,依赖由 pyproject.toml + uv.lock 锁定)
uv venv venv --python 3.10
export UV_PROJECT_ENVIRONMENT="$PWD/venv" # 否则 uv sync 默认装到 .venv
uv sync

# Node.js 依赖
npm install

# 下载模型(缺失时)
bash scripts/fetch-models.sh

# 启动
npm start

两个环境层面的已知坑:① fastai 1.0.61 声明的 pynvx 仅支持 Python 3.6-3.8,basicsr / gfpgan 声明的 tb-nightly 仅训练日志用——pyproject.toml 已通过 [tool.uv] exclude-dependencies 排除二者,uv sync 可完整解析;② torch 2.0.1 的 macOS arm64 wheel 标签误标为 x86_64,首次 uv sync 后需把 venv/lib/python3.10/site-packages/torch-2.0.1.dist-info/WHEEL 的 Tag 改为 cp310-cp310-macosx_11_0_arm64,否则可能报平台不兼容。

2. 模型下载与管理

所有权重统一放在 models/ 下,模型清单(来源、大小、sha256 校验值)集中定义在 models.config.json,新增模型只需在其中登记。模型不会在首次推理时自动下载,需要提前准备:

1
2
bash scripts/fetch-models.sh                    # 默认含 DDColor-T(约 210MB)
DDCOLOR_LARGE=1 bash scripts/fetch-models.sh # 追加 DDColor-L(约 870MB)

脚本幂等且带 sha256 校验:已存在且校验通过则跳过,不匹配则重下,结果记录在 models/.sha256sums。DDColor 权重走 HuggingFace 缓存(支持断点续传),其余模型走 GitHub / HF 直链。

也可以在 Web 界面顶部「模型管理」中按需操作:清单按上色 / 增强 / 超分分组,展示每个模型的安装状态、大小与说明;未安装的可一键下载(SSE 实时进度、.part 断点续传);模型懒加载——首次推理用到才加载进 worker 并常驻,已加载的可一键卸载释放内存,弹窗底部还会实时显示 MPS 已分配内存。

分组模型大小说明
上色colorize-artistic(DeOldify)约 243MB经典上色,速度快、偏艺术化
上色ddcolor-tiny(DDColor-T)约 210MBConvNeXt-Tiny,MPS 可用,质量与速度均衡
上色ddcolor-large(DDColor-L)约 870MBConvNeXt-L,效果最佳
增强gfpgan-1.2 / 1.3 / 1.4约 332MBGFPGAN 人脸修复,v1.4 为默认
增强restoreformer约 277MB高保真人脸修复
超分realesr-general-x4v3约 4.7MBReal-ESRGAN 真实世界超分

3. Web 界面操作流程

  1. 上传图片:拖拽或点击选择需要处理的老照片(单文件 ≤ 10MB);
  2. 选择方案:可选用已保存的预设,或手动设置工作流;
  3. 调整参数:GFPGAN 版本、上色模型、缩放倍数、划痕修复开关;
  4. 开始处理:系统按步骤执行,SSE 实时推送 read / prepare / restore / color / enhance / scale / write / done 各阶段进度;
  5. 查看结果:对比原图与处理效果并下载;「历史记录」页签可回看、下载、删除(原图与结果图长期保留在 data/results/)。

五、命令行与 API 集成

1. CLI 单步处理

CLI 遵循「先着色、后高清」的原则,但单进程只执行单步,组合流程需分多次调用:

1
2
3
4
5
6
7
8
# 单步:GFPGAN v1.4 人脸修复 + 2x 超分
venv/bin/python fix.py --input input/photo.jpg --output output/result.png --version v1.4 --scale 2

# 单步:DeOldify 上色
venv/bin/python fix.py --input input/photo.jpg --output output/color.png --color-model deoldify

# 单步:DDColor-T 上色(轻量档,MPS 可用)
venv/bin/python fix.py --input input/photo.jpg --output output/color.png --color-model ddcolor --ddcolor-size tiny

对应整本相册的批量跑批脚本:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#!/bin/bash
for img in ./input/*.{jpg,png,webp}; do
[ -f "$img" ] || continue
filename=$(basename -- "$img")
name="${filename%.*}"
echo "正在处理: $filename"

# 1. 上色
venv/bin/python fix.py --input "$img" --output "./output/${name}_color.png" --color-model ddcolor --ddcolor-size tiny
# 2. 面部与背景超分增强
venv/bin/python fix.py --input "./output/${name}_color.png" --output "./output/${name}_final.png" --version v1.4 --scale 2
# 清理中间过渡文件
rm "./output/${name}_color.png"
done
echo "✅ 所有老照片修复完成!"

2. pipeline 组合 + SSE 实时进度(Web API)

Web API 的 pipeline 才支持一次请求完成多步(JSON 数组,步骤为 color / enhance / restore / scale),配合 stream=true 可拿到 SSE 进度:

1
2
3
4
5
6
curl -N -X POST http://localhost:3000/api/v1/gfpgan \
-F "input=@input/photo.jpg" \
-F 'pipeline=["restore","color","enhance","scale"]' \
-F "color_model=ddcolor" -F "ddcolor_size=tiny" \
-F "enhance_version=1.4" -F "scale=2" \
-F "stream=true"

SSE 事件顺序:progress(阶段进度)→ done({"ok":true})→ history(历史已落库)→ result(含 downloadUrl);失败时返回 error。旧版 version 单步调用(1.2 / 1.3 / 1.4 / deoldify)仍兼容。

3. 批量处理与结果下载

批量接口最多 20 张,worker 串行处理(模型非线程安全),失败自动重试 1 次,最后把成功结果打成 zip:

1
2
3
4
5
curl -N -X POST http://localhost:3000/api/v1/gfpgan/batch \
-F "input=@input/a.jpg" -F "input=@input/b.jpg" \
-F 'pipeline=["enhance","scale"]' \
-F "enhance_version=1.4" -F "stream=true"
# batch_done 事件返回 zip 路径,result 事件给出下载链接

结果为一次性下载(下载后即从暂存区清理):

1
curl -OJ http://localhost:3000/api/v1/gfpgan/result/<fileId>

4. 历史记录与方案预设

1
2
3
4
5
6
7
8
9
10
11
# 历史列表(分页,倒序)
curl "http://localhost:3000/api/v1/history?page=1&pageSize=20"
# 原图 / 结果图
curl -OJ "http://localhost:3000/api/v1/history/1/image?type=result"
# 删除记录(同步删除原图/结果图)
curl -X DELETE http://localhost:3000/api/v1/history/1

# 保存 / 复用常用参数组合
curl -X POST http://localhost:3000/api/v1/presets \
-H "Content-Type: application/json" \
-d '{"name":"黑白修复","options":{"workflow_key":"color-enhance","pipeline":["color","enhance"],"enhance_version":"1.4","scale":2}}'

六、底层技术解密:为什么这套组合拳效果如此出众?

技术模块核心算法与网络结构核心贡献与定位
DeOldifySelf-Attention GAN + NoGAN 渐进训练解决传统着色模型颜色苍白和颜色逸散问题,实现语义驱动的自然着色;速度快、风格偏艺术化。
DDColor双解码器 + Query Transformer(ConvNeXt-T / L)达摩院方案,色彩更自然协调;T 档轻量(MPS 可用),L 档高质量。
GFPGANStyleGAN2 预训练人脸语义先验(GFP)+ 空间特征变换(SFT)针对面部重度破损区域,通过语义代码补全缺失的高频几何先验(睫毛、反光、纹理)。
Real-ESRGANSRVGGNetCompact + 高阶退化建模专门模拟真实世界复杂的模糊、噪点与 JPEG 压缩伪影,scale 阶段做真超分而非插值放大。
restore黑帽运算 + 连通域过滤 + cv2.inpaint提取细划痕/折痕暗线并修复,过滤大块暗部避免误伤眼睛头发;零额外依赖。
  1. DeOldify 的 NoGAN 技术:传统的 GAN 网络在训练后期往往会出现剧烈的色彩抖动与不稳定性。DeOldify 提出了 NoGAN 架构,先用常规损失进行大部分生成器预训练,最后仅用极短的对抗性微调(NoChaser),在避免怪异幻觉的前提下获得逼真的质感;
  2. DDColor 的双解码器:一路解码颜色查找表(LUT),另一路解码逐像素颜色,再由 Query Transformer 融合,兼顾全局色彩一致性与局部细节,对亚洲人像的肤色还原通常比 DeOldify 更自然;
  3. GFPGAN 的生成式人脸先验(GFP):传统几何先验(如面部关键点 landmark 或人脸分割)在严重破损模糊的照片上根本检测不到。GFPGAN 另辟蹊径,巧妙利用在大规模高质量人脸数据集上预训练好的 StyleGAN2 潜空间(Latent Space),通过空间特征变换(SFT)将真实人脸丰富的微观几何结构“映射回”受损照片,从而在五官几乎糊成一片的情况下依然还原出自然的神态;
  4. Real-ESRGAN 的真超分:scale 阶段统一把中间结果放大到 基准尺寸 × scale(1–4 倍),复用进程内常驻的 Real-ESRGAN;超大图(>2048)在超分时回退为高质量插值,避免显存/内存爆掉。

七、进阶避坑与疑难排查

  1. 首次推理明显偏慢:模型是懒加载的,第一次用到某个模型才加载进 worker 进程。可以在「模型管理」里提前加载,或接受首次等待;已加载的模型可一键卸载释放内存(卸载只影响 worker 进程,不删除权重文件);
  2. 显存/内存吃紧:减小 --scale(1 表示保持原尺寸修复、不放大),或优先使用 DDColor-T 等轻量模型;macOS 上 DDColor 走 MPS,可在模型管理弹窗观察 MPS 占用;
  3. 亚洲人与欧美肤色偏差:DeOldify 的训练集包含较多西方历史影像,偶尔会给亚洲人脸赋予偏红或偏小麦色的色调。此时可换用 DDColor(--color-model ddcolor),或微调 DeOldify 的 render_factor(通常调低到 21~24 能显著降低过度饱和);
  4. 大面积物理折痕与破损黑洞:restore 只处理细划痕/折痕,若老照片存在大面积撕裂、缺角,建议先接入微软开源的 Bringing-Old-Photos-Back-to-Life 进行全局划痕检测与 Patch 填充,再送入本流程;
  5. 接口侧限制:单文件 ≤ 10MB(超出返回 40001),批量最多 20 张且串行执行,scale 取值 1–4;请求过频会被限流(40004);结果文件为一次性下载,重复请求返回 40400;
  6. 待验证项(截至重写时):restore 的细划痕去除效果、组合流程与分步执行的目视一致性、批量 10 张级真实模型验证尚在收敛中;水印参数当前未接入后端;HYPIR 因依赖 Stable Diffusion 2.1 base、资源代价过高,评估后不接入当前版本。

八、参考资料与开源仓库

1. 核心开源算法与项目

2. 在线演示与 Spaces


黑白老照片修复与智能上色指南
https://bubao.github.io/posts/a2fe09d4.html
作者
一念
发布于
2024年10月11日
许可协议