如何高效使用AI工具批量去重图片？

在一次为电商平台清理库存图片的项目中，技术团队面对上万张商品图，仅靠肉眼比对根本不可能完成。恰巧公司引入了基于深度学习的AI去重模型，几分钟内便把相似度超过90%的图片归类，手动确认的工作量从数天骤降到数十分钟。

AI 去重的核心原理

主流方法依赖感知哈希（perceptual hash）或卷积特征向量。前者通过对图像做降采样、灰度化、离散余弦变换后生成短码，计算汉明距离即可判断相似度；后者则让预训练的ResNet、EfficientNet等网络输出128维或256维特征，再用余弦相似度或欧氏距离进行聚类。实验数据显示，特征向量法在识别轻微裁剪、亮度变化的图片时误报率低于0.1%，而感知哈希在处理大批量低分辨率素材时速度可提升30%。

选型指南：从轻量到高精度

• ImageHash（Python库）：适合数千张图片的快速筛查，CPU 环境下约 0.8 ms/张。
• FAISS + CLIP 特征：GPU 加速后可达 2000 张/分钟，误差率 <0.2%，适合海量电商图库。
• 商用 SaaS 如 ClearImage、Adobe Lightroom AI：提供一键批量去重、云端存储和审计日志，适合对合规有要求的品牌方。

实战流程：脚本化批处理

典型的自动化链路包括：

• 抓取原始图片路径，统一转为 PNG 或 JPEG。
• 使用 torchvision.transforms 将图片缩放至 224×224，保持宽高比。
• 调用 CLIP 模型 model.encode_image 生成特征向量。
• 将向量写入 FAISS 索引，执行 search 并设定阈值 0.85。
• 依据返回的相似组自动生成待删除列表，交由业务方二次确认。

import faiss, torch, clip, os
model, preprocess = clip.load("ViT-B/32")
index = faiss.IndexFlatL2(512)
vectors = []
paths = []
for f in os.listdir("imgs"):
    img = preprocess(Image.open(os.path.join("imgs", f))).unsqueeze(0)
    with torch.no_grad():
        vec = model.encode_image(img).cpu().numpy()
    vectors.append(vec)
    paths.append(f)
index.add(np.vstack(vectors))
D, I = index.search(np.vstack(vectors), k=5)
# 根据 D、I 过滤相似度 > 0.85 的对

如果把这套流水线比作装修工序，AI 就是那把能在几秒内测量墙面平整度的激光仪——省时省力，却仍需人工把最终的细节抹平。