面向版图模板识别的 AI 技术路径探索

本报告延续 RoRD 初始报告的方向，进一步聚焦 RoRD 在 IC 版图模板识别任务中的适配问题：如何去掉不必要的自然图像模块，如何让模型学习版图几何结构，以及如何处理大规模版图中的多尺度匹配。

项目目标：赋能 DTCO

本项目希望打造一个 AI 版图分析引擎，用 RoRD 技术实现 IC 版图的自动化解构，打通设计-制造反馈闭环，赋能先进工艺节点的 PPA 优化。

方向	目标
DTCO 加速	提供数据透视工具，帮助优化设计-工艺协同流程。
PPA 提升	自动化识别标准单元和 IP 模块，实现快速面积、密度和拥塞分析。
良率保障	识别风险图形，在设计源头规避潜在制造缺陷。
IP 验证	自动化验证 IP 核在最终版图中的实现一致性。

版图识别的核心挑战

要实现高效、精准的自动化模板识别，需要首先面对以下四类核心挑战。

挑战	说明
数据稀缺性	监督学习依赖大量精细标注数据，但版图领域中像素级或边界框标注成本极高。
几何多变性	IC 版图中常见 8 个方向：0、90、180、270 度旋转，以及这些角度下的水平或垂直镜像。
动态扩展性	IP 核库、标准单元库规模庞大且动态更新，模型需要适应新模板而不频繁重训。
结构复杂性	IC 版图包含高密度、精细几何图案和复杂层次结构，对特征表征提出很高要求。

AI 技术版图对比

原报告使用交互式标签页展示技术路线。这里沿用 Markdown 表格表达，以适配当前博客文章架构。

特性维度	U-Net	YOLO	Transformer / ViT	SuperPoint	RoRD
核心原理	语义分割	目标检测	全局自注意力	自监督局部特征	旋转鲁棒局部特征
版图识别优势	像素级精确轮廓	检测速度快	全局上下文理解强	减轻标注负担，新模板适应性较好	旋转鲁棒性强，具备零/少样本潜力
版图识别挑战	标注成本极高	小目标密集、类别爆炸	数据量需求巨大，计算复杂度高	纹理稀疏和重复结构困难	大规模匹配效率仍需优化
数据需求与策略	大量像素级标注	大量边界框标注	巨量多样化数据预训练	合成数据与同形适应	合成旋转数据与旋转单应性增强
新模板适应性	差，需要重训	差，需要重训	中，依赖预训练和微调	良好	优秀
旋转鲁棒性	低	低到中	中，依赖数据	中到高	非常高

技术路线摘要

方法	核心流程
U-Net	输入图像 -> 编码器 -> 解码器 -> 分割掩模
YOLO	输入图像 -> 骨干网络 -> 特征融合 -> 边界框与类别预测
Transformer / ViT	输入图像 -> 图像分块与线性嵌入 -> Transformer 编码器 -> 特征表示
SuperPoint	输入图像 -> 共享 CNN -> 兴趣点检测头 -> 描述子计算头
RoRD	输入图像对 -> Vanilla D2-Net 与 RoRD 特征提取 -> MNN 匹配 -> 对应关系集成与 RANSAC

RoRD 深度解析：为何是它？

RoRD（Rotation-Robust Descriptors and Orthographic Views for Local Feature Matching）通过结合数据增强学习不变性描述子与正交视点投影，应对局部特征匹配在极端视角变化下的挑战。

组件一：正交视图生成

RoRD 认为，正交视图能增加视觉重叠以辅助匹配，但仅有正交视图不足以应对极端视角变化，仍需旋转鲁棒特征配合。

主要方式包括：

1. 基于表面法线：利用深度信息生成 3D 点云，计算主导平面的表面法线，并生成正交视图。
2. 基于逆透视变换（IPM）：通过固定单应性矩阵将相机图像转换为鸟瞰图。

组件二：旋转鲁棒描述子学习

这是 RoRD 实现旋转不变性的核心。目标是学习到即使图像发生平面内旋转，局部特征描述子也能保持稳定且具有判别力。

旋转单应性变换为：

$$H_R(\theta) = \begin{bmatrix} \cos\theta & -\sin\theta & 0 \\ \sin\theta & \cos\theta & 0 \\ 0 & 0 & 1 \end{bmatrix}$$

关键技术：

1. 数据增强：对训练图像施加随机平面内旋转单应性变换 $H_R(\theta)$，旋转角度在 0 到 360 度之间均匀采样。
2. 网络结构：基于 D2-Net 的检测与描述联合学习框架，使用 VGG-16 作为骨干。
3. 训练目标：使原始图像块与几何变换后的对应图像块在特征空间中尽可能接近。

组件三：对应关系集成与筛选

RoRD 引入对应关系集成技术，并使用 RANSAC 进行几何验证，以提升最终匹配结果的精确性。

1. 双头 D2-Net：一个头按原始 D2-Net 方式训练，另一个头使用旋转增强数据训练。
2. 独立匹配与合并：两个头分别检测关键点、计算描述子，并使用 MNN 建立初始匹配。
3. RANSAC 几何验证：在合并后的匹配集中筛除外点，保留几何一致的匹配。

针对 IC 版图的 RoRD 模型调整

原始 RoRD 面向真实世界的三维场景图像。要应用于 IC 版图识别，必须围绕版图数据的二值、稀疏、曼哈顿几何和重复结构进行调整。

1. 移除正交视图生成组件

原始 RoRD 中的正交视图生成用于校正相机视角导致的透视畸变。但 IC 版图数据，如 GDSII 和 OASIS，本质上是精确的二维几何矢量数据，本身就是没有透视失真的鸟瞰图。

因此，在本任务中，正交视图生成组件是不必要的，可以直接移除。光栅化后的版图图像可直接作为模型输入，从而简化流程并避免插值伪影。

2. 适应稀疏、二值化的特征

IC 版图图像通常只有图形层和背景，大片区域为空白，并且包含大量重复结构，例如 SRAM 阵列。这对基于自然图像预训练的特征提取器构成挑战。

调整策略：

1. 聚焦角点特征：让 detector 更关注多边形顶点和边缘，而不是空白区域或简单直线。
2. 定制数据增强：放弃色彩、光照增强，重点使用旋转、缩放、镜像等几何增强。
3. 学习几何描述子：让 descriptor 学习局部几何构型，而不是自然图像纹理。

3. 优化损失函数：学习几何而非纹理

为了强制模型学习 IC 版图的几何结构，而不是自然图像中的纹理特征，本报告对原始损失函数进行定制。核心思想是加入针对二值化、稀疏性、曼哈顿几何和重复结构的约束项。

总损失函数为：

$$L_{\text{total}} = L_{\text{det}} + L_{\text{desc}}$$

检测损失：适应二值化图像

检测损失经过微调，以更有效处理 IC 版图的黑白二值化特性，确保边界检测准确性：

$$L_{\text{det}} = \text{BCE}(\text{det}_{\text{original}}, \text{warp}(\text{det}_{\text{rotated}}, H^{-1})) + 0.1 \times \text{SmoothL1}(\text{det}_{\text{original}}, \text{warp}(\text{det}_{\text{rotated}}, H^{-1}))$$

其中：

1. BCE 损失作为主导项，适合黑白像素的检测任务。
2. Smooth L1 损失作为辅助项，对几何边缘定位更鲁棒，有助于减少重复结构中的误检。

几何感知描述子损失

描述子损失由增强版 Triplet Loss 和三个针对 IC 版图几何特性的正则项组成：

$$L_{\text{desc}} = L_{\text{triplet}} + 0.1 L_{\text{manhattan}} + 0.01 L_{\text{sparse}} + 0.05 L_{\text{binary}}$$

Triplet Loss：L1 距离增强版

原始 Triplet Loss 中的欧氏距离（L2）被替换为更适合网格状曼哈顿几何的曼哈顿距离（L1）：

$$L_{\text{triplet}} = \max\left( 0, \|f(a)-f(p)\|_1 - \|f(a)-f(n)\|_1 + \text{margin} \right)$$

几何正则化项

损失项	作用
$L_{\text{manhattan}}$	强制描述子对 90 度旋转保持几何一致性，直接面向版图中的旋转对称和重复结构。
$L_{\text{sparse}}$	对描述子施加 L1 正则化，鼓励生成稀疏描述子，减少空白区域无效特征。
$L_{\text{binary}}$	在描述子符号上计算距离，强化几何边界特征学习，并弱化灰度变化影响。
几何感知困难负样本挖掘	优先选择曼哈顿变换后与 anchor 几何相似但结构不同的负样本，帮助模型区分外观相似但功能不同的重复图形。

4. 引入多尺度匹配策略

真实应用中，待匹配模板与完整大版图之间存在巨大尺寸差异。模板可能只有几百像素，而完整大版图可能达到数十万像素，直接匹配不可行。

可采用以下策略：

1. 滑动窗口：对大版图采用固定大小窗口滑动，在每个窗口中独立提取特征，再映射回全局坐标。
2. 图像金字塔：为模板构建多尺度图像金字塔，在未知尺度下寻找匹配。
3. 尺度抖动：训练阶段引入随机尺度变化，从根本上提升描述子的尺度鲁棒性。

初步尝试

以下是 RoRD 进行集成电路版图匹配的样例。

keypoints	raw-match	RANSAC-match

应用与未来展望

未来工作重点

1. 模型优化：针对版图稀疏、二值化特性，继续优化 RoRD 网络结构与训练策略。
2. 提升判别力：研究新损失函数，增强描述子在高度重复结构区域中的区分能力。
3. 大规模匹配加速：实现并优化近似最近邻（ANN）搜索，以支持海量模板库匹配。
4. 端到端系统构建：将 RoRD 集成到完整的版图分析流程中，支持电路分析与缺陷诊断。

项目规划

时间节点	目标
2025 年 7 月前	完成针对 IC 版图的 RoRD 模型代码编写与初步调试。
2026 年 2 月前	完成私有数据集标注，并完成模型训练与验证。
2026 年 6 月前	完成性能优化与代码重构，撰写论文并尝试投稿。

小结

这份报告相比最初版本更进一步：它不只说明 RoRD 为什么适合版图模板识别，还明确提出了面向 IC 版图的适配路径。核心是保留 RoRD 的旋转鲁棒描述子和几何验证框架，移除自然图像任务中的冗余模块，并通过几何感知损失、多尺度匹配和版图专用增强，让模型真正学习版图结构。