检测真实世界图像中的交通标志：德国交通标志检测基准外文翻译资料

英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

检测真实世界图像中的交通标志：德国交通标志检测基准

Sebastian Houben¹，Johannes Stallkamp¹，Jan Salmen¹，Marc Schlipsing¹和Christian Igel

摘要：交通标志的实时检测是确定交通标志在自然图像中的位置的任务，是具有高度工业相关性的具有挑战性的计算机视觉任务。已经提出了各种算法，并且支持交通标志的检测和识别的高级驾驶员辅助系统已经进入市场。尽管存在许多相互竞争的方法，但对于该领域的最新技术尚未达成共识。这可以解释为缺乏对这些方法的全面，无偏见的比较。我们的目标是通过2013年IJCNN（国际神经网络联合会议）竞赛中的“德国交通标志检测基准”来缩小这一差距。我们引入了用于交通标志检测的实际基准数据集，以及精心选择的评估指标，基线结果和用于比较方法的Web界面。在我们的评估中，我们将符号检测与分类分开，但仍然衡量相关类别符号的性能，以便对特定解决方案进行基准测试。所考虑的基线算法代表一些最流行的检测方法，例如基于Haar特征的Viola-Jones检测器和依赖 于HOG描述符的线性分类器。此外，评估了最近提出的在基于模型的类似霍夫的投票方案中利用形状和颜色的特定于问题的算法。最后，我们介绍了IJCNN竞赛中性能最佳的算法。

I.介绍

许多真实世界的计算机视觉应用需要精确检测视频图像中与上下文相关的对象。交通标志识别是一个具有挑战性的例子，其中算法必须应对自然且因此复杂的动态环境，高精度要求和实时约束。因此，由于高工业相关性，已经提出了许多用于交通标志检测和识别的方法。

汽车行业已经部署了具有交通标志识别功能的高级驾驶员辅助系统，通常限于可能的标志子集。在这种背景下，令人惊讶的是，缺少对交通标志检测系统的广泛无偏见的比较，并且没有足够大的基准数据集可以免费获得。因此，我们提出了德国交通标志检测基准（GTSDB）。它包含大量现实世界的数据集以及系统评估协议，该协议由公共Web界面支持。

交通标志识别过程涉及两个主要阶段，即检测图像或视频流中的符号以及随后的识别（即，分类）检测到迹象。在这项研究中，我们关注检测步骤有几个原因。首先，尽管在实践中希望两个阶段共享计算资源（例如，对相同的特征进行操作），但是它们确实可以独立地考虑和评估。这样可以更好地理解处理链，并找出系统的缺点 - 从而找出改进的前景。其次，已经存在用于评估交通标志图像的分类性能的高质量，免费可用的基准（例如，[1]）。已经表明，最先进的分类方法可以在先前的最优检测中获得人类竞争性能[1]，[2]。因此，人们可能会认为最终的标志分类问题可以被视为已经解决。

评估交通标志检测算法的性能比分类阶段的基准测试更困难。由于许多系统专注于某些类别的交通标志，如速度限制，我们建议根据其在三大类标志上的表现来评估算法。已经证明，一个提供在线提交和评估的网站能够在很长一段时间内高度激发参与（例如，想想米德尔伯里立体视觉基准[3]）。因此，我们建立了一个允许上传，评估和排名解决方案的Web界面。

针对特定问题[4]，[5]，[6]以及相当普遍的物体检测 方法[7]，[8]，[9]都已提出用于交通标志检测。我们实 施并评估了它们的代表性选择作为基线算法。从后一类， 我们考虑基于Haar样特征的Viola-Jones型探测器[10]，依赖于HOG描述符[11]的线性判别分析，以及颜色模板匹配方法。由于交通标志被构造成易于被人类“检测”，因此可以利用明确定义的线索（例如颜色和形状）来设 计强大的机器视觉算法。在利用这些线索的专用算中，我们考虑了[6]中提出的最新方法。在我们的实验比较中， 我们对一般方法和特定问题算法的比较问题特别感兴趣。可以预期，后者可以获得更好的结果。

在下文中，我们简要回顾了驾驶员辅助系统领域中成功建立的基准。然后我们在Sec中介绍我们的数据集。III和我们在第二节中的评估程序。IV。第五节描述了所考虑的基线检测算法和实证结果。在本文件撰写时， IJCNN竞赛阶段刚刚结束。我们在第二节介绍了表现最佳的方法的结果。VI。

II.相关工作

驾驶员辅助领域的许多基准一旦被提供就已被广泛接受。在大多数情况下，贡献不仅限于发布新数据，还包括适当评估方法的定义。在图像中检测人是一项非常具有挑战性的任务，是各种安全相关应用所需要的。因此，许多用于行人检测的数据集已经发表（例如， [12] ， [13] ， [14] ，[15]）enpeda ..项目1（另见[16]）提供九个数据集，用于评估不同的计算机视觉技术，包括立体视觉，光流估计，物体检测和跟踪。

交通标志检测是目前经过充分研究和广泛的研究领域。Moslash;gelmose等人的调查。[17]详细分析了最新的发展。大 多数方法利用交通标志的两个突出特征：颜色和形状。

由于不同的自然光照条件，颜色的处理很困难，并且已经应用了许多启发式[6]，[18]。关于形状，可以说目前有两种范例：模型 - 基于和Viola-Jones的方法。

基于模型的方法依赖于稳健的边缘检测，旨在将它们连接到正多边形或圆形[19]，[20]，通常通过霍夫式投票方案或模板匹配。类似Viola-Jones的探测器计算了许多快速而强大的特征，并试图通过使用不同的可能弱分类器来识别训练模式[21]。除了我们的基准之外，还有一些公开可用的数据集，

这些数据集在这里很重要：夏季瑞典交通标志数据集[22]2提供了大量20,000个来自视频序列的图像，其中20％已被作者注释。自2009年以来，MASTIF项目3[23]开始每年组装带有交通标志序列的数据包，包含1,000到6,000张图像。立体波单数据库4（参见[24]）包括847个图像，其中包含来自10个不同类别的273个路标。

但是，这些数据集由连续的视频序列组成，大多数是在一日游中记录的。因此，相同的交通标志实例将在数据集中重复多次。更重要的是，照明条件和驾驶场景（农村，城市，高速公路）几乎没有变化。我们尝试通过提供单个图像并仅呈现大多数交通标志实例一次来解决此问题5（参见第III节）。

1http://www.mi.auckland.ac.nz/index.php?option= com contentamp;view=articleamp;id=43

2The currently available URL is http://www.cvl.isy.liu.se/ research/traffic-signs-dataset/download 3http://www.zemris.fer.hr/tilde;ssegvic/mastif/ datasets.shtml 4www.itowns.fr/benchmarking.html

5实际上有一个交通标志实例恰好两次出现，在数据集发布之前我们没有意识到这一点。

6http://www.unece.org/fileadmin/DAM/trans/conentn signal. Pdf

III.数据集

我们的基准数据集的图像是从德国波鸿附近记录的序列中选择的，在2010年春季和秋季的几次巡演中。它们捕捉了白天和黄昏的不同情景（城市，乡村，高速公路），具有各种天气条件。图1显示了几个例子。所记录的交通标志由“维也纳公路标志和信号公约”规范，协调其在62个国家的出现6。

A．数据收集和格式

我们使用具有自动曝光控制功能的Prosilica GC 1380CH相机，记录Bayer-pattern [25]图像，分辨率为1360times;1024

像素。对于最终的基准数据集，图像被剪裁为1360times;800像素，因为下部主要显示前盖，因此不是任务相关的。

使用边缘自适应恒定色调去马赛克方法[26]，[27]将数据集中的所有图像转换为RGB色彩空间，并以原始PPM文件格式存储。图像中可见的所有相关交通标志都是手动标记的。为了方便起见，地面实况数据存储在外部CSV 文件中，并且还包含在每个PPM文件注释中。

B．交通标志

尺寸在较长边缘的16到128像素之间变化。由于符号类型和透视变形的纵横比，边界框不一定是方形的。我们的最终数据集包括900个包含1206个交通标志的完整图像。我们将数据集随机分成训练（600幅图像， 846个交通标志）和一套评估集（300幅图像，360个交通标志）。如果图像包含相同的真实世界交通标志，则确保它们被分配到同一组。然而，大多数交通标志实例仅在我们的数据集中出现一次。因此，训练集可以进一步分开，例如，用于交叉验证。每个图像用可见交通标志的矩形感兴趣区域（ROI）特定交通标志类别（例如，停止标志，速度限制60，速度限制80等）注释。虽然我们显然希望区分检测和分类的任务，但我们发现将符号划分为三个与竞争相关的类别是有用的，这些类别适合几种已知的交通标志检测算法的属性。类别是禁止标志，强制性标志和危险标志（参见表I）。少数注释标志不属于任何类别，因此对竞争本身并不重要。尽管如此，为了完整起见，我们确实提供了这些注释。

IV.评估程序

基准测试要求所有参与者仅使用训练集来构建和训练他们的探测器。所有学习和优化，如分类器培训，模型选择，对训练数据执行设计决策，参数调整等。评估数据集仅用于性能评估，不包含groundtruth数据。它可以用于半监督[28]和转导学习[29]，但这显然不在我们的基准范围内。最终评估以及与其他算法的比较在Web服务器上单独执行（参见Sec.IV-B）。

图1.来自数据集的一些示例图像。它们代表了天气，照明和驾驶场景的差异。

表一

每个交通标志都分为三类。第四组包含所有与比赛无关的标志

对训练数据执行设计决策，参数调整等。评估数据集仅用于性能评估，不包含groundtruth数据。它可以用于半监督[28]和转导学习[29]，但这显然不在我们的基准范围内。最终评估以及与其他算法的比较在Web服务器上单独执行（参见Sec.IV-B）。

1. 方法

给定图像上的典型对象检测算法的输出包含感兴趣的矩形区域的列表。通过应用Jaccard相似系数7，针对每个基准G评估每个提交的ROI S

使用具有阈值的二进制损失函数Jb （例如，如果Jlt;0.6则Jb = 0，否则Jb = 1）。如果多个提交的ROI与具有高于给定阈值的Jaccard系数的地面实况ROI相交， 则使用具有最大值的那个，其他被忽略，即，它们既 不计为命中也不计为未命中。通过选择竞争检测算法的类别，该组地面实况交通标志是固定的。这也意味着检测来自另一个但相关类别的符号被视为误报。

1. 基准网站

我们提供了一个基准网站（参见图2），允许参与者在线评估他们的结果：http://benchmark.ini.rub.de. 它需要上传结果文件和选择交通标志类别。结果在服务器端计算并立即显示在特定类别的精确回忆图中。允许并希望让参与者提供多个结果文件以构建性能图的连接前端。由于这可以允许将参数过度拟合到评估数据集，因此参与者可以针对一种检测方法上载的结果的数量是有限的。此外，竞争阶段期间的评估仅在整个地面实况数据的子集上执行。比赛结束后，将显示从完整数据集计算出的最终结果。

为了定义一个线性排名来提名团队中的明显赢家，我们使用精确召回曲线下面积（0 - 100％）作为最终得分。

总之，服务器端评估结合给定的上传限制和初步的部分评估，可以对所有提交的结果进行客观评估，同时防止在基准测试期间作弊。然而，不能有效地防止所有评估图像的手动注释。

V. 基线算法

我们提供了许多基线算法。这些作为示例如何使用基准数据，并将最初激励基准中的竞争元素。我们专注于使用训练集来学习和参数化这些算法。

A.基线算法

提供了三种已建立的检测算法，即：Viola-Jones检测器，基于HOG特征的线性分类器，以及表示在过去几年中提出的几种类似算法的基于模型的方法[4]，[5]，[20]。

用于驾驶员辅助系统的视觉算法通常需要实现强大的实时约束。因此，我们特

图3.用于Viola-Jones探测器的Haar小波特征的基本类型。

别关注此处评估的算法的实时能力。但是，这不是参加比赛所必需的。相反，我们假设实时和非实时算法的比较可以为快速检测器的未来发展提供重要的提示。

1)Viola-Jones探测器：Viola和Jones于2001年推出的探测方法已成为最受欢迎的实时物体探测框架之一[10]。在面部检测问题上提出了原始结果，但该方法可以很容易地转移到其他领域。检测器基本上是二进制线性分类器的级联，其随后被应用于滑动窗口输入。只要在当前阶段对其进行了正确分类，就会通过级联传递一个示例。每个阶段由一定数量的加权1维阈值分类器组成，这些分类器由单个特征提供。

在分阶段训练期间，每个级联阶段保证满足最初选择的检测和假阳性率，使用AdaBoost训练[30]。因此，人们能够在给定阶段数的情况下估计最终性能。阶段n的训练集由所有正例和在阶段n-1之后剩余的假阳性给出，其中第一阶段的那些是从完整图像中随机选择的。

该方法的实时能力主要由两个属性实现：大多数滑动窗口仅由包含很少分类器/特征的第一阶段评估。训练期间提供的功能是简单的类Haar滤波器，可以使用预先计算的灰度值积分图像进行廉价评估。实际上，一旦在完整图像上进行预计算，所有基本类型的类Haar特征（参见图3）的响应通过5-8个加法/减法和单个除法计算，与位置和大小无关。

在检测

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[20035]，资料为PDF文档或Word文档，PDF文档可免费转换为Word