总体研究方案
车辆的自主驾驶是一个多学科综合集成的研究领域，具有理论与实践密切结合的特点。本项目拟在已有多年研究成果的基础上，首先开展广泛深入的理论探索与仿真研究，然后利用现有的自主车试验平台进行充分的实验验证，在修正完善理论的同时, 改进和提高自主车的性能，并探索发现新的理论问题进行深层次的研究，不断推动研究工作向深度发展，从而确保研究目标的圆满实现。整个研究过程实行的是一条“实践－理论－实践”的总体路线。项目研究需要解决的关键理论技术都将利用仿真环境和实验平台进行实验验证，并不断改进完善。概括地说是项目研究过程中，既重视理论的创新突破，在新理论指导下进行实车试验，也强调工程实践对理论成果的验证和需求推动，坚持理论研究与工程实践的密切结合，在实践中完成对理论成果的验证和评估,并在理论成果的基础上提高工程实现的水平。
技术路线
(1) 视觉注意力的认知计算模型及其在自主驾驶车辆中的应用
目前认知科学领域对注意力在脑皮层上表现形式分为两个主要部分：一是背侧注意通道，二是腹侧注意力通道。我们实验室之前的工作主要是对背侧注意通道进行深入的了解和研究，并提出了相应的计算模型，取得了很好的效果。在下面的工作中，我们可以展开以下工作的研究
一是对认知科学领域研究者对背侧注意、尤其是腹侧注意力的研究成果进行整理、吸收和挖掘,研究并开发相应的可计算模型，并可以在自主车上实现。
二是研究如何整合腹侧注意机制和背侧注意机制。
三是注意力的感知尺度问题的研究。
四是注意力与自主车环境感知的联系。
我们之前对背侧注意机制（主导空间注意力）进行了深入研究，并提出了SSS和HFT计算模型。背侧注意力是与任务无关的，有空间特征所主导的注意力，并且可以快速计算并给出对场景的概貌性解释。然而我们的研究还存在一些问题，并有待于深入探索。一是背侧注意机制是否与目标感知与检测存在关系（可用于自主车的目标检测）；二是能否有效地解释人类脑皮层的区域感知现象（可以用于解决自主车的大物体感知能力）；三是全局抑制与局部抑制与背侧注意的关系。解决这些问题有注意力有助于解决自主车场景感知系统的正确感知和快速计算问题。
深入研究眼动仪捕捉的人类驾驶员的认知（注意）规律，并指导自主车的感知能力设计在认知研究领域。我们可以通过眼动仪来详细记录驾驶员的注意情况和规律，从而指导设计自主车的环境感知系统。一方面，通过眼动数据，我们可以研究驾驶员的注意力的一般规律和注意模式，比如正常驾驶中的注意范围、次序以及注意的时间停留（感知时间）等，同时也可以知道那些区域、物体是必须感知的，也可以知道那些物体的特征可以引起驾驶员的注意等等；另一方面，通过眼动数据可以研究特殊情况下驾驶员的注意模式。比如在超车过程中，驾驶员的注意力范围和注意次序同正常驾驶时有很大的区别。对这些数据进行分析可以得到驾驶员的注意规律，从而可以指导我们设计包括超车策略和超车感知系统在内的自主车系统。
(2) 多线索融合的道路综合感知模型和算法
首先，本项目拟采用多线索进行特征选取。我们将利用点面关系来代替传统的点线关系来描述车路关系。我们将引入颜色、纹理、位置以及透视关系等不同线索。颜色、线索的引入可以更好地对道路和非道路进行描述；位置和透视关系可以更有效地表达护栏、隔离墩、路牙、灌木丛、树木等这些高度不同，但是都有间隔道路功能的道边信息。
其次，我们对大量的道路场景进行训练。对于每一幅道路图像，首先将之分割成超像素图像；然后根据不同的特征线索进行特征提取；对与这些不同的道路场景图像进行训练并获取特征矩阵；最后使用分类器集成学习的Adaboost算法进行训练。
最后，在分类阶段同样将输入图像进行超像素分割，然后提取特征，进而得出道路分类结果。
(4) 基于序贯信息的交通标志快速识别
行车速度、车身朝向、道路状况以及交通标志显示内容对摄像头的视野范围、景深以及精度提出了较高的要求。在连续弯道、路口等，交通标志常常群集出现，朝向各异，此时车速较慢，需要检测近处场景较宽视野范围内的交通标志；在多车道路口、直路等，车速较快，为了保证车辆有足够的响应时间，需要对较远处的交通标志进行检测；相对于图形信息的交通标志识别，文字信息丰富的交通标志识别需要更高的图像分辨率。本项目拟采用两个摄像头分别用于近处场景和较远处场景中的交通标志检测。
(3) 针对序贯图像的视觉注意力模型与视觉任务调度策略
首先将研究如何利用上下文信息，建立更加完整的视觉注意力模型。为此，本项目将考虑从三个方面对应该受到关注的物体进行描述：一是物体本身的表观描述；二是物体外周的描述；三是上一时刻物体所处区域的表观描述。最终将整合这些描述子，建立融合了上下文信息的注意力模型。
进一步地，本项目还将研究如何根据注意力模型给出的结果，合理的调度各个视觉任务。基本思路是：将视觉任务的调度仍然看作是一个模式识别问题。该识别问题的输入特征是注意力计算模型给出的目标区域所在的位置、目标区域的形状特征和大小。为了防止出现漏判，拟采用基于单类的统计模式识别方法，即针对给定的输入特征，计算调用不同的视觉任务的概率。只要计算结果超过一定的阈值，即调用相应的视觉任务对目标区域进行检测。这样可以通过调节阈值而确保不会对特定类型的目标出现漏检。
自主驾驶车辆关键技术与集成验证平台