多车辆行为识别及预测

高级辅助驾驶技术介绍—多车辆行为识别及预测

P.S. 这是一个完全全新的方向，之前没有人在这个方面有过尝试，我们可以说是开创者

比赛的核心技术: 车辆行为识别

任务目标

通过周围车辆的行为，预测当前第一视角车辆（车辆行车记录仪拍下的）的安全驾驶行为类型，包括：减速，加速，左拐，右拐4个类别。

为什么要进行多车辆行为识别及预测？

在复杂的交通场景中，车辆之间的行为在时空上是相互影响的。我们假设第一视角中的某台车的车辆行为（减速，加速，左拐，右拐）受其他车辆的历史运动的影响。那么我们需要对该行为特征在时空维度进行建模，并充分考虑车辆之间的相互影响。如何发掘并对这些关系进行推理，是多车辆行为识别及预测任务的难点。

任务标注

• 车辆bounding box
• 4个关键点
• 个体车辆行为类型（减速，加速，左拐，右拐）
• 该场景下当前车辆的正确驾驶行为类型（减速，加速，左拐，右拐）

任务框架

任务核心技术

多层次语义场景推理

• scale 1: 关键点（Keypoint）
• scale 2: 车辆（Car）
• scale 3: 同一车道线内的车辆（Interaction）
• scale 4: 全部车辆（Group）

可变形时空推理（RADIN模块）

在DIN模块的基础上，我们假设只有相关联的特征才会对我们当前的特征有贡献，所以可以定义一个gate来对特征进行门控：

• 如果相差越小，值越接近1

自注意力融合

• 不同的特征的对于群体行为的贡献程度不同，可以利用自注意力机制对贡献程度进行建模