确保基于摄影机的安全系统中的成像子系统完整性

摘要

在描述的实例中，提供一种测试片上系统(SOC)的成像子系统的方法，所述方法包括在SOC的处理器上周期地执行成像子系统测试软件指令(500、502、504)，响应于测试软件指令的执行，在成像子系统中接收参考图像数据(506)，通过成像子系统对参考图像数据实施图像信号处理(508)以生成处理的参考图像数据，以及由测试软件指令使用处理的参考图像数据验证(510)成像子系统是否正确操作。

说明书

技术领域

本发明一般涉及基于摄影机的安全系统，并且更具体涉及确保基于摄影机的安全系统中的成像子系统完整性。

背景技术

如今，先进驾驶辅助系统(ADAS)在车辆应用领域中是发展最快的领域之一。这些安全系统已经被引入到汽车中以减少人为操作错误。许多特征现在能够警告驾驶员、允许对车外正在发生的事有更好的可视性以及支持特征(诸如停车辅助和自适应巡航控制)。微控制器和传感器技术的改进已经部分使得ADAS得到扩增。

需要驾驶辅助系统以满足标题为“道路车辆-功能安全”的国际标准26262(ISO 26262)的功能安全规范。ISO 26262将功能安全定义为不存在由电气/电子系统的失灵行为引起的不合理风险。驾驶辅助系统中的功能安全预防由于系统中部件失效引起对人的伤害。

为支持ISO 26262的功能安全要求，需要一种综合自测试策略以保障在ADAS整个生命周期中它的硬件部件和软件部件的安全操作和/或安全操作退化。已经提出基于软件的自测试作为基于硬件的自测试的有效替代方案，以便减小支持在下层ADAS硬件中的自测试所需要的硅面积。

发明内容

在描述的实例中，一种测试片上系统(SOC)的成像子系统的方法包括：在SOC的处理器上周期地执行成像子系统测试软件指令，响应于测试软件指令的执行，在成像子系统中接收参考图像数据，通过成像子系统对参考图像数据实施图像信号处理以生成处理的参考图像数据，以及通过测试软件指令使用处理的参考图像数据以验证成像子系统是否正确操作。

在一方面，一种基于摄影机的片上系统(SOC)包括存储测试软件指令的存储器。处理器耦合到存储器以周期地执行测试软件指令从而验证成像子系统的正确操作，其中使用由成像子系统生成的处理的参考图像数据。成像子系统耦合到处理器，其中响应于测试软件指令的执行，接收并处理参考图像数据以生成处理的参考图像数据。

其它描述的实例包括一种存储测试软件指令的非暂时性计算机可读介质。当通过基于摄影机的SOC的处理器周期地执行测试软件指令时，该测试软件指令使得实施测试SOC的成像子系统的方法。该方法包括响应于测试软件指令的执行，在成像子系统中接收参考图像数据，通过成像子系统对参考图像数据实施图像信号处理以生成处理的参考图像数据，以及通过测试软件指令使用处理的参考图像数据以验证成像子系统是否正确操作。

附图说明

图1为示出车辆中的一些基于摄影机的先进驾驶辅助系统(ADAS)的实例。

图2为一种示例性基于ADAS摄影机的片上系统(SOC)的框图。

图3为ADAS计算机视觉SOC中的一种示例性成像子系统的框图。

图4为图3的成像子系统的成像处理流水线的框图。

图5为基于ADAS摄影机的SOC中的成像子系统的软件自测试的方法的流程图。

具体实施方式

许多驾驶辅助系统依靠应用于安装在车辆中各个位置的摄影机捕获的视频流的高度复杂计算机视觉算法。图1示出基于计算机视觉的驾驶辅助系统的一些实例。此类基于摄影机的驾驶辅助系统需要满足ISO 26262中针对重达3.5吨的道路车辆规定的功能安全要求。

ISO 26262标准定义适用于所有汽车电子和电气安全相关系统的生命周期的汽车设备的功能安全。ISO 26262为基于风险的安全标准，其中定性评估危险操作情况的风险。ISO 26262定义安全测量以避免或控制系统性故障，并检测或控制随机硬件故障或减轻其影响。该标准覆盖所有汽车电子和电气安全相关系统的整个发展过程的功能安全方面，诸如要求规范、设计、实施方案、集成、验证、证实和配置。此外，该标准提供证实和确认测量的要求以确保实现充分和可接受的安全水平。此类要求包括确保系统在操作期间在车辆中的正确功能，这可以通过使用硬件和/或软件自测试而实现。

实例实施例包括基于摄影机的安全系统如先进驾驶辅助系统(ADAS)中的成像子系统的基于软件的自测试。ADAS中在线(在车辆中的系统正在使用时)自测试可以使用硬件自测试方法和/或基于软件的自测试方法实施。基于软件的自测试方法一般比基于硬件的自测试方法具有更少的侵入性，因为基于软件的自测试可以在ADAS的正常操作模式过程中应用。

除了可以通过关键事件(诸如系统开启或关闭)启动的事件触发的非同时在线测试之外，实例实施例包括可以实施的成像子系统的时间触发非同时测试(即，周期性测试)。事件触发的自测试机制有助于检测常发故障。通过比较，时间触发的周期性自测试(诸如本文中所述的那些)有助于检测操作期间的间歇故障和常发故障。附加地，任何潜在的设计故障(其可能仅在某些操作条件下出现)可以通过周期性自测试识别。

图2为一种示例性基于摄影机的片上系统(SOC)200的简化框图。这一实例片上系统(SoC)代表购自德州仪器公司(Texas Instruments Incorporated)的OMAP^TM处理器族中的一者。在“OMAP543x多媒体装置硅修订版2.0”(SWPU249AC，2013年5月，2014年12月修订)中更详细描述该SoC。

SOC 200包括经由高速互连218耦合的视频捕获部件202、成像子系统204、图像处理单元(IPU)子系统206、显示子系统208、外部存储器接口(EMIF)210、片上存储器212、循环冗余码校验(CRC)部件214以及数字信号处理单元(DSP)子系统216。视频捕获部件202提供用于从成像周边进行视频捕获的接口，诸如外部摄影机。例如，视频捕获部件202可包括从成像周边接收模拟视频流、将模拟流转换成数字视频流，并将数字视频流划分成图像数据帧的功能。成像子系统204包括对视频捕获部件202生成的图像数据帧实施图像信号处理的功能。参考图3和图4更详细描述成像子系统204。

IPU子系统206包括配置并控制成像子系统204的功能。更具体地，IPU子系统206驱动成像子系统204并包括编程成像子系统204的寄存器、子系统204实施的序列操作以及管理子系统204的输入缓冲器和输出缓冲器的功能。IPU子系统206进一步包括控制成像子系统204的软件自测试的功能。参考图5的方法更详细描述这一功能。

CRC部件214包括执行32位CRC计算以验证SOC 200上执行的软件以及由此软件所用的任何存储数据未被破坏的功能。在一些实施例中，如参考图5更详细地说明，CRC部件214在成像子系统204的软件自测试过程中使用。

在一些实施例中，DSP子系统216包括对图像数据帧执行64位CRC计算的功能。如参考图5更详细地说明，DSP子系统216可以在成像子系统204的软件自测试过程中使用。

EMIF 210在SOC 200的部件和外部存储器之间提供接口。显示子系统208包括将来自成像子系统204的处理的视频帧显示在外部显示装置上的功能，诸如以外部显示装置期望的格式格式化每个帧的功能。

片上存储器部件212提供片上存储(诸如可以用于在各部件之间传达数据的计算机可读介质)以存储成像子系统204或IPU 206或DSP 216执行的软件程序。片上存储器部件212可包括只读存储器和/或随机存取存储器的任何合适组合。

图3为图2的成像子系统204的简化框图。一般来说，成像子系统204包括实施图像处理操作的功能，诸如黑电平调节、噪声滤波、白平衡、RGB混合、伽玛校正、RGB到YCbCr转换以及边缘增强。成像子系统204包括经由局部互连326耦合的静止图像协处理器(still image co-processor，SIMCOP)302、图像信号处理器(ISP)304以及主接口322和从接口324。主接口322可以用于启动从成像子系统204内传输到外部实体，诸如外部存储器和片上存储器。从接口324可以由其它片上部件(诸如IPU 206)使用以访问成像子系统204的部分(例如，寄存器)。

SIMCOP 302包括对图像数据进行编码、解码以及处理的功能。SIMCOP302实施基于块的存储器到存储器处理，其中数据块从系统存储器提取并存储在局部存储器中。在SIMCOP 302中，不同的加速器处理提取的块并将所处理的块存储回局部存储器中，以由其它加速器进一步处理和/或返回到系统存储器。加速器可包括离散余弦变换(DCT)模块(未示出)、编码器/解码器模块(未示出)、旋转加速器引擎(未示出)、校正外部摄影机中的镜头几何失真问题的镜头失真校正模块314以及噪声滤波器模块316。SIMCOP 302还包括用于数据传输到SIMCOP局部存储器以及从SIMCOP局部存储器传输到系统存储器的直接存储器访问(DMA)控制器320以及各种缓冲器318。缓冲器318可以用于存储已经由成像子系统204处理的图像数据帧。

ISP 304包括对输入的视频数据和统计数据集实施图像处理功能以用于自动曝光、自动白平衡、自动聚焦以及视频稳定的功能。ISP 304包括图像传感器接口(ISIF)模块308、图像管(IPIPE)模块312、IPIPE接口(IPIPEIF)模块306以及硬件3A(H3A)模块310。ISP 304还包括用于与视频捕获部件202进行接口的视频端口(未示出)。IPIPEIF模块306将数据和同步信号提供到ISP 304中的其它模块。数据源包括视频端口、ISIF模块308以及存储器。

IPIPE模块310包括对图像数据实施各种图像处理功能的功能。参考图4更详细地描述IPIPE模块。H3A模块310支持用于通过收集关于图像数据的度量进行自动聚焦、自动白平衡以及自动曝光的控制环路。这些度量用于调节参数以处理图像数据。例如，ISIF模块308从IPIPEIF模块306接收图像数据并包括实施传感器数据线性化、颜色空间转换以及竖直线缺陷校正的功能。

图4为图3的IPIPE模块310的简化框图。IPIPE模块310为可编程硬件图像处理模块，其根据原始图像数据生成YCbCr格式的图像数据。如图4所示，IPIPE模块310包括用于从IPIPEIF模块306接收原始图像数据的接口402，缺陷像素校正模块404、白平衡模块404、RGB颜色校正模块408、伽玛校正模块410、RGB2RGB模块412、RGB到YCbCr转换模块414以及边缘增强器模块416。模块串联耦合从而以流水线方式实施图像处理。

缺陷像素校正模块404包括实施基于查找表(LUT)的输入数据中缺陷像素校正的功能。白平衡模块404包括白平衡输入数据的每种颜色成分的功能。RGB颜色校正模块408(有时称为颜色过滤阵列(CFA)内插模块)包括基于可用颜色成分和相邻像素的颜色成分内插每个像素的缺失颜色成分的功能。伽玛校正模块410包括以下功能：通过使用基于表的分段线性函数，在RGB颜色空间中针对每种颜色进行伽玛校正，补偿显示器的相对强度的非线性。

RGB2RGB模块412包括以下功能：通过将混合矩阵应用到图像数据以将传感器RGB颜色空间转换为标准RGB颜色空间，补偿相同颜色不同图像传感器产生不同RGB值的事实。RGB到YCbCr转换模块414包括将图像数据从RGB格式转换到YCbCr格式的功能。边缘增强器模块416包括对像素的亮度(Y数据)组分进行操作以提高图像质量的功能。输入图像中的边缘由高通滤波器检测，并且清晰度通过来自非线性表的值增加。

图5为基于ADAS摄影机的SOC中成像子系统的软件自测试方法(如图2至图4中)的流程图。该方法基于具有参考图像数据，诸如由成像子系统周期性处理以检查子系统的性能的测试帧或多个系列的测试帧。为了简化说明，假设使用单个测试帧来描述所述方法。在一些实施例中，可以使用多于一个测试帧，诸如在单个测试帧无法提供成像子系统的充分测试覆盖时。当驾驶辅助系统在车辆中操作时，每个容错时间间隔(FTTI)，成像子系统处理参考图像数据一次。FTTI为其中在功能安全受到损害之前诸如在危险事件发生之前故障能够存在于系统中的时间跨度。ISO 26262定义用于ADAS应用的FTTI，其根据应用从70毫秒(ms)变化到约500ms。

通过测试帧的成像子系统的可实现诊断覆盖取决于测试帧中的像素数据。理想地，选择测试帧中的像素数据以确保成像子系统的所有部件运行。现在讨论生成测试帧中涉及的一些准则。参考图2和图4，成像子系统204中的一些模块能够广义地分为三种类型，为：基于查找表的处理模块(诸如缺陷像素校正模块404)、基于乘法与加法(MAC)的处理模块(诸如RGB2RGB模块412)和基于阈值的、负责条件性处理的模块(诸如边缘增强器模块416)。这一信息对测试帧生成以确保成像子系统的适当诊断覆盖来说是至关重要的。

一般来说，LUT实体的范围是已知的。对于基于LUT的模块，应当小心使用以确保测试帧中的像素数据运用大部分输入组合，这导致对于具体LUT，运用大部分输出组合。对于基于MAC的处理模块，测试帧的内容应确保乘法与加法数值经选择以覆盖MAC操作中使用的数据线中的任何潜在固定型故障。

例如，可以从正式设计测试和制造测试期间验证系统完整性中使用的测试数据导出测试帧数据。另外，测试帧可以是静态(即，完全离线生成并存储在SOC上的非易失性存储器中)或者可以是部分静态的，使得一些部分离线生成而其它部分在SOC启动时自动生成。例如，可以自动生成测试LUT的输入/输出组合的测试帧的部分。

再次参考图5，在成像子系统中接收图像数据帧500并针对帧实施图像信号处理502。接收和处理可以继续直到从上次自测试开始已经过去t_FTTI毫秒(ms)504，当从上次自测试开始已经过去t_FTTI>

例如，参考图2的SOC 200，成像子系统204(在IPU 206的控制下操作)在某一时间从视频捕获部件202接收一个帧，并针对该帧实施图像信号处理。继续接收和处理帧直到IPU 206接收到计时器中断，该计时器中断在每个t_FTTI>

IPU 206上的自测试软件接收所得的处理的测试帧并使得针对处理的帧计算CRC值。在一些实施例中，IPU 206上的自测试软件将处理的帧提供给CRC部件214进行该计算。在一些实施例中，IPU 206上的自测试软件将处理的帧提供给DSP 216进行这一计算。IPU 206上的自测试软件接收所计算的CRC值并将其与期望CRC值比较。如果两个值匹配，那么认为成像子系统204成功操作，并且恢复输入帧的处理。否则，自测试软件使得通过信号通知验证失败。

自测试的执行不干扰成像子系统204的期望输出，因为成像子系统204比提供以待处理的帧的摄影机高的帧速率操作。例如，成像子系统204可以每秒60帧操作而摄影机以每秒45帧操作。对于未使用15帧的一些或所有时间段可以用于处理测试帧。

一般来说，每i帧执行软件自测试以确保成像子系统的完整性，其中i值取决于ADAS应用的具体FTTI。i值根据以下确定：

其中N为成像子系统每秒处理的帧数目，并且t_FTTI为以毫秒为单位的定义的容错时间间隔。因此，如果成像子系统以f_orig的频率运行，那么支持自测试的额外时钟要求f_ISS由以下式子给定：

$f_{ISS}=f_{orig}*(1+(\frac{1}{l-1}\left)\right)\left)\right)$

另外，如果测试数据来自外部存储器，那么存在额外时钟要求。对于具有300ms的FTTI的测试ADAS应用和1080p30 YUV422输入捕获而言，通过每八帧捕获的输入处理测试帧，以外部存储器带宽/时钟要求增加约13％以及成像子系统的时钟要求增加1.125的代价，实现大于90％的诊断覆盖。

虽然已经在车辆中的驾驶辅助系统的上下文中描述了实施例，但是一些实例实施例用于其它类型的基于摄影机的安全系统(诸如工业和制造应用)。在此类实施例中，FTTI可以由用于具体应用类型的标准定义，诸如由用户定义。

在其它实例实施例中，处理器而非IPU执行一些或所有软件自测试指令。

用于成像子系统的自测试软件指令可以首先存储在计算机可读介质中并由处理器加载并执行。在一些情况下，软件指令可以经由可移除计算机可读介质或经由来自另一数字系统上的计算机可读介质的传输路径分布。计算机可读介质的实例包括非可写存储介质(诸如只读存储器装置)或可写存储介质，诸如硬盘、闪存、存储器或其组合。

尽管在本文中可以以顺序方式呈现并描述了方法步骤，但是可以同时实施、可以组合和/或可以以不同于图中所示和/或本文中所述顺序的顺序实施图中示出和本文中所述的一个或更多个步骤。

雷达系统中的部件可以以不同名称命名和/或可以以本文中未示出的方式组合而不会背离所描述的功能。本文件并不旨在因名称不同而功能相同来区分部件。术语“耦合”(及其派生词)意指间接、直接、光学和/或无线电气连接。例如，如果第一装置耦合到第二装置，那么其连接可以通过直接电气连接、通过经由其它装置和连接的间接电气连接、通过光学电气连接和/或通过无线电气连接。

在所要求保护的范围内，所述实施例的修改是可能的，并且其它实施例是可能的。