首页> 中国专利> 视觉神经电路装置、利用视觉神经电路装置的视觉神经模仿系统及对象搜索系统

视觉神经电路装置、利用视觉神经电路装置的视觉神经模仿系统及对象搜索系统

摘要

本发明提供视觉神经电路装置,包括:电流镜(Current Mirror)部,将晶体管用作电流源生成与反应相同大小的电流;跨导部,得到在电流镜部生成的电流的输入并利用跨导(Transconductance)输出电压;及缓冲器部,将跨导部输出的电压变换为电流进行缓冲。

著录项

  • 公开/公告号CN104520896A

    专利类型发明专利

  • 公开/公告日2015-04-15

    原文格式PDF

  • 申请/专利权人 韩国科学技术院;

    申请/专利号CN201380017401.1

  • 发明设计人 韩日成;韩佑俊;

    申请日2013-01-24

  • 分类号G06T1/40;

  • 代理机构北京安信方达知识产权代理有限公司;

  • 代理人张瑞

  • 地址 韩国大田市

  • 入库时间 2023-12-17 04:27:34

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-09-29

    授权

    授权

  • 2015-05-13

    实质审查的生效 IPC(主分类):G06T1/40 申请日:20130124

    实质审查的生效

  • 2015-04-15

    公开

    公开

说明书

技术领域

本发明涉及视觉神经电路装置、利用视觉神经电路装置的视觉神经模仿系统及对 象搜索系统。

背景技术

最近,随着系统神经科学(System Neuroscience)技术的发展,可基于构成视 觉系统的细胞的输入模式及输出模式、通过细胞的信号处理方式,从影像识别对象。

神经电路网是设计成类似于人的头脑或神经细胞的反应的半导体芯片,通过通信 连接很多简单的元件并通过其表达或记忆信息。这完全模仿作为人头脑的神经电路的 神经元(Neuron)的结构,主要用于作为人工智能计算机的核心技术的语音识别、文 字识别、影像处理、自然语言的理解等领域,正以发达国家为中心开展积极的研究。

与此相关的韩国公开专利第2006-0089487号涉及利用概率神经电路网理论的影 像补偿装置,公开了可为使用者提供优秀画质的影像的装置,但在具体方法方面,没 有公开在具备如视觉神经的准确性的同时,可实现小型化的技术。

最佳实施方式

本发明的部分实施例的目的在于提供一种具备在因对象所处的环境恶劣,从而检 测对象所需的视觉神经电路装置急剧增加的情况下,也能通过小型芯片实现的并列结 构的视觉神经装置、利用视觉神经电路装置的结构信息提供装置及方法。

作为达到上述目的的技术方案,本发明的第一方面的视觉神经电路装置,包括: 电流镜(Current Mirror)部,将晶体管用作电流源生成与反应相同大小的电流;跨 导部,得到在电流镜部生成的电流的输入并利用跨导(Transconductance)输出电压; 及缓冲器部,将跨导部输出的电压变换为电流进行缓冲。

本发明的第二方面的利用视觉神经电路装置的视觉神经模仿系统,包括:偏置部, 当根据视觉神经电路装置所输出的神经元时间的反应大小小于预设临界值时,进行偏 置(Bias)以维持运行基准点;电流镜(Current Mirror)部,将晶体管用作电流源 生成与从偏置部输入的电流相同大小的电流;跨导部,得到在电流镜部生成的电流的 输入并利用跨导(Transconductance)输出电压;缓冲器部,将跨导部输出的电压变 换为电流进行缓冲;及阳极性开关部,当向激活神经元的方向进行时,运行缓冲器部 的输出中的某个输出,而当向钝化神经元的方向进行时,去除缓冲器部的输出中的某 个输出。

本发明的第三方面的视觉神经电路装置,包括:跨导部,输入适用用于区分图像 或影像的背景和所要搜索的对象的基准值(offset)的值;外部控制电压施加部,设 置基准值(offset);缓冲器部,放大对与对象的模式相同的帧的输入电压或输入电 流以适用权重值(Weight)。

本发明的第四方面的利用视觉神经的对象搜索系统,包括:变换部,作为从图像 或影像搜索对象的预处理过程,将输入影像变换为黑白影像;跨导部,输入适用用于 区分图像或影像的背景和所要搜索的对象的基准值(offset)的值;外部控制电压施 加部,设置基准值(offset);缓冲器部,放大对与对象的模式相同的帧的输入电压 或输入电流以适用权重值(Weight);及搜索部,从适用基准值及权重值的影像选择 及检测对象。

根据上述本发明的课题解决方案中的一种,提供在因对象所处的环境恶劣,从而 检测对象所需的视觉神经电路装置急剧增加的情况下,也能通过小型芯片实现的并列 结构。

附图概述

图1为用于说明本发明一实施例的视觉神经电路装置的概念的大脑皮质反应示 意图;

图2为用于说明本发明一实施例的视觉神经电路装置的概念的对刺激的反应曲 线图;

图3为用于说明本发明一实施例的晶体管的概念的晶体管及晶体管的等价电路;

图4为用于说明本发明一实施例的视觉神经电路装置的电路图;

图5为用于说明在图4所示的视觉神经电路装置上还包括偏置部的视觉神经电路 装置的电路图;

图6为用于说明在图4所示的视觉神经电路装置上还包括阳极性开关部的视觉神 经电路装置的电路图;

图7为用于说明利用本发明一实施例的视觉神经电路装置的视觉神经模仿系统 的示意图;

图8为用于说明本发明另一实施例的晶体管的示意图;

图9为用于说明本发明另一实施例的视觉神经电路装置的电路图;

图10为用于说明图9的视觉神经电路装置的又一实施例的电路图;

图11为用于说明适用于图9的视觉神经电路装置的基准值的概念的示意图;

图12为概念性地表示在图9的视觉神经电路装置上适用基准值的示意图;

图13为附加于图9的视觉神经电路装置的开关电容器部电路图;

图14为并联图9的视觉神经电路装置的电路图;

图15为利用图9的视觉神经电路装置搜索对象的实施例示意图;

图16为利用图9的视觉神经电路装置生成结构信息的实施例示意图;

图17为利用图9的视觉神经电路装置从图像生成结构信息的实施例示意图;

图18为用于说明利用本发明另一实施例的视觉神经电路装置的对象搜索方法的 流程图。

最佳实施方式

下面,结合附图对本发明的实施例进行详细说明,以帮助本领域技术人员容易实 施本发明。本发明可通过各种不同的形式实现而不受在此说明的实施例的限制。为了 更明确地说明本发明,省略与说明无关的内容,而且,在整个说明书中的相同或类似 的结构赋予相同的标记。

在全部说明书中,说某个部分与其他部分“连接”时,不仅包括“直接连接”的 情况,而且,还包括其中间通过其他部件“间接连接”的情况。在说明书中,说某个 部分“包括”某个构件时,除非有预期相反的记载,不是排出其他构件,而是还可包 括其他构件,而非预先排除一个或以上的其他特征、数字、步骤、动作、结构、部件 或它们的组合的存在或附加可能性。

“第一”、“第二”等术语用于从一个构成要素区分另一构成要素,但权利要求 范围不受上述术语的限制。例如,第一构成要素可以命名为第二构成要素,而与此相 似,第二构成要素也可以命名为第一构成要素。在各步骤中,识别符号是为说明的便 利所使用的,识别符号不是说明各步骤的顺序,除非在文脉上明确记载特定顺序,各 步骤也可按以所记载的顺序不同的顺序实施。即,各步骤可按所记载的顺序实施,也 可实际上同时实施,还可按相反的顺序实施。

下面,结合附图对本发明进行详细说明。

图1为用于说明本发明一实施例的视觉神经电路装置的概念的大脑皮质反应示 意图,而图2为用于说明本发明一实施例的视觉神经电路装置的概念的对刺激的反应 曲线图。

如图1所示,当将具有方向性的光照射到猫的眼睛时,可知道猫的大猫皮质的反 应。即,Hodgkin-Huxley形式论的神经元及Hubel和Wiesel的视觉皮质实验,当将 具有方向性的光照射到猫的眼睛时,猫大猫皮质的神经元具有特定方向性且只对特定 方向的刺激引起反应。图1的左侧图表示光的形状或方向,而右侧图表示根据光的形 状或方向的反应的大小。

通过上述内容可将大脑视为独立对特定方向性产生刺激的神经元的集合体。若模 仿视觉细胞实现电路,则可获得类似于视觉皮质的准确性。

如图2所示,对刺激的神经元的根据时间的反应可用电压和跨导表示。即,对视 觉皮质进行刺激并测量神经元的根据时间的反应,则可用电压-跨导(Vm-g)关系表 示。

此时,跨导(Transconductance)是跨导纳的实施部,又称作互导。另外,在为 FET的门电极和漏电极之间的跨导时,跨导为表示门电压Eg、漏电流ID之间的关系的 倾斜,表示为gm=ID/Eg.

图3为用于说明本发明一实施例的晶体管的概念的晶体管及晶体管的等价电路。

如图(a)及(b)所示,晶体管可以是对电阻或电导的非线性特性等价模型。 例如,较之其他晶体管为利用通过PN结两端的载波的作用的电流控制型,FET(Field  Effect Transistor)可以是在半导体中用其他电极控制电子路东的电压控制型。

尤其是,MOSFETMetal Oxide Silicon Field Effect Transistor)的在非饱和 区域(Triode Region)中的漏极(Drain)和源极(Source)的两个端子间的特性为 具有流过与施加电压非线性成比例的电流的电阻(Resistance)或电导 (Conductance)。这可通过VDS、iD的电压-电流特性曲线图(N沟道MOSPFET的电压 -电流特性曲线图)进行确认。

此时,虽然只以N沟MOSFET为例进行了说明,但P沟道MOSFET中也同样适用相 同的原理,而且,在电路装置的结构方面也只在晶体管沟道极性方面存在不同之外, 表现出相同的特性,因此,也可以由P沟道MOSFET构成。

如下述数学式1所示,图3的N沟道MOSFET的在非饱和区域的电流-电压关系因 VDS的二次项电流特性,可具有非线性特性。

数学式1

IDS=K[(VGS-VT)VDS-V2DS2]

K=μCOXW2L

此时,VT为根据MOSFET的制造的个别参数变数,IDS为漏极-源极电流,VGS为门 极-源极电压,而VDS为漏极-源极电压。L为MOSFET的源极和漏极之间的长度(Length), 而W为MOSFET的宽度(Width)。μCOX为取决于用于制造MOSFET的工艺技术的常数, 是工艺跨导参数(Process Transconductance Parameter)。μCOX决定MOSFET的跨 导的值,可表示为k,且具有A/V2的单位。即,如下述数学式2所示。

数学式2

k=μCOX

图4为用于说明本发明一实施例的视觉神经电路装置的电路图。

如图4所示,本发明一实施例的视觉神经电路装置100可包括电流镜部110、跨 导部130及缓冲器部150。

电流镜(Current Mirror)部110将晶体管用作电流源生成与反应相同大小的电 流。此时,视觉神经电路装置100可以是对称型运算放大器,而运算放大器可以是模 拟运算放大器。因此,电流镜部110可由至少一个电流镜构成,而至少一个电流镜可 以上下对称型并联。

如图4所示的视觉神经电路装置100的上端部,电流镜部110可包括由NMOSFET M1、M2构成的第一电流镜及由P够到MOSFET M3、M4构成的第二电流镜。电 流源信号输入可通过上述第一电流镜、第二电流镜传递至跨导部130。

即,电流镜是为不受所施加的负载的影响而维持一定的输出电流,通过控制电路 的其他激活元件的电流,通过一个激活元件复制电流的电路。此时,电流可以被复制, 可以是各种信号电流。电流镜可为偏置电流和电路提供激活负载。

跨导部130得到在电流镜部生成的电流的输入并利用跨导(Transconductance) 输出电压。此时,视觉神经电路装置100可以是对称型运算放大器,而跨导部130 可与差动跨导放大器是等价电路。

因此,跨导部130可由至少一个跨导电路构成,而至少一个跨导电路可以上下对 称型并联。

跨导部130的跨导电路可由P沟道MOSFET M5、N沟道MOSFET M6、M7构成。此 时,跨导部130可通过施加于M7的门极的电压控制端子特性,并与电流源输入信号 进行乘法运算输出电压。

这可用如下数学式3表示。但以作为非线性的主要原因的二次项为主进行整理。 此时,二极管连接的两端电压为VD,而这不会对运行原理产生影响。

数学式3

IM6=K[(VX-VT)·(VX-VD)-(VX-VD)22]

IM7=K[(Vcon-VT)·(VX-VD)-(VX-VD)22]

Itotol=IM6+IM7=K·(Vcon+VD-2VT)·(VX-VD)

上述数学式3中对符号的定义与上述内容重复,因此,在此不再赘述。此时, MOSFET M5、M6、M7的电压控制的电阻或电导(G)两端之间电流电压间特性如下述 数学式4所示。

数学式4

I=G·(VX-VD)

G=K·(Vcon+VD-2VT)

此时,VD为固定常数,而I和VX为信号。K、Vcon也都是固定常数。

因此,MOSFET M5、M6、M7可具有电压控制线性电阻或电导元件的特性,且因电 流源输入信号和电子的乘法运算结果可表示为VX或M6和M7的漏极电压,因此,电 流源输入信号可表示为电压。

缓冲器部150将跨导部130输出的电压变换为电流并进行缓冲。此时,缓冲器 (Buffer)可以是为防止从驱动驱动装置的装置收到反作用而设置于其中间的隔离装 置或反作用吸收装置。为此,缓冲器部150可具有高输入阻抗及低输入阻抗并可防止 电流的逆流。此时,因视觉神经电路装置100可以是对称型运算放大器,因此,缓冲 器部150可由至少一个缓冲器电路构成,而至少一个缓冲器电路可以上下对称型并 联。

因至少一个视觉神经电路装置100可对应于经运算处理的电流源输出,因此,可 通过并联至少一个视觉神经电路装置100设计所需复合运算的VLSI。

视觉神经电路装置100可通过至少一个以上的并联或串联中至少一种组合进行 连接,而视觉神经电路装置100可由BJT(Bipolar Juction Transistor)、JFET (Junction Field-Effect Transistor)、MOSFET(Metal-Oxide Semiconductor  Field-Effect Transistor)、GaAs MESFET(Metal Semiconductor FET)中的至少 一种或至少一种组合构成。

图5为用于说明在图4所示的视觉神经电路装置上还包括偏置部的视觉神经电路 装置的电路图。如图5所示,本发明一实施例的视觉神经电路装置100还可包括当反 应大小小于预设临界值时,进行偏置(Bias)以使电流镜部110维持运行状态的偏置 部170。

此时,偏置是指引因在晶体管中,在基极和发射极(emitter)之间未施加电压 的状态下,即使输入信号,若信号不达到某个值以上则电流不会流动,因此,预先正 向施加电压并从0的位置向后退运行点(Operating Point),以当有信号输入时, 使电流立即流动的过程。

此时,为进行自动控制而希望相对于输入信号x得到输出信号y时,当a、b为 正数时,使点向后退b大小,以获得非y=ax的y=b+ax,这称之为偏置了b的大小。 结果,若从输出端去除b大小的信号,则将提取原始信号。

因此,偏置部170可以对称型构成,而偏置的输出电流可在缓冲器部150中去除。

即,因在视觉传感器的电流源输入信号极微弱的情况下,电流镜110有可能在正 常运行区域不运行,因此,可进行偏置操作,以在正常的偏置条件下只添加极小电流 范围的电流源输入信号的变动部分,从而使得只有最初输入的电流源输入信号被最终 得到运算处理。

图6为用于说明在图4所示的视觉神经电路装置上还包括阳极性开关部的视觉神 经电路装置的电路图;如图6所示,本发明一实施例的视觉神经电路装置100还可包 括阳极性开关部190以对阳极性信号输出进行选择性转换。

以大脑为模型的视觉神经模仿系统需设计成神经刺激越多,新神经元的激活更 多,而在与此相反的情况,即在神经刺激少的情况下,钝化神经元的形式,这样才能 具有与大脑类似的功能。

阳极性开关部190当向激活神经元的方向进行时,运行缓冲器部150的输出中的 某个输出,而当向钝化神经元的方向进行时,去除缓冲器部150的输出中的某个输出。

即,为进行激活,需接通(ON)作为开关的MOSFET MO1以使视觉神经电路装置 100的上端部输出变得有效,与此同时,断开(OFF)作为开关的MOSFET MO2以去除 视觉神经电路装置100的下端部输出。与此相反,为进行钝化,断开作为开关的MOSFET  MO1以使视觉神经电路装置100的下端部输出变得有效,与此同时,接通MOSFET MO2。

图7为用于说明利用本发明一实施例的视觉神经电路装置的视觉神经模仿系统 的示意图如图7所示,这是利用本发明一实施例的视觉神经电路装置100实现视觉皮 质(Visual Cortex)的神经网的概略示意图。

即,单一像素传感器输出和连接可用偏置部170实现,而多发性地与多个连接突 触(Synapse)和神经元的连接可用电流镜部110、跨导部130、缓冲器部150及阳极 性开关部190(未图示)实现。

图8为用于说明本发明另一实施例的晶体管的示意图。如图8所示,(a)以电 流(I)表示跨导,而(b)以电压(V)表示跨导。(a)和(b)的电路可由通过一 对NMOS(N Metal Oxide Semiconductor)晶体管M1及M2控制电压的线性导电电路 构成。这可应用于从突触到神经元的各种神经网。

图9为用于说明本发明另一实施例的视觉神经电路装置的电路图。如图9所示, 视觉神经电路装置200包括跨导部210、外部控制电压施加部220及缓冲器部240。 此时,视觉神经电路装置200还可包括电流镜部230。

在构成输出与对刺激的神经元的根据时间的反应相同的电压的电路时,可反映生 物细胞的特性。在此,一个电路可对应于一个神经元。因此,并联至少一个本电路构 成芯片的情况下,可实现于大脑类似的功能。但是,需根据神经元的特性进行变形, 而且,还需考虑各神经元的连接特性。

视觉神经电路装置200用电压表示对刺激的在视觉皮质中的神经元的根据时间 的反应,可构成输出与所表示的电压相同的电压的同时,像大脑神经网那样通过具有 权重值的突触利用神经元和神经元或神经元和传感器构成视觉神经电路。

跨导部210实现为可模仿生物神经细胞的活动状态(Action Potential)和不同 细胞膜离子的选择性跨导特性。另外,外部控制电压施加部220向跨导部210施加电 压以追加编程跨导的计算电流。

电流镜部230复制跨导部210的输出电流,并通过反射(Mirroring)跨导部210 的输出电压防止逆流。

缓冲器部240通过缓冲(Buffering)从输出端反馈的输出电压防止电压逆流。

图10为用于说明图9的视觉神经电路装置的又一实施例的电路图。如图10所示, 上部和下部各对应于Leakage部分、Na或K部分。此时,可通过追加连接各部分扩 展为N个部分。

①可对应于缓冲器部。缓冲器部是通过缓冲从电路的输出端反馈的电压防止逆流 并放大输入电压的部分。②可对应于延迟部,通过迟延输入表现出像是在特定线上出 现迟延应答的效果。迟延时间可通过参数设置进行调节。

③可对应于跨导部,而④可对应于电流镜部。

⑤可对应于电压释放部。这起到释放电压的作用,以在峰值(peak)应答之后发 生应答下降的现象。因此,在视觉神经电路装置200附加电压释放部的情况下,在峰 值应答之后即使重新有电压输入,也需在经过一定时间之后才能重新发生峰值应答。 这是为产生像细胞的休止期一样的效果。即,在产生波峰之后,在休止期中即使有来 自外部的刺激也不会对此产生反应。

⑥可对应于整形(Shaping)部。此时,整形部起到对输入波形进行整形并输出 的作用,表现为像脉冲一样的形状。

另外,电导因素的经验数学形式可表达为如数学式5的形式,在此,b为质膜 (Membrane)电势的S形(Sigmoid)函数。另外,Vm为质膜电势,整体上通过动态 电势及相关离子的传导动态模型化。

数学式5

dxdt=α(b-x)

iion=Gion(Vm-Eion)

数学式5可通过乘法、加法、减法及微分方正式被控制。在数学式5中,微分方 程式可通过LPF(Low Pass Filter)实现,并引起迟延的应答。通过上述关系式, 生物学神经元的动态活动电气上实现为基于通过质膜电势控制的离子的电导。

图11为用于说明适用于图9的视觉神经电路装置的基准值的概念的示意图,而 图12为概念性地表示在图9的视觉神经电路装置上适用基准值的示意图。

如图11及图12所示,对于一定长度(W:Width)可使用正(+)和负(-)的基 准值(k:Offset)。即,在适用权重值(Weight)之前,在作为所要检测的对象的 对象的像素值适用+k的基准值(Offest),且在所要检测的对象适用-k的基准值 (Offset),从而在成为黑白的影像中突出所要检测的对象。

例如,假设在黑白影像中适用基准值,以在背景中适用+值,且使作为对象的图 案具有-值的情况。此时,在对应于背景的区域,在像素值加上基准值,而在对应于 对象的区域,从像素值减去基准值之后,适用权重值帧。

因此,图像中的背景相对于所要搜索的对象具有相对高的值。即,因在背景中适 用+值,且在所要搜索的对象适用-值,因此,拉大两者之间的差距。例如,背景变暗, 对象变亮,从而提高识别率。

此时,基准值可根据影像或对象的种类有所不同,例如,基准值可以是黑白影像 的各像素值的平均值。

因此,不仅在理想的(Ideal)算法中,而且,在具备人或动物的视觉和准确性, 且持续变化的影像中,也在适用权重值帧之前适用基准值(Offset),从而在无噪声 及错误的情况下准确搜索对象。

图13为附加于图9的视觉神经电路装置的开关电容器部电路图如图13所示,开 关电容器部300包括第一开关310、电容器320、第二开关330及第三开关340。

此时,第一开关310可导通缓冲器部200的输出电流一定时间。在连接第一开关 310的一定时间(Ton)积蓄在电容器320中的电荷(Q)如下述数学式6所示。

数学式6

Q=CV=i·Ton

电容器320与第一开关310并联并可将缓冲器部200的输出电流保存为电荷,而 这与上述数学式6相同。第二开关330与电容器320并联并与第一开关310串联。此 时,第一开关310和第二开关330可具有分离的时间。第三开关340可在第一开关 310导通之前释放电容器320的残留电荷。此时,开关电容器部300也可实现为图13 的(a)和(b)中的任何一种。

为合算这样积蓄的电容器320的电荷,需并联视觉神经电路装置200,而这将结 合图14进行说明。

图14为并联图9的视觉神经电路装置的电路图。如图14的(a)所示,以并联 n个视觉神经电路装置200的情况为例进行说明。

若假设并联有n个视觉神经电路装置200,则保存于各开关电容器部300(1)、 300(2)……300(n)的电荷(Q)及电压(V)可用如下数学式7表示。

数学式7

Qtot=ΣQ

Vtot=QtotnC

即,保存于各电容器320的电荷(Q)之和为总电压(Qtot),而用电容器320 的数量除以总电荷(Qtot),则可计算出总电压。此时,当电容器并联时,各电荷量 之和可通过全部电荷量相同的简单的原理推导出来。

因此,当至少一个视觉神经电路装置200并联的情况下,可基于合算保存于至少 一个开关电容器部300的电荷的值计算输出电压。为此,视觉神经电路装置200还可 包括整合电容器500及整合开关600。

此时,整合开关600可在视觉神经电路装置200导通之前释放整合电容器500 的残留电荷。因还具备整合开关600,上述数学式7可变更为下述数学式8。

数学式8

Vout=QtotnC+Co<Vtot

此时,Co为整合电容器500的容量。整合电容器500不仅可用于输出电压(Vout) 的合算,而且,还可防止因大规模神经连接突触的联动而导致输出值的饱和。例如, 可具有乘小于1的系数的效果。此时,因至少一个视觉神经电路装置200的第二开关 330的接通(on)时间为电荷重新分配所需时间,因此,几乎没有影响。

(b)表示视觉神经电路装置200构成两个并联结构的情况。因基于电流源,不 仅可构成两个并联结构,而且,还可构成不受数量限制的并联结构,因此,需要大容 量连接突触结构的计算也可通过小型化芯片实现。

另外,具备开关电容器部300的原因是在难以搜索对象的恶劣的条件下,有可能 需要每神经元1500~2000规模的连接突触联动。此时,作为大脑的初始视觉只能步骤 的方向性计算需要相对小规模的100~200的连接突触联动。当以半导体芯片的小型化 或VLSI实现或以嵌入式系统实现时,这样的环境将成为限制性条件。

因此,开关电容器部300根据神经元的激活程度取决于从连接突触传递的正(+) /负(-)电流的积累的特点,在解决大规模的连接突触联动问题的同时,可满足小型 化条件。即,开关电容器部300在各电容器中以电荷形式保存作为利用按一定单位分 割的连接突触计算的结果的电流源之后,在进行整体计算时连接所有电容器,从而满 足小型化条件。

另外,因保存于各电容器的电荷量之和可具有与整体电荷相同的电势,因此,在 利用开关电容器部300解决恶劣环境中所需的大规模的连接突触联动问题的同时,实 现半导体芯片的小型化。

图15为利用图9的视觉神经电路装置搜索对象的实施例示意图。如图15的(a) 所示,将F定义为对象,而将B定义为背景。此时,适用于对象和背景的基准值及权 重值如下述数学式9所示。

数学式9

F=Σ(weight)(input-offset)

B=Σ(weight)(input)

如数学式9所示,在背景(B)中在输入值(input)只适用权重值(weight), 但在所要检测及搜索的图案的对象(F)中,在输入值(input)乘以权重值之前,减 去基准值(offset)。

此时,在背景(B)中也可以如数学式10那样加上基准值加大其差异。

数学式10

F=Σ(weight)(input-offset)

B=Σ(weight)(input+offset)

(b)为适用基准值及权重值从影像中检测对象的画面的一例。

即,从作为安全带帧的对象(F)减去基准值之后乘以权重值,而在背景(B)中 乘以权重值或加上基准值之后乘以权重值,从而加大其差异。因此,左侧的输入影像 变成右侧输入影像,而作为对象的安全带检测为白色。

图16为利用图9的视觉神经电路装置生成结构信息的实施例示意图,而图17 为利用图9的视觉神经电路装置从图像生成结构信息的实施例示意图。

如图16的(a)所示,为保护乘客的个人信息保护,在对象为人的情况下,图解 对象的形状生成结构信息。即,通过视觉处理识别头部位置,识别上半身的姿势及倾 斜度,确认安全气囊的启动与否,安全带的佩戴与否。

此时,在对象为人的情况下,只图解人。即,乘客的个人信息可概括乘坐座位位 置、座位上半身姿势的倾斜度、头部的位置等进行传送。因救援中心只通过象征化了 的图像即可判断受灾情况,因此,可根本上保护敏感的个人信息的泄露,且传送至救 援中心的信息量也可以降低到最少,从而提高传送速度。

(b)为将结构信息生成为文本或文字(SMS/MMS)的情况,可以乘客为单位通 知姿势、头部位置,且以整合变数的形式传送安全气囊打开与否和安全带佩戴与否。

如图17所示,检测影像并变换为黑白并适用基准值和权重值分离背景和对象之 后,识别相应对象的位置及倾斜等,而且,在对象为人的情况下,显示生成图解的结 构信息的画面。

另外,通过提取视觉信息的特性强化方向性计算的视觉神经电路模仿性能。

即,在具有相对强的亮度的区域强化方向性计算结果,从而提高在有限空间内的 乘客或对象的对象识别性能。例如,因车辆的乘客靠近车窗,因此,不管是白天还是 黑夜,将位于相对于其他部分亮的区域。

因此,因非关心部分的光线照射量相对较低,只为亮度高的部分赋予方向性,即 权重值,从而提高识别对象的性能。即使在黑夜的情况下,因车辆内部具备有LED 等照明,且还具有其他用途的监控摄像头,因此,给亮度适用权重值的方法,在识别 对象时可提高识别性能。

图18为用于说明利用本发明另一实施例的视觉神经电路装置的对象搜索方法的 流程图。

首先,作为从图像或影像搜索对象的预处理过程,将输入影像变换为黑白影像 (S1810)。

另外,适用用于在黑白影像中区分对象和背景的基准值(Offset)(S1820)。

在适用基准值的图像和影像中,利用所要搜索的对象的形状的帧,在与帧相同的 形状赋予权重值(Weight)(S1830)。

从适用基准值及权重值的影像中选择及检测对象(S1840)。

上述步骤(S181O~S1840)之间的顺序只是示例性的,而非限制。即,上述步骤 (S181O~S1840)之间的顺序可以相互变动,而其中的部分步骤可同时进行。

利用如图18所示的视觉神经电路装置的对象搜索方法,可以包括可在计算机中 可执行的程序模块等计算机可执行的命令的记录媒介的形式实施。计算机可读取的媒 介可以是计算机可访问的任意可用媒介,包括挥发性及非挥发性媒介、分离型及非分 离型媒介。另外,计算机可读取的媒介包括计算机保存媒介及通信媒介。计算机保存 媒介包括以用以保存计算机可读取命令、数据结构、程序模块或其他数据等信息的任 意方法或技术实现的挥发性及非挥发性媒介、分离型及非分离型媒介。通信媒介典型 地包括计算机可读取命令、数据结构、程序模块或载波等经调制的数据信号的其他数 据或其他传送机制,包括任意的信息传递媒介。

上述实施例仅用以说明本发明而非限制,本领域的普通技术人员应当理解,可以 对本发明进行修改、变形或者等同替换。而在不脱离本发明的精神和范围内,其均应 涵盖在本发明的权利要求范围当中。例如,单一型的各结构要素可分散实施,同样, 分散的结构要素可以结合形式实施。

本发明的范围不受上述详细说明的限制,而只根据权利要求来确定,而权利要求 的意思及范围和等价导出的所有变更或变形形式都包含在本发明的范围之中。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号