一种嵌入式刀片弹性扩展AI边缘服务器的装置和方法

摘要

本发明属于AI技术领域且公开了一种嵌入式刀片弹性扩展AI边缘服务器的装置和方法，该装置包括：一块或多块计算解码刀片，所述计算解码刀片从网络获取网络摄像头输入视频流，通过CPU自带解码器解码和预处理视频流，得到AI芯片所需的输入数据，通过PCIe将输入数据传输到AI芯片进行推理，采集AI芯片推理返回结果，将推理结果返回远程AI管理平台；从PCIe获取需要推理的输入数据，通过AI芯片推理出结果，通过PCIe返回AI推理组件；所述交换主板通过交换机芯片将网络摄像头视频流输入到AI计算解码刀片计算解码刀片和AI推理刀片配套使用，可以一块计算解码刀片带多开AI推理刀片。本发明拥有高算力、高带宽、高密度、高可靠、低延时和灵活扩展等优点。