Imageurs Cmos à IA intégrée de Sony [IMX500/501]

摘要

Avecles IMX500 et IMX501, Sony combine un imageur à 12,3 millions de pixels effectifs et une puce logique assurant non seulement le traitement et la numérisation du signal, mais aussi une analyse relevant de l'intelligence artificielle. Disponible sous forme de puces nues ou encapsulées, l'ensemble peut donc délivrer des métadonnées correspondant à des informations particulières, en sus ou à la place des images classiques. Différents algorithmes IA peuvent être sélectionnés en modifiant simplement la mémoire interne de l'IMX500/01, le traitement étant effectué par un DSP propriétaire. La puissance de calcul de ce DSP permet par exemple d'analyser une image selon le modèle MobileNet V1 en 3,1 ms, et donc d'effectuer une reconnaissance et un suivi d'objet en temps réel tout en enregistrant une vidéo, sans avoir à envoyer chaque image complète à un service cloud.