Des capteurs d’image automobile haute résolution pour une meilleure conduite autonome
Par Sergey Velichko, Senior Manager, ASD Technology & Product Strategy, onsemi.
www.onsemi.com
De nos jours, un nombre croissant de véhicules est équipé d’un minimum de systèmes avancés d’aide à la conduite (ADAS) ou de conduite autonome (AD). Parmi les fonctions proposées par ces derniers, figurent la conduite autonome, l’aide au maintien des voies, les avertisseurs d’angles morts et bien d’autres fonctionnalités. Nombre de ces fonctions sont assurées par des caméras équipées de capteurs d’image onsemi pour l’automobile.
La plupart des systèmes ADAS et AD comprennent des caméras conçues spécifiquement pour l’automobile qui forment une sorte de cocon de détection à 360 ° comme illustré dans l’image 1. Ces caméras, dotées d’un champ de vision étroit et large (FOV), sont utilisées pour la détection de divers objets comme celle d’autres véhicules mais surtout les usagers vulnérables de la route, tels que les piétons, les cyclistes, les motos, etc. Ces caméras détectent également les voies de circulation, les bordures, les feux tricolores et extraient les informations des panneaux de signalisation.
Elles doivent également être capables de capturer des images détaillées dans différentes conditions de luminosité : de la journée ensoleillée à la nuit sombre. Les conditions de luminosité étant très vastes, les images capturées couvrent souvent une large plage d’intensité lumineuse (en anglais, High Dynamic Range ou HDR, mesurée en décibel ou dB) qui surpasse les capacités de l’œil humain. Normalement, ce dernier est capable de percevoir une intensité lumineuse allant de 80 à 90 dB au maximum, alors que l’intensité lumineuse d’un paysage urbain de jour avec la lumière directe du soleil est souvent supérieure à 140 dB, soit 100 mille à 1 million de fois plus intense. En outre, les limitations de vitesse maximum des véhicules imposent une détection d’objet dépassant fréquemment 200 m ou même 300 m à une vitesse sur autoroute de 130 km/h (soit 80 mi/h). Par conséquent, une détection longue portée requiert également des images en haute résolution. L’ensemble de ces défis définissent les exigences auxquelles les capteurs d’image automobiles nouvelle génération doivent répondre.
Un ensemble de capteurs à 360 ° équipé de caméras automobiles multiples disposées autour du véhicule
onsemi a été la première entreprise à inventer des capteurs d’image avec une HDR de 120 dB ouvrant ainsi la voie aux premières conceptions ADAS qui ont commencé à apparaître entre 2009 et 2015. Les premières versions de ces solutions ADAS utilisaient les capteurs d’images de onsemi avec une résolution d’image de 1 et 2 mégapixels (MP). Ces derniers sont dorénavant installés dans la majorité des systèmes ADAS des véhicules en circulation.
L’Association des constructeurs européens d’automobiles (ACEA) a indiqué dans son rapport que le nombre de décès sur la route dans l’Union européenne (UE) avait diminué de moitié depuis 2008 (Image 2) [Source : Road fatalities and motor vehicles in the EU, 2008-2020 trend]. Les systèmes ADAS équipés de caméras HDR ont largement contribué à cette diminution. Au cœur de cette quête continue vers des conceptions automobiles à la fois meilleures et plus sûres, et équipées de systèmes ADAS, onsemi fut la première entreprise à lancer un capteur pour automobile de 8.3 MP sur le marché.
La première génération de capteurs d’image haute résolution permettait la détection d’objets distants. Grâce aux pixels de 2,1 µm, le capteur AR0820AT 8.3 MP est optimisé pour une plage de détection d’intensité lumineuse jusqu’à 140 dB tout en offrant une performance de détection optimale de luminosité de très faible intensité. De fait, ces caractéristiques sont devenues des normes. Les performances de ce premier capteur d’images à haute résolution pour automobile ont permis la détection d’objets sur de longues distances, comme illustré dans l’image 3, permettant d’ouvrir la voie à une sécurité routière améliorée. L’un des modes de fonctionnement du capteur a été conçu pour les conditions de faible luminosité grâce à une technique d’agrégation de pixels qui associe quatre pixels ensemble afin de réduire le bruit de lecture. Ce mode diminuait la résolution de 8.3MP à 2 MP, mais offrait un rapport luminosité / bruit (en anglais, Signal to Noise ratio, ou SNR) deux fois supérieur. En outre, il pouvait capturer une luminosité de moins d’un lux d’intensité dans l’obscurité. Les systèmes ADAS peuvent souvent changer de configuration en temps réel, commutant ainsi entre une résolution de 8.3 MP avec une image complète et détaillée, et une plus faible résolution de 2 MP avec une meilleure capture d’image par faible luminosité. La commutation entre ces deux résolutions est assurée par un mécanisme interne de commutation des registres configuration du capteur.
L’image 4 illustre l’exemple d’une image utilisant une plage d’intensité lumineuse de 140 dB utilisée pour la détection des usagers vulnérables de la route. L’image a été capturée par le capteur AR0820AT en mode HDR 4 expositions. La caméra d’angles morts a clairement montré une moto et ses phares malgré des conditions de luminosité très élevées. Même en cas de luminosité très faible, la moto aurait été visible et aurait été détectée par le capteur. L’AR0820AT est également le premier capteur d’image pour l’automobile à avoir présenté deux nouvelles matrices de filtres de couleurs non traditionnelles (en anglais, Color Filter Array, ou CFA).
Le premier CFA incluait les pixels rouges, jaunes et cyans (RYYCy). En effet, les processeurs avancés de traitement des couleurs peuvent convertir des images non traitées RYYCy en images colorées vives et nettes à l’instar de l’image 4. En permettant à davantage de photons d’entrer dans le pixel, la matrice RYYCy améliore les performances par faible luminosité. L’autre CFA comprenait des pixels rouges, clairs et bleus (« red, clear, and blue, RCCB ») offrant des performances améliorées par faible luminosité, tout en fournissait une fidélité de reproduction des couleurs satisfaisante. Les deux motifs CFA du capteur AR0820AT sont largement utilisés dans les systèmes ADAS et AD d’aujourd’hui.
Dans la perspective de supporter le niveau 3 (niveau SAE de conduite autonome) et d’offrir un plus haut degré de conduite autonome, permettant d’activer des capacités de conduite autonome, en milieu urbain et sur autoroute, pour des véhicules de production de masse, et de poursuivre l’avancée des progrès en matière de sécurité, onsemi a repoussé encore plus loin les limites des performances pour son capteur HyperluxTM AR0823AT 8.3 MP. Le modèle AR0823AT, grâce à sa super exposition de deuxième génération, a amélioré de manière significative les performances par conditions de faible luminosité et a fourni une plage de détection d’intensité lumineuse allant jusqu’à 150 dB, avec atténuation du scintillement des LED inégalée (en anglais, LED Flicker Mitigation, ou LFM). Le capteur saisie les détails d’une image avec une grande précision, et ce, dans une large gamme de conditions de luminosité, dotant ainsi les solutions ADAS et AD de capacités uniques. L’image 5 montre aussi bien les détails d’objets situés à l’intérieur d’un tunnel sombre que des véhicules situés à environ 400 mètres en plein soleil. Le capteur conserve des performances stables sur toute la plage de températures requis pour l’automobile, il peut gérer les cas les plus exigeants de la conduite autonome, du niveau 3 aux niveaux les plus élevés.
Les performances LFM et HDR des capteurs gagnent en importance en même temps que l’éclairage et les panneaux a LED font leur entrée dans le secteur de l’automobile. Les feux de circulation, les panneaux de signalisation, les phares et les feux-stops utilisent des LED à modulation de largeur d’impulsion. Ce principe est susceptible de causer des informations manquantes ou illisibles dans les images capturées.
European Union (EU) Road Fatalities 2008-2020 (Source : ACEA)
Le capteur AR0823AT est le premier capteur d’image pour l’automobile avec des capacités LFM et HDR intégrées garantissant une capture exhaustive des informations des feux de circulation et des panneaux de signalisation. Pour HDR, la technologie de l’AR0820AT repose sur une prise de vue par exposition multiple, ce qui peut conduire à observer des effets de scintillements LED, ou des parties d’image partiellement manquantes ou dégradées en cas de panneau de signalisation à LED. D’un autre côté, sa prise de vue en mode super exposition couvre une plage de détection d’intensité lumineuse exempte de scintillement jusqu’à 120 dB, préservant ainsi l’ensemble des informations des panneaux de signalisation LED. L’image 6 montre un panneau a LED de limitation de vitesse à 90 km/h. Celui-ci a été capturé par le capteur AR0820AT (à gauche), et comporte des dégradations. Il a également été capturé par le capteur AR0823AT (à droite) et montre des détails nets et entiers.
L’augmentation de la plage de détection d’intensité lumineuse jusqu’à 150 dB constitue l’une des caractéristiques essentielles apportées par l’AR0823AT. Cet ultra HDR se veut utile, notamment dans les situations particulières avec un soleil direct, ou ses reflets, ainsi que pour la détection des couleurs des feux de circulation. Nous prenons ici l’exemple du soleil direct tel que capturé par l’AR0823AT et par une solution concurrente. Le capteur concurrent ne peut couvrir qu’une plage de détection d’intensité lumineuse de130 dB. La plage de détection de l’AR0823AT est 10 fois supérieure à celle de son concurrent. Elle permet au système ADAS ou AD de capturer les informations de la signalisation avec précision. En comparaison, la capacité de détection de la solution concurrente est compromise. En effet, sur l’image 7 ci-après, l’image, est saturée autour du soleil. Pour la lecture des feux de circulation, l’AR0823AT est capable de capturer les couleurs réelles même dans des conditions de luminosité élevée tandis que le capteur concurrent peut échouer les détecter et ainsi retransmettre des couleurs erronées. L’objectif de onsemi est que les véhicules « voient » les couleurs des feux de circulation avec précision, indépendamment de la position des sources lumineuses telles que le soleil ou les phares.
Des images aux couleurs réelles et nettes, des performances améliorées par faible luminosité ainsi qu’une plage de détection d’intensité lumineuse jusqu’à 150 dB constituent les fonctionnalités avancées du capteur AR0823AT. Elles sont également les caractéristiques essentielles pour la détection d’objet à longue distance aussi bien durant les journées ensoleillées que dans l’obscurité. onsemi a étudié les impacts de la qualité d’une image influençant la détection d’objets en utilisant les capteurs Hyperlux dernière génération sur des véhicules tests. Des millions d’images et de vidéos réelles ont été collectées et traitées via le moteur de détection d’objets en temps réel « You Only Look Once » (YOLO).
L’image 8 montre les résultats de la détection d’objets par le capteur AR0823AT. L’image de gauche montre une journée ensoleillée sur une autoroute avec des conditions de luminosité optimales. Dans ce scénario, les véhicules, les panneaux de signalisation, les feux de circulation et autres éléments peuvent être détectés de manière fiable jusqu’à une distance de 400 m. Dans le scénario de nuit, dans une ville sombre (voir l’image de droite), la détection d’objet est fiable jusqu’à une distance de 250 m. Les résultats de ces études ont confirmé que les performances du capteur AR0823AT sont à la hauteur des performances attendues pour le niveau 3 et plus, des véhicules à conduite autonome à des vitesses sur autoroute pouvant aller jusqu’à 130 km/h.
Tandis que l’on observe une transition en masse de l’industrie automobile vers le niveau 3 de la conduite autonome, l’ensemble de ces études réaffirme le fait que les capteurs haute résolution de onsemi apportent une base solide aux diverses applications automobiles. À l’avenir, nous prévoyons que la résolution des capteurs d’image sera supérieure à 8.3 MP pour permettre d’atteindre des niveaux de conduite autonome encore plus élevés. Nous travaillons sans relâche à la conception de ces futurs capteurs d’image, en ne compromettant ni leurs performances ni leurs coûts. Détenteur de plus vaste portefeuille de propriétés intellectuelles dans le domaine des capteurs d’images, et appuyé par une fabrication et une distribution à la fois résiliente et exceptionnelle, onsemi continue de promouvoir le développement de routes plus sûres et de plus grands niveaux de conduite autonome.
www.onsemi.com
