Edge AI: platform vergelijking

Wie een industrieel product met vision of edge AI bouwt, komt vroeg uit bij een NVIDIA Jetson. De development kit ligt klaar, CUDA en TensorRT zijn bekend, en een eerste model draait snel. Qualcomm-modules, met de Dragonwing IQ-9075 voorop, halen de kleinere Jetson-modules op het brochurecijfer in, en vaak voorbij.

De afweging is daardoor een volumekwestie. Bij lage volumes weegt het ecosysteem zwaarder dan het verschil per module. Bij hogere volumes verdient de extra engineering van Qualcomm zich terug via de stuklijst, en vaak ook via vermogen en koeling. Past de toepassing op een kleine industriële NPU, dan zijn beide modules meer dan het product nodig heeft.

TOPS zijn geen vergelijking

Een TOPS-cijfer is een rekenvoorbeeld van de leverancier, geen meting van jouw model. NVIDIA rekent de Jetson-brochure in sparse INT8. Sparse ligt ongeveer dubbel zo hoog als dense, omdat de chip rekent alsof een groot deel van de gewichten nul is. Qualcomm zet bij de IQ-9075 het dense cijfer vooraan: tot 100 dense INT8 TOPS. Wie het op de Jetson-manier wil lezen, komt dan uit bij ongeveer 200 sparse TOPS.

Op diezelfde schaal zit de IQ-9075 boven de Orin Nano en de Orin NX, en onder de AGX Orin. Jetson Thor hoort in een andere klasse. Het brochurecijfer daarvan staat in FP4-TFLOPS, en dat getal kun je niet naast een INT8-TOPS zetten.

Module	Brochurecijfer	Hoe dat getal gerekend is
Jetson Orin Nano	34–67 TOPS	sparse INT8, Super aan de bovenkant
Jetson Orin NX	70–157 TOPS	sparse INT8, Super aan de bovenkant
Qualcomm Dragonwing IQ-9075	100 dense TOPS	INT8, sparse ongeveer het dubbele
Jetson AGX Orin	200–275 TOPS	sparse INT8
Jetson Thor	2070 FP4 TFLOPS	sparse FP4, andere eenheid

Vergelijk dense met dense, of sparse met sparse. Een hoger TOPS-cijfer van een andere leverancier is anders geen snellere module.

De Super-stand van een Orin Nano of Orin NX is dezelfde module met een hoger vermogensbudget. Het TOPS-cijfer stijgt, en het thermisch ontwerp van de behuizing moet volgen.

Of dat cijfer in het product aankomt, hangt af van het model, de quantisatie en de rest van de keten. Cameracapture, decoding, scaling en het tekenen van het resultaat bepalen de latency minstens even sterk als de accelerator. Hoe die keten in elkaar zit, lees je in YOLO op een embedded device.

Drie families, drie softwarestacks

De module die je koopt, is een SoC plus een softwareplatform. Die twee haal je achteraf niet meer uit elkaar.

Jetson koop je samen met CUDA, TensorRT en JetPack. Dat is een GPU-stack met een grote voorraad voorbeelden, voorgetrainde modellen en mensen die het al eens deden. De prijs daarvan is een module die relatief veel vermogen vraagt, en een applicatie die na verloop van tijd aan die stack blijft hangen.

Qualcomm koop je samen met de Hexagon-NPU en QAIRT, de runtime die een model op die NPU krijgt. De IQ-9075 is als industriële module gebouwd: tot 100 dense TOPS, ECC-geheugen, een omgevingstemperatuur van -40 tot +85 °C, een realtime-subsysteem ernaast, en een opgegeven beschikbaarheid tot 2038. Ubuntu en Yocto worden allebei ondersteund. Tot zestien camera’s tegelijk is een ander argument dan het TOPS-cijfer, wanneer het product echt zoveel sensoren moet verwerken.

De vormfactor kies je bij de moduleleverancier. Qualcomm zelf levert een gesoldeerde BGA-module van 65 bij 65 mm. Andere bouwers zetten dezelfde SoC op een formaat als SMARC. Een Orin NX of Orin Nano zit op een SO-DIMM-connector. Dat verschil bepaalt het carrier board, de productie en hoe je een module in het veld vervangt.

Een i.MX 8M Plus, een i.MX 95 of een TI AM62A koop je als industriële application processor met een NPU van enkele TOPS. De software is Yocto-eerst. Het vermogen blijft laag, de lifecycle is lang, en een gekwantiseerd model op één camera past vaak. Zodra je CUDA-bibliotheken of tientallen TOPS nodig hebt, val je buiten deze klasse.

Je kiest een combinatie van accelerator, runtime, BSP en de mensen die dat jarenlang kunnen onderhouden.

Lage volumes: Jetson door het ecosysteem

Bij een eerste serie van tientallen of een paar honderd toestellen domineert de engineering de stuklijst. Een verschil van een paar honderd euro per module verdwijnt naast de uren voor BSP, camerapijplijn, inference en HMI.

Daar is Jetson de makkelijkere weg.

• Een development kit ligt op voorraad. De applicatie kan starten terwijl het carrier board nog in ontwerp is, dezelfde redenering als bij een SOM tegenover een custom PCB.
• CUDA en TensorRT hebben voorbeelden voor zowat elk visionmodel dat een team in de eerste maand wil proberen.
• Mensen met Jetson-ervaring zijn te vinden. Ervaring met QAIRT veel minder.
• Bestaande CUDA-code, een TensorRT-engine of een bibliotheek die alleen op NVIDIA fatsoenlijk draait, hoef je niet te herschrijven.

JetPack vertrekt van Ubuntu. Voor een industrieel product wil je die stack daarna in een reproduceerbaar image, met een eigen updatepad. Yocto op Jetson kan, maar het is meer werk dan op een processor waarvan de leverancier Yocto als primaire BSP levert. Waarom dat image ertoe doet, staat in Yocto vs Ubuntu vs Debian.

Hoge volumes: Qualcomm door de stukprijs

NVIDIA publiceert een richtprijs vanaf 1.000 stuks, en die prijs is meteen het niveau waar je als kleinere afnemer weinig onder duikt. In het najaar van 2026 staat een Orin Nano 4GB op 349 dollar, een Orin Nano 8GB op 399 dollar, een Orin NX 16GB op 999 dollar en een AGX Orin 64GB op 2.999 dollar. Die cijfers wijzigen. Het patroon blijft: de grote Jetson-modules zijn duur, en de korting na 1.000 stuks is klein.

De IQ-9075 heeft geen publieke staffel. De module wordt per project geoffreerd, vaak met 18 of 36 GB ECC-geheugen. Die offerte leg je naast de Jetson die de toepassing echt aankan: een Orin NX rond de 1.000 dollar vanaf 1.000 stuks, of een AGX Orin die daar een veelvoud van kost. Het verschil per toestel, maal het volume, zet je tegen de extra integratie-uren. De korting op een Qualcomm-module zit in die offerte, niet in een prijslijst.

Een eenvoudig rekenvoorbeeld

Stel dat de Qualcomm-module per toestel 200 euro goedkoper uitkomt dan de Jetson die hetzelfde rekenwerk aankan, en dat de integratie 400 uur extra kost. Aan 100 euro per uur is dat 40.000 euro. Het kantelpunt ligt dan rond 200 toestellen. Bij 2.000 toestellen per jaar is het verschil 400.000 euro per jaar, nog voor je de koeling meerekent.

De echte cijfers komen uit de offerte en uit een meting van het eigen model. Het principe is hetzelfde als bij de keuze tussen een SOM en een eigen processorboard. Volume verandert welke kost de zwaarste is.

Bij lage volumes betaal je voor engineering en risico. Bij hoge volumes betaal je voor de stuklijst.

Vermogen hoort in diezelfde rekening. Inference draait de hele dienst door. Een module die voor dezelfde framerate minder watt vraagt, heeft een kleinere voeding, minder koper en vaker een dichte behuizing zonder ventilator. Dat zie je niet op de TOPS-regel. Je ziet het in de kost van het toestel en in de betrouwbaarheid op de werkvloer.

Twee voorwaarden horen bij die rekening.

Het model moet op de Qualcomm-NPU passen. Een netwerk dat aan CUDA-kernels of aan een TensorRT-plugin hangt, porteer je niet door de module te wisselen. Dan haalt de stukprijs de extra software niet in.

En je vergelijkt de module die de toepassing aankan, niet de duurste Jetson met de goedkoopste Qualcomm. Een Orin Nano van een paar honderd dollar blijft goedkoper dan een IQ-9075 wanneer 34 tot 67 sparse TOPS volstaan. De prijsredenering begint bij de Orin NX en wordt scherp bij de AGX Orin.

Wanneer een kleine NPU volstaat

Voor veel industriële producten is de toepassing één camera, een gekwantiseerd detectiemodel en een HMI ernaast. Daarvoor is een NPU van enkele TOPS genoeg. Een i.MX 8M Plus of een vergelijkbare processor houdt het vermogen, de stuklijst en de Yocto-stack van een embedded Linux-product, zonder CUDA en zonder QAIRT.

Onze X Series is zo opgebouwd: een i.MX 8M Plus met NPU op een eigen carrier, omdat die klasse past bij een industriële panel-pc. Een Jetson of Qualcomm erin zetten maakt de inference niet beter. Het maakt de module, het vermogen en het software-onderhoud zwaarder.

De rest van het veld

Rockchip, met de RK3588 als bekende SoC, levert veel inference voor minder geld dan een Jetson. De NPU van die SoC zit rond de 6 TOPS en heeft een eigen runtime, RKNN. De kwaliteit van de BSP hangt af van de moduleleverancier. Voor een kostgedreven product met een kortere levensduur kan dat een sterke fit zijn. Voor een toestel dat tien jaar in het veld blijft, weegt die variatie in onderhoud zwaarder.

Een aparte accelerator, zoals een Hailo naast een gewone industriële SOM, houdt het Linux-platform dat je al hebt. De AI wordt een tweede keuze, niet een reden om de hele compute te verhuizen. Dat loont wanneer één model moet draaien en de rest van het product een klassieke embedded Linux-applicatie is.

Intel met OpenVINO blijft relevant wanneer de software al op x86 draait en de behuizing het vermogen van die processor aankan. Voor een compact industrieel toestel zonder ventilator is dat zelden de eerste keuze.

Beslismatrix

Factor	Jetson	Qualcomm IQ-9075	Kleine industriële NPU
Lage volumes	Sterke fit, ecosysteem	Extra engineering	Sterk als de toepassing past
Hoge volumes	Moduleprijs blijft hoog	Stukprijs en vermogen	Vaak de laagste stuklijst
Software	CUDA, TensorRT, JetPack	QAIRT, Ubuntu en Yocto	Yocto, TFLite of ONNX
Typische toepassing	Zware modellen, CUDA-bibliotheken, meerdere streams	Veel camera’s, vision, efficiëntie	Eén camera, gekwantiseerd model, HMI
Industrieel	Industriële varianten, kleiner assortiment	ECC, -40 tot +85 °C, lange opgegeven beschikbaarheid	Lange lifecycle, laag vermogen
Afhankelijkheid	CUDA	Qualcomm-runtime	Modellen blijven verplaatsbaar

Hoe wij ernaar kijken

Bij Invisto vertrekken we vanuit de toepassing en het volume, niet vanuit de module met het hoogste brochurecijfer. Eerst meten we of een gekwantiseerd model op een kleine NPU de framerate haalt. Als dat zo is, blijft de industriële application processor de rustigere architectuur. Valt het model of het aantal camera’s daar buiten, dan vergelijken we Jetson en Qualcomm op drie dingen tegelijk: of de softwarestack de applicatie draagt, of de module in de behuizing past, en bij welk volume de stukprijs de extra engineering terugverdient.

Een prototype mag op de module met het rijkste ecosysteem starten. De serie hoeft daar niet op te blijven, zodra het volume en de meting dat niet meer rechtvaardigen.