Progiciel plate-forme de développement VectorBlox™ Accelerator SDK

de conversionde programmationde conversion de données

Présentation

• Le SDK d'accélération VectorBlox™ fournit un moteur d'inférence logiciel optimisé pour les FPGAs Microchip PolarFire® et PolarFire SoC, axé sur l'inférence efficace en énergie pour les réseaux neuronaux convolutionnels (CNN) et les chaînes vidéo.
• Fonctions clés : déploiement logiciel sans reprogrammation du FPGA, prise en charge des réseaux parcimonieux (compression structurée et non structurée) et réglage des compromis performance / consommation.

Compression et efficacité mémoire
Le SDK (VectorBlox 3.x) réduit l'utilisation mémoire et les mouvements de données via des techniques de compression structurée et non structurée. La compression structurée cible des données disposées régulièrement (poids, activations, cartes de caractéristiques) permettant une décompression déterministe et peu coûteuse en matériel. La compression non structurée stocke uniquement les valeurs non nulles avec leurs indices pour gérer des motifs de données rares ou irréguliers, autorisant des modèles plus grands ou des données à plus haute résolution dans des contraintes mémoire/bande passante fixes sur des systèmes edge.

Support des modèles IA et chaîne d'outils

• Large compatibilité de frameworks : TensorFlow, TensorFlow Lite, ONNX et OpenVINO.
• Outils de quantification et de conversion fournis pour transformer des modèles FP32 en INT8 et préparer les modèles pour l'exécution VectorBlox.
• Les outils de compilation génèrent binaires et poids ; les éléments d'exécution sont stockés en mémoire non volatile (généralement SPI Flash) et chargés en DDR au démarrage pour exécution.

CoreVectorBlox IP et architecture
Le CoreVectorBlox IP propose une architecture d'accélérateur configurable avec des caractéristiques telles que :

• Différentes configurations de taille pour s'adapter aux exigences applicatives et de performance.
• Architecture overlay pour prendre en charge plusieurs réseaux sur un même cœur avec commutation dynamique.
• Interface maître mémoire AXI4 configurable (64 à 256 bits) et AXI4-Lite pour contrôle/statut.
• Architecture basée sur la mémoire avec support d'E/S mappées en mémoire.
• Processeur vectoriel interne pour réseaux neuronaux généraux et accélérateur CNN dédié aux couches convolutionnelles.

Design de référence et pipeline vidéo
Le design de référence PolarFire SoC pour évaluation intègre des chaînes caméra et vidéo comprenant l'entrée caméra MIPI CSI-2, l'entrée HDMI, un pipeline de traitement d'image (ISP), le moteur AI VectorBlox et une sortie HDMI pour affichage des résultats. Le SDK facilite le prototypage rapide avec des CNN pré-optimisés et des outils de simulation pour évaluation avant déploiement.

Consommation et déploiement en edge
La solution cible des applications embarquées et edge basse consommation, avec des inférences et pipelines vidéo rapportés sous 5 W dans des configurations évaluées. La configurabilité permet d'équilibrer débit et consommation énergétique selon les cas d'usage.

Premiers pas (vue d'ensemble)

• Étape 1 : Installez le SDK VectorBlox™ et consultez le Programmer's Guide et la documentation fournie.
• Étape 2 : Convertissez et quantifiez votre CNN à l'aide des outils/tutoriels fournis pour préparer des modèles INT8 pour le SDK.
• Étape 3 : Évaluez avec le PolarFire SoC Video Kit (design de référence disponible) pour valider les pipelines caméra/ISP/IA sur le matériel cible.
• Étape 4 : Installez le Libero® SoC Design Suite pour visualiser ou reconstruire les composants du design de référence.
• Étape 5 : Générez et fusionnez les licences Libero et CoreVectorBlox requises selon les instructions de démarrage rapide Libero avant les builds matériels finaux.

Flux de démonstration et de déploiement
Le flux de développement inclut la préparation des modèles entraînés (quantification et compression), la compilation en binaires et poids VectorBlox, le stockage des éléments dans SPI Flash et le chargement en DDR à l'exécution. Le SDK prend en charge des mappings aware-sparse pour exploiter directement la parcimonie des réseaux dans le matériel FPGA afin d'améliorer le débit.

Caractéristiques / spécifications techniques

• Devices supportés : FPGAs PolarFire® et PolarFire SoC FPGAs.
• Frameworks IA supportés : TensorFlow, TensorFlow Lite, ONNX, OpenVINO.
• Quantification : outils de conversion FP32 -> INT8 inclus.
• Compression : compression structurée et non structurée pour poids/activations/cartes de caractéristiques ; stockage sparse des valeurs non nulles et de leurs indices.
• Interfaces : MIPI CSI-2 (caméra), HDMI entrée/sortie, SPI Flash pour stockage non volatile, DDR pour données à l'exécution.
• Bus/Contrôle : AXI4 maître configurable (64–256 bits) et interface de contrôle AXI4-Lite.
• Fonctionnalités IP : architecture overlay, processeur vectoriel interne, accélérateur CNN.
• Consommation typique évaluée : inférence et pipelines vidéo < 5 W (dépend de la configuration).
• Matériel de référence : PolarFire SoC Video Kit (design de référence disponible pour évaluation caméra/ISP/AI).
• Outil de conception requis : Libero SoC Design Suite pour reconstruire ou inspecter les composants du design de référence ; étapes de fusion des licences requises selon le guide de démarrage rapide Libero.