Un modèle vidéo capable d'analyser et segmenter des contenus longs sans pré-indexation

TwelveLabs a rendu disponible son modèle vidéo Pegasus 1.5 sur la plateforme Amazon Bedrock à partir du 9 octobre 2026, selon les annonces officielles relayées par AWS Machine Learning Blog et syncai.news. Contrairement à ses prédécesseurs, ce modèle transforme des vidéos longues (jusqu’à 2 heures, contre 1 heure pour Pegasus 1.2) en métadonnées structurées et horodatées, sans nécessiter d’étape de pré-indexation ou d’ingestion préalable.

L’innovation majeure réside dans sa capacité à segmenter automatiquement des événements spécifiques au sein d’une vidéo, comme les changements de locuteur ou les apparitions de marques, et à retourner ces segments sous forme de JSON avec horodatage précis. Par exemple, une requête comme « extraire tous les moments où un logo apparaît » générera une liste de segments vidéo avec leurs timestamps, comme l’explique la description fonctionnelle citée par les sources : « You describe the moments that matter to your workflow, and the model returns every matching segment as JSON. »

Vous décrivez les moments importants pour votre workflow, et le modèle retourne chaque segment correspondant sous forme de JSON avec horodatage précis.

Multimodal prompting et traitement en temps réel : des fonctionnalités adaptées aux flux vidéo dynamiques

Pegasus 1.5 introduit deux fonctionnalités clés pour les applications nécessitant une analyse vidéo en temps réel : le multimodal prompting et le traitement on-the-fly. Le multimodal prompting permet d’associer des références visuelles (jusqu’à 30 images par requête, selon Logeshwaran.org) à des instructions textuelles pour localiser des éléments précis, comme des produits ou des visages. Cette approche élimine le besoin d’un pipeline d’ingestion complexe, comme le souligne la caractéristique technique partagée par toutes les sources : « No ingestion pipeline or pre-indexing step is required. »

Le traitement en temps réel ouvre la voie à des applications où la latence est critique, comme la modération de contenu ou l’analyse de flux vidéo live. Les vidéos peuvent être fournies directement via un URI Amazon S3 ou une chaîne base64 (limité à 25 MB), ce qui simplifie l’intégration avec des systèmes existants. Deux modes d’analyse sont proposés : un mode général pour des réponses textuelles ou JSON structurées, et un mode time_based_metadata pour extraire des segments horodatés selon des critères définis par l’utilisateur.

Compatibilité multilingue et accessibilité technique : des atouts pour les organisations africaines

Pegasus 1.5 conserve les capacités multilingues de sa version précédente, avec un support complet pour l’anglais et un support partiel pour 12 autres langues, dont le français, l’arabe, le portugais et le russe, selon les détails techniques partagés par Logeshwaran.org. Cette caractéristique est particulièrement pertinente pour les entreprises et administrations d’Afrique de l’Ouest, où le français et les langues locales jouent un rôle central dans la communication institutionnelle et les médias.

Côté accessibilité, le modèle est accessible via les API InvokeModel et InvokeModelWithResponseStream sur l’endpoint bedrock-runtime, disponible en région us-west-2. Les utilisateurs doivent activer le modèle dans la console Amazon Bedrock et configurer des permissions IAM spécifiques. Les coûts sont suivis via des profils d’inférence d’application et des tags ARN, permettant une facturation granulaire basée sur les secondes de vidéo analysées et les tokens de sortie, comme l’indique AWS.

Ce que cela change ici : opportunités pour les médias, la sécurité et la gouvernance en Afrique de l’Ouest

Pour les organisations médiatiques du Bénin et d’Afrique de l’Ouest, Pegasus 1.5 pourrait révolutionner la gestion des archives vidéo. Les chaînes de télévision et les plateformes de streaming pourraient automatiser l’indexation de leurs contenus, facilitant la recherche par mots-clés ou par segments horodatés. Par exemple, une chaîne béninoise pourrait extraire automatiquement tous les passages d’un discours politique ou d’une émission en direct, réduisant ainsi le temps consacré au montage et à l’analyse manuelle.

Dans le domaine de la sécurité et de la gouvernance, les administrations pourraient exploiter la segmentation vidéo pour analyser des enregistrements de surveillance ou des réunions institutionnelles. Par exemple, un ministère pourrait identifier rapidement les moments clés d’une conférence de presse ou détecter des comportements suspects dans des vidéos de sécurité publique, sans nécessiter d’infrastructure lourde de traitement vidéo. Le support multilingue, incluant le français, renforcerait également l’inclusivité de ces outils pour les populations francophones.

Enfin, les entreprises locales opérant dans des secteurs comme le e-commerce ou la publicité pourraient tirer parti du multimodal prompting pour analyser des vidéos promotionnelles ou des retours clients. Par exemple, une plateforme de vente en ligne pourrait automatiser l’extraction des produits mis en avant dans des vidéos de démonstration, optimisant ainsi leur référencement et leur visibilité.