Nvidia dévoile le modèle d'infrastructure AI pour améliorer la production, la productivité et le développement de contenu humain numérique

Le 6 janvier, NVIDIA a annoncé un modèle de fondation qui fonctionne localement sur les PC NVIDIA RTX AI qui améliorent l'humanité numérique, la production de contenu, la productivité et le développement.

Offert sous forme de microservices NVIDIA NIM, ces modèles seront accélérés par les nouveaux GPU de la série GeForce RTX50 avec jusqu'à 3 352 billions d'opérations / seconde performance d'IA et 32 ​​Go de VRAM. Construit sur l'architecture Nvidia Blackwell, la série RTX50 a été le premier GPU à la consommation à ajouter la prise en charge des calculs FP4, avec deux fois les performances d'inférence AI améliorées par rapport au matériel de génération précédente, et le modèle de génération d'IA a été encore amélioré. Empreintes de pas de mémoire.

GeForce est depuis longtemps une plate-forme essentielle pour les développeurs d'IA. Le premier réseau d'apprentissage en profondeur accéléré par le GPU, Alexnet, s'est formé sur le GEForce GTX580 en 2012. De plus, plus de 30% des articles de recherche sur l'IA publiés ont cité l'utilisation de GeForce RTX l'année dernière.

Maintenant, n'importe qui peut les développeurs avec un générateur AI et un PC RTX AI. La nouvelle vague d'outils à faible code et sans code tels que n'importe quoi sur quoi que ce soit, Comfyui, Langflow et LM Studio permet aux utilisateurs impatients d'utiliser des modèles d'IA pour des flux de travail complexes avec une interface utilisateur graphique simple.

Les microservices NIM connectés à ces GUIS permettent un accès et un déploiement faciles des derniers modèles d'IA générés. Construit sur NIM Microservices, Nvidia AI Blueprint propose des workflows de référence préconfigurés faciles à utiliser pour les humains numériques, la création de contenu, etc.

Pour répondre à la demande croissante des développeurs et des amateurs d'IA, tous les principaux fabricants de PC et constructeurs de systèmes lanceront des PC RTX compatibles avec NIM avec des GPU de la série GeForce RTX50.

"L'IA évolue à la vitesse de la lumière, de l'IA perceptuelle à l'IA générée et désormais basée sur l'agent, les microservices NIM et l'IA sont la clé des PC. Il fournit aux développeurs et aux passionnés des blocs de construction pour explorer la magie de l'IA. "

・ Rendre AI compatible avec NIM
Le modèle sous-jacent (réseaux de neurones formés sur une grande quantité de données brutes) est une composante de l'IA générée. Nvidia publie un pipeline de microservices NIM pour les PC RTX AI de principaux développeurs de modèles tels que Black Forest Labs, Meta, Mistral et Stability.ai. Les cas d'utilisation vont des modèles de langage à grande échelle (LLM), des modèles de langage de vision, de la génération d'images, de la parole, des modèles intégrés pour la génération (RAG) (RAG) de récupération (RAG), d'extraction PDF et de vision par ordinateur.

"Les GPU GeForce RTX 50 avec les opérations FP4 vous permettent d'exécuter d'énormes modèles qui étaient auparavant limités aux grands centres de données sur les PC", a déclaré Robin Rombach, PDG de Black Forest Labs. Sera en mesure de déployer et de découvrir l'IA, et nous offrirons également des performances incroyables. "

De plus, NVIDIA a dévoilé aujourd'hui la famille de modèles ouverts LLAMA Nemotron qui assurent une précision élevée pour un large éventail de tâches basées sur des agents. Le modèle Nemotron Nano LLAMA est proposé comme microservice NIM pour les PC et les postes de travail RTX, et excelle dans les tâches AI basées sur des agents telles que le suivi des instructions, les appels de fonction, le chat, le codage et les mathématiques.

Les microservices NIM incluent des composants clés pour l'exécution de l'IA sur des PC et sont optimisés pour le déploiement entre les GPU NVIDIA, y compris les PC RTX, les postes de travail et les nuages.

Cela permet aux développeurs et aux passionnés de télécharger rapidement, de configurer et d'exécuter ces microservices NIM sur Windows 11PCS avec le sous-système Windows pour Linux (WSL).

"L'IA stimule rapidement l'innovation dans les PC de Windows 11, et le sous-système Windows pour Linux (WSL) fait partie de l'exécution de Windows Copilot pour développer l'IA de Windows 11 aux côtés de Windows Copilot Runtime", a déclaré Pavan Davuluri, vice-président de Windows Windows. Fournit un excellent environnement multiplateforme pour les microservices NVIDIA NIM optimisés par Windows PC, fournissant aux développeurs et aux passionnés avec un modèle d'IA qui permet aux développeurs et aux passionnés de s'intégrer rapidement dans les applications Windows, et l'IA pour les utilisateurs de Windows, il accélérera encore le déploiement des fonctionnalités. "

Les microservices NIM exécutés sur les PC RTX AI sont compatibles avec les principaux cadres d'agent AI et d'agent, y compris la boîte à outils AI pour VScode, Anythingllm, Comfyui, Crewai, Flowise AI, Langchain, Langflow et LM Studio. Les développeurs peuvent connecter les applications et les workflows construits sur ces cadres à des modèles AI exécutant les microservices NIM via des points de terminaison standard, ce qui les rend unifiés sur les nuages, les centres de données, les postes de travail et les PC.

La sortie de la démo technologique NVIDIA ChatRTX arrive bientôt, et vous pouvez également découvrir une variété de microservices NIM.

・ Type d'agent: donne des expressions à l'IA
Pour démontrer comment NIM peut être utilisé par les utilisateurs et les développeurs pour construire des agents et des assistants, NVIDIA a annoncé aujourd'hui le projet R2X. Il s'agit d'un avatar visuel qui peut instantanément fournir des informations aux utilisateurs, aider avec les applications de bureau et les appels de vidéoconférence et lire et résumer les documents.

Cet avatar est rendu à l'aide de visages neuronaux NVIDIA RTX, un algorithme d'IA de nouvelle génération qui améliore la rasterisation traditionnelle avec des pixels entièrement générés. Les expressions faciales seront ensuite animées par un nouveau modèle NVIDIA Audio2Face-3D basé sur la diffusion qui améliore le mouvement des lèvres et de la langue. R2X se connecte aux services Cloud AI tels que GPT4O d'OpenAI et GROK de XAI, ainsi que les microservices NIM tels que PDF Retrievers et les LLMS alternatifs et les Blueprints AI via des cadres de développeurs tels que Crewai, Flowise AI et Langflow. Veuillez vous inscrire pour voir les dernières informations sur le projet R2X.

・ AI Blueprint est désormais disponible sur PC
Les microservices NIM sont également fournis aux utilisateurs de PC via AI Blueprint, un flux de travail AI de référence qui peut être exécuté localement sur RTX PCS. Ces plans permettent aux développeurs de créer des podcasts à partir de documents PDF et de générer des images attrayantes guidées dans des scènes 3D.

PDF à Podcast Blueprint extrait du texte, des images et des tables de PDF et crée un script de podcast éditable par l'utilisateur. Vous pouvez également générer un enregistrement audio complet à partir d'un script utilisant l'audio disponible dans Blueprint et des échantillons audio utilisateur. De plus, les utilisateurs peuvent avoir des conversations en temps réel avec des hôtes de podcast IA pour en savoir plus sur des sujets spécifiques.

Blueprint utilise des microservices NIM tels que Mistral-NEMO-12B-Istruct pour les langues, Nvidia Riva pour le texte-parole et la reconnaissance vocale automatique, et la collection de microsévices Nemo Retriever pour l'extraction PDF.

Génération guidée 3D Le Blueprint AI donne aux artistes plus de contrôle sur la génération d'images. L'IA peut générer de superbes images à partir d'invites de texte simples, mais l'utilisation de mots seuls peut être difficile à contrôler la composition des images. Ce plan permet aux créateurs de guider la génération d'images AI en utilisant des objets 3D simples disposés dans des rendus 3D tels que Blender. Les artistes peuvent créer des actifs 3D manuellement ou les générer en utilisant l'IA et les placer dans la scène pour configurer une caméra de fenêtre 3D. Le flux de travail emballé fourni par les microservices Flux NIM utilise ensuite la configuration actuelle pour générer des images de haute qualité qui correspondent à la scène 3D.

Les microservices NVIDIA NIM et Blueprint AI seront disponibles à partir de février et fourniront un support matériel initial pour la série GeForce RTX50, GeForce RTX4090 et 4080, NVIDIA RTX6000 et 5000 GPU professionnels. Des GPU supplémentaires seront pris en charge à l'avenir. Les PC RTX AI compatibles avec NIM incluent Acer, Asus, Dell, Gigabyte, HP, Lenovo, MSI, Razer, Samsung et les constructeurs de systèmes régionaux Corsair, Falcon Northwest, LDLC, MailingEar, MifCon, Origin PC, PCS, Scan IT seront publiés à partir de .