Nouvelles

Nov 28, 2023

Stanford et Brilliant Labs créent des lunettes intelligentes ChatGPT

Les lunettes intelligentes rizzGPT fusionnent le contenu augmenté avec l'IA générative

Les lunettes intelligentes rizzGPT fusionnent le contenu augmenté avec les technologies IA génératives

Dernière modification : 5 juin 2023

Démon Cureton

Des étudiants chercheurs de l'Université de Stanford ont créé une paire de lunettes intelligentes de réalité augmentée (AR) capables de tirer parti du chatbot ChatGPT-4 d'OpenAI.

Le plugin ajouté permet aux étudiants de parler directement à ChatGPT via des lunettes intelligentes, fusionnant l'intelligence artificielle générative (IA) avec des superpositions AR.

dites adieu aux rendez-vous et aux entretiens d'embauche gênants ☹️

nous avons créé rizzGPT - Charisma as a Service (CaaS) en temps réel

il écoute votre conversation et vous dit exactement quoi dire ensuite 😱

construit avec GPT-4, Whisper et les lunettes Monocle AR

avec @C51Alix @varunshenoy_ pic.twitter.com/HycQGGXT6N

– Bryan Hau-Ping Chiang (@bryanhpchiang) 26 mars 2023

Bryan Hau-Ping Chiang, Alix Cui, Varun Shenoy et Adriano Hernandez , entre autres, a mené l'expérience en créant RizzGPT. L'outil combine AI, AR et Whisper, l'outil de détection de la parole d'OpenAI, pour fournir des réponses aux conversations. Les étudiants ont généré des réponses avec des lunettes AR et des monocles.

Chiang a tweeté

"Dites adieu aux rendez-vous difficiles et aux entretiens d'embauche. Nous avons créé rizzGPT - Charisma as a Service (CaaS) en temps réel. Il écoute votre conversation et vous dit exactement quoi dire ensuite. Construit avec GPT-4, Whisiper et les lunettes Monocle AR"

Chiang a également félicité Brilliant Labs pour sa solution AR, qui peut "se clipser sur n'importe quelle paire de lunettes [et] dispose d'une caméra, d'un microphone et d'un écran haute résolution".

Il a expliqué comment le programme d'IA générative a tiré parti des capacités de perception multimodale en utilisant l'audio, le texte et les images pour "aider l'IA à comprendre ce qui se passe dans votre vie".

Chiang a ajouté : "Ce contexte est essentiel pour que l'IA fournisse un support [hyper-personnalisé]."

oublié de taguer @ Adriano34554795, le memelord lui-même

merci à @brilliantlabsAR pour avoir fourni le gadget Monocle AR - super facile à clipser sur n'importe quelle paire de lunettes + dispose d'un appareil photo, d'un microphone et d'un écran haute résolution

ce projet est peut-être mieux mis par @varunshenoy_😎 + 🧐+ 🤖 +… pic.twitter.com/97rVVnVC8I

– Bryan Hau-Ping Chiang (@bryanhpchiang) 26 mars 2023

L'équipe de recherche de Stanford a déclaré que leur Charisma-as-a-Service (CaaS) avait de nombreux cas d'utilisation. Celles-ci pourraient couvrir diverses applications telles que l'aide aux personnes souffrant d'anxiété sociale, les entretiens d'embauche, la prise de parole en public, etc.

L'outil utilise les outils de reconnaissance vocale de Whisper et répond aux conversations en fonction du contexte et de la sémantique. Brilliant Labs, créateurs de technologies de monocle AR, a également contribué à la recherche.

La nouvelle survient alors que plusieurs entreprises intègrent des variantes de ChatGPT dans leur famille de produits pour rationaliser les expériences des utilisateurs.

ChatGPT utilise l'apprentissage automatique (ML) pour agréger les données d'Internet, générant du contenu tel que des images, du son, des documents et des textes de chat.

La solution d'OpenAI provient de la famille d'applications d'IA Generative Pretrained Transformer (GPT). De nombreuses entreprises telles que NVIDIA, Meta, Microsoft, Google, Unity et bien d'autres ont incorporé des versions de GPT sur leurs propres solutions pour augmenter considérablement le développement de contenu.

D'autres sociétés telles que Moth and Flame, ARuVR, VirtualSpeech et d'autres ont utilisé des interfaces Generative AI pour fournir des modules de réalité virtuelle (VR) à la volée.