تعمیر دستگاه‌ها و ترجمه آنی با کمک هوش مصنوعی؛ «پردازش تصویر زنده» به سرویس گوگل جیمینای پیوست
نوآوری جدید در پروژه‌ی Astra اشکار می‌شود که توسط گوگل در کنفرانس توسعه‌دهندگان معرفی گردید. با اشاره دوربین به اجزای یک وسیله خراب، قفسه‌هایی که به هم ریخته‌اند یا حتی یک معضل ریاضی، کاربران قادرند گفتگویی طبیعی را بدون نیاز به ثبت متوالی تصاویر آغاز کنند. هوش مصنوعی مشاهدات را تجزیه و تحلیل کرده، موقعیت اشیاء را رصد می‌کند و به‌طور لحظه‌ای دستورالعمل‌های ویزوالی و صوتی را ارائه می‌دهد.
برای کاهش بهره‌برداری از تاخیر زمانی، مهندسان گوگل زیرساخت مدل‌های خانواده‌ی جمنای را بهینه‌سازی کرده‌اند. ویژگی‌های اساسی این سیستم در حین تعاملات روزمره شامل موارد زیر است:
- ارائه‌ی راهنمایی بصری مرحله به مرحله برای تعمیرات لوازم خانگی یا اتصال کابل‌ها
- امکان بررسی و ترجمه‌ی هم‌زمان نوشته‌های موجود در محیط واقعی بدون نیاز به تغییر وضعیت نرم‌افزار
- تحلیل نحوه چیدمان وسایل و ارائه‌ی پیشنهادات سودمند برای سامان‌دهی فضای موجود
- شناسایی مستمر موقعیت اشیاء در کادر دوربین در حین مکالمه
این قابلیت بینایی هدایت‌شده پاسخ مستقیمی به ویژگی‌های ویدیویی پیشرفته‌ی مدل GPT-4o می‌باشد. گوگل و اوپن‌ای‌آی در صددند تا فاصله میان ورودی‌های چندرسانه‌ای و خروجی‌های انسانی را به حداقل برسانند. به کاربران این امکان داده می‌شود که به‌جای بیان طولانی مسائل با کلمات، به سادگی به شیء مورد نظر اشاره کنند و پاسخ دقیق دریافت نمایند.
برای دسترسی به قابلیت‌های بصری جدید، به‌روزرسانی اپلیکیشن گوگل در سیستم‌عامل‌های اندروید و iOS ضروری است و این تغییر تجربه کاربری دستیارهای مجازی را به یک دوره نوین منتقل خواهد کرد.
