شرکت گوگل از عرضه مدل متنباز EmbeddingGemma 2 خبر داد که با داشتن ۷۴۰ میلیون پارامتر قادر است متن، کد، تصویر، صوت و ویدیو را در یک فضای واحد نقشهبرداری کند و به طور کامل روی تلفنهای هوشمند یا بردهای کوچک اجرا شود. این مدل تحت گواهی آپاچی ۲.۰ منتشر شده است.
مدلهای امبدینگ محتوا را به اعداد تبدیل میکنند تا نرمافزارها بتوانند به جای تطبیق واژگان، اطلاعات را بر اساس معنای آنها جستجو کنند. این فرآیند معمولاً در رایانش ابری شرکتهای دیگر انجام میشود، اما مدل جدید گوگل به هیچگونه اتصال شبکه نیازی ندارد و تمامی عملیات پردازشی آن روی خود دستگاه انجام میگیرد.
یک کلید API برای هر مدل اصلی هوش مصنوعی — برخی مدلها رایگان هستند.
رایگان امتحان کنیدطبق اطلاعات منتشرشده در یک پست وبلاگی، مدل EmbeddingGemma 2 تمامی دادهها را به یک فضای ۷۶۸ بُعدی نگاشت میکند. از مجموع ۷۴۰ میلیون پارامتر این مدل، ۲۷۰ میلیون پارامتر صرفاً برای متن استفاده میشود و انکودر بینایی با ۱۷۰ میلیون پارامتر و انکودر صوتی با ۳۰۰ میلیون پارامتر تنها در صورت نیاز بارگذاری میشوند. برای فعالیتهای متنی روی گوشی پیکسل ۱۱ پرو به حدود ۱۹۱ مگابایت حافظه نیاز است که این رقم برای پردازش هر پنج نوع داده به حدود ۵۶۷ مگابایت میرسد.
این مدل جدید بر پایه معماری مدلهای جما (Gemma) ساخته شده و توکنایزر متنی و انکودر صوتی آنها را به اشتراک میگذارد. ظرفیت پردازش توکن در این نسخه به ۸۱۹۲ توکن در تمامی وجهها رسیده که چهار برابر نسخه اولیه است و معادل ۲۹ تصویر، ۵۸ فریم ویدیویی یا پنج دقیقه و نیم صوت محسوب میشود. همچنین امکان کاهش ابعاد بردارها از ۷۶۸ به ۱۲۸ بُعد وجود دارد که به گفته گوگل، فضای ذخیرهسازی را تا شش برابر کاهش میدهد.
گوگل محدودیتهای این مدل را نیز اعلام کرده است؛ از جمله اینکه هیچگونه تنظیم ایمنی (Safety Tuning) یا تعدیل خروجی روی آن صورت نگرفته و اقدامات پیشگیرانه تنها بر روی دادههای آموزشی اعمال شدهاند. این مدل از بیش از ۱۰۰ زبان پشتیبانی میکند، اما کارایی آن در تمامی این زبانها یکسان نیست.