Google משיקה את Gemini 2.5 Computer Use: מודל שמפעיל דפדפן, בתצוגה מקדימה
ב-7 באוקטובר 2025 הציגה Google DeepMind את Gemini 2.5 Computer Use: מודל שלוחץ, מקליד וממלא טפסים בדפדפן. הוא זמין למפתחים בתצוגה מקדימה ב-API.
TL;DR בקצרה
- Google DeepMind שחררה ב-7 באוקטובר 2025 את Gemini 2.5 Computer Use, מודל שבנוי על Gemini 2.5 Pro, בתצוגה מקדימה ב-API.
- הוא פועל בלולאה: צילום מסך, פעולה כמו לחיצה או הקלדה, וצילום מסך חדש. בפעולות מסוימות נדרש אישור משתמש.
- הוא מותאם בעיקר לדפדפנים. הוא עדיין לא מותאם לשליטה ברמת מערכת ההפעלה.
- Google מונה שלושה סיכונים: שימוש לרעה, התנהגות בלתי צפויה והזרקת פרומפטים בדפי אינטרנט.
ב-7 באוקטובר 2025 הציגה Google DeepMind את Gemini 2.5 Computer Use model. זהו מודל שמפעיל ממשקים בדפדפן כמו אדם. המודל זמין בתצוגה מקדימה ב-API של Gemini, ב-Google AI Studio וב-Vertex AI. Google בנתה אותו על יכולות הראייה וההיגיון של Gemini 2.5 Pro.
מה ה-Computer Use model עושה
הרבה משימות דיגיטליות דורשות עבודה ישירה בממשק, למשל מילוי טופס ושליחתו. הסוכן צריך ללחוץ, להקליד ולגלול כמו אדם. לפי Google, המודל יודע למלא טפסים ולעבוד עם תפריטים נפתחים ומסננים. הוא גם פועל מאחורי מסך התחברות.
Google מציינת שהמודל מותאם בעיקר לדפדפנים. הוא מראה יכולת מבטיחה גם בממשקים של מכשירים ניידים. אבל הוא עדיין לא מותאם לשליטה ברמת מערכת ההפעלה במחשב.
איך הלולאה של הסוכן עובדת
היכולת נחשפת ככלי חדש ב-API בשם computer_use, והיא רצה בלולאה. הקלט כולל את בקשת המשתמש, צילום מסך של הסביבה והיסטוריה של פעולות אחרונות. המודל מחזיר קריאה לפונקציה שמייצגת פעולה, כמו לחיצה או הקלדה.
קוד בצד הלקוח מבצע את הפעולה. אחר כך המודל מקבל צילום מסך חדש וגם את כתובת האתר הנוכחית, והלולאה חוזרת. היא נמשכת עד שהמשימה מסתיימת. היא נגמרת גם כשיש שגיאה, או כשמנגנון בטיחות או משתמש עוצרים אותה.
לפעמים התשובה כוללת בקשה לאישור של משתמש. Google דורשת אישור כזה בפעולות מסוימות, כמו רכישה.
בטיחות ומגבלות של Computer Use model
Google מונה שלושה סיכונים. הראשון הוא שימוש לרעה מכוון. השני הוא התנהגות בלתי צפויה של המודל. השלישי הוא הזרקת פרומפטים והונאות בסביבת הרשת. לכן היא הטמיעה מאפייני בטיחות במודל עצמו, והוסיפה בקרות למפתחים.
הבקרה הראשונה היא שירות בטיחות חיצוני למודל, שבודק כל פעולה מוצעת לפני ביצועה. השנייה היא הוראות מערכת, שמורות לסוכן לסרב או לבקש אישור לפני פעולות בסיכון גבוה. ברשימה של Google יש פגיעה באבטחה, עקיפת CAPTCHA והפעלת מכשירים רפואיים.
עיתונאי VentureBeat ערך בדיקה קצרה, ולדבריו לא מדעית, באתר Browserbase. לפי הדיווח, המודל עבר תמונת CAPTCHA של חיפוש Google בתוך שניות. אחר כך הוא לא סיים את המשימה, למרות שהציג הודעת סיום.
לדברי Google, צוותים שלה כבר משתמשים במודל בייצור לבדיקות ממשק. גרסאות שלו מפעילות גם את Project Mariner ואת Firebase Testing Agent. הן מפעילות גם חלק מהיכולות האג׳נטיות ב-AI Mode בחיפוש. משתתפי תוכנית הגישה המוקדמת בדקו אותו כעוזר אישי, לאוטומציה של עבודה ולבדיקות ממשק. הם דיווחו על תוצאות חזקות. החברה מזהירה שיש לבדוק היטב כל מערכת לפני ההשקה.
על הביצועים Google טוענת שהמודל עוקף חלופות מובילות בכמה מבחנים של שליטה באינטרנט ובמובייל. לדבריה, זה קורה בזמן תגובה נמוך. המספרים כוללים נתונים ש-Google דיווחה בעצמה, בדיקות של Browserbase ובדיקות של Google. VentureBeat מציין שהמודל לא זמין ישירות לצרכנים, והדמו שלו רץ באתר Browserbase.
מה זה אומר עבורכם
- מפתחים: בדקו את המודל בתצוגה מקדימה, כפי ש-Google מבקשת. השאירו אישור משתמש בפעולות כמו רכישה.
- בעלי אתרים: דאגו שטפסים ותהליכי רכישה יהיו ברורים על המסך. הסוכן פועל לפי צילומי מסך, וסביר שיגיעו אליכם גולשים אוטומטיים.
- צוותי אבטחה: הזרקת פרומפטים בדפי אינטרנט היא אחד משלושת הסיכונים ש-Google מציינת. אל תיתנו לסוכן הרשאות רחבות.
- משתמשים רגילים: המודל מיועד למפתחים ולא לצרכנים, ולכן כרגע הוא בסיס לכלים שמפתחים יבנו עליו.
מקורות והרחבה
- Introducing the Gemini 2.5 Computer Use modelGoogle DeepMind
- Google's AI can now surf the web for you, click on buttons, and fill out forms with Gemini 2.5 Computer UseVentureBeat
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
