כתבה: Tencent Hy4: דגם ה-LLM הגדול ביותר עד כה עם 770B פרמטרים ו-1 מיליון טוקנים של הקשר

הכתבה: Tencent השיקה היום את Hy4 preview, דגם ה-LLM הגדול ביותר שהיא שחררה עד כה: 770 מיליארד פרמטרים בסך הכל, 49 מיליארד פרמטרים פעילים, ו-1 מיליון טוקנים של הקשר. הדגם, שזמין כקוד פתוח תחת רישיון Apache 2.0, נועד להתמודד עם משימות פרודוקטיביות מורכבות כמו הנדסת תוכנה ארוכת טווח, עבודה משרדית עתירת מסמכים ומחקר מדעי. השקת Hy4 היא צעד משמעותי קדימה עבור Tencent, שרק לפני חודש וחצי שחררה את Hy3 בגודל 295 מיליארד פרמטרים. היכולת של Tencent לשחרר דגם גדול פי 2.6 תוך פחות משני חודשים מדגישה את הקצב המהיר של פיתוח מודלים פתוחים בסין.

הארכיטקטורה של Hy4 מבוססת על Mixture-of-Experts (MoE) עם 78 שכבות, כאשר 77 מהן משתמשות ב-MoE במקום ב-FFN רגיל. כל שכבה מכילה 256 מומחים מופנים (routed experts) ומומחה משותף אחד, כאשר כל טוקן מפעיל את שמונת המומחים המופנים המובילים יחד עם המומחה המשותף. בנוסף, הוטמעה שכבת MTP (Mixture-of-Experts) ייעודית (10B פרמטרים בסך הכל, 0.7B פעילים) כדי לאפשר דקודינג ספקולטיבי. היתרון המרכזי של הארכיטקטורה הזו הוא היכולת להתמודד עם הקשרים ארוכים במיוחד, מה שמאפשר לדגם לעבד כמויות גדולות של מידע בבת אחת.

Tencent מדגישה את היכולות של Hy4 בתחומים כמו הנדסת תוכנה, עבודה משרדית ומחקר מדעי, ומציעה למשתמשים לנסות את הדגם ישירות דרך WorkBuddy ו-CodeBuddy, או באמצעות API ב-Tencent Cloud TokenHub ו-OpenRouter. השקת Hy4 היא חלק ממגמה רחבה יותר של שחרור דגמים פתוחים מתקדמים, שמאפשרת למפתחים ולמחקרנים לגשת לטכנולוגיה החדשה ביותר ולהשתמש בה בפרויקטים שלהם.

דעתי: Tencent מציגה קצב פיתוח מרשים עם שחרור Hy4, אך השאלה היא האם הקצב הזה יתורגם גם לאיכות וליציבות לאורך זמן. בעוד שהגודל והקונטקסט של הדגם מרשימים, נותר לראות כיצד הוא יתמודד עם אתגרי העולם האמיתי ומה יהיה היקף האימוץ שלו בקרב מפתחים.