כתבה: OpenAI חושפת את Jalapeño: השבב המותאם אישית הראשון שלה שפותח עם ברודקום

הכתבה: OpenAI וברודקום חשפו את Jalapeño, השבב המותאם אישית הראשון של OpenAI, שנועד לקצץ את עלויות הרצת מודלים גדולים (LLMs) בכ-50%. השבב, שנבנה בתוך תשעה חודשים בלבד, מיועד במיוחד למשימות Inference - תהליך הרצת מודלים מאומנים כדי לענות על שאלות משתמשים - ולא לאימון מודלים. בדיקות ראשוניות מראות כי Jalapeño מספקת חיסכון של כ-50% בעלויות הרצת מודלים לעומת GPUs סטנדרטיים. OpenAI השתמשה במודלים שלה עצמה כדי להאיץ חלקים מתהליך עיצוב השבב. השבב צפוי להיות פרוס עד סוף 2026, כאשר מיקרוסופט תרכוש 40% מהתפוקה הראשונית. למרות זאת, Nvidia עדיין תמשיך לספק את הכוח האימוני למודלים של OpenAI.

דעתי: OpenAI עושה צעד משמעותי בכיוון של עצמאות תשתיתית, אך עדיין נשענת על Nvidia לאימון מודלים. השאלה היא אם Jalapeño תצליח להתחרות באקוסיסטם העצום של Nvidia, או שמדובר בצעד ראשון בלבד בדרך לאקוסיסטם עצמאי לחלוטין.