הקול שלך בכל שפה: תוכנה פתוחה עושה על המחשב הביתי את מה שגובים עליו בענן

התוכנה VoiceStudio עושה על המחשב שלכם את מה שהחברה ElevenLabs גובה עליו כסף בענן: משכפלת קול מהקלטה של כמה שניות, מדבבת וידאו לשפה אחרת, מתמללת ומקריאה ספרי שמע. היא פתוחה לגמרי ורצה בלי שרת. השבוע היא התפוצצה ברשת, אבל היא קיימת מאפריל, ויש לה כבר 39 אלף כוכבים באתר GitHub.

הלב שלה הוא OmniVoice, מודל פתוח של צוות k2-fsa, שמפתח את הדור הבא של Kaldi, ערכת הכלים הוותיקה לזיהוי דיבור. המודל לומד את הקול שלכם מקטע של 3 עד 10 שניות, בלי אימון נוסף, ומדבר איתו בכל שפה שהוא מכיר. לפי המפתחים, עם כרטיס גרפי מתאים הוא מהיר פי 40 מזמן אמת.

ומה עם 646 השפות? כאן כדאי להסתכל בטבלה. המודל אומן על 581 אלף שעות הקלטה, מתוכן 206 אלף באנגלית ורק 13.4 שעות בעברית. זה מספיק כדי לדבר עברית, אבל לא כדי לדבר אותה כמו אנגלית, אז תנסו ותשפטו בעצמכם.

לנסות בעצמכם: מורידים רק מהמקור, https://github.com/debpalash/VoiceStudio או https://voicestudio.sh, כי ברשת מסתובבים עשרות עותקים באותו שם. יש קובץ התקנה לווינדוס, למק וללינוקס, בסביבות 200 מגה, והתוכנה רצה גם בלי כרטיס גרפי, רק לאט יותר. והכלל של המפתח עצמו: משכפלים רק קול של מי שהסכים.

דעתי: המודל כבר לא היתרון, הנתונים הם היתרון. תשעה ימים אחרי שצוות מחקר פרסם את OmniVoice בחינם, מפתח יחיד התחיל לבנות סביבו אפליקציה, ובתוך חצי שנה היא אספה 39 אלף כוכבים. מה שיקבע כמה טוב המחשב ידבר עברית הוא לא הקוד, אלא כמה שעות של עברית מוקלטת ופתוחה יהיו בעולם. מי שמחזיק ארכיונים כאלה, משידורים ועד הרצאות, יכול לשפר את הקול העברי של כולם בבת אחת.