כתוביות AI - תרגום וידאו לעברית 🎬
אפליקציית ווב (PWA) שמייצרת כתוביות אוטומטיות לסרטונים ישירות בתוך הדפדפן, כולל תמלול ותרגום - בלי להעלות שום קובץ לשרת. כל העיבוד (תמלול הקול וגם התרגום) קורה מקומית על המכשיר של המשתמש.
מיועדת בעיקר לשימוש בנייד (אנדרואיד), כאפליקציה שאפשר להתקין למסך הבית ולהריץ אופליין.
תכונות עיקריות
- תמלול קול לטקסט מקומי - באמצעות מודל Whisper שרץ בדפדפן (דרך transformers.js), ללא צורך בשרת חיצוני.
- תאוצת GPU - שימוש אוטומטי ב-WebGPU כשהדפדפן תומך בכך, עם נפילה חזרה (fallback) ל-CPU/WASM כשלא.
- תרגום כתוביות - זיווגי שפות מובנים: אנגלית → עברית, רוסית → עברית, אנגלית → רוסית, וגם תמלול בעברית בלבד ללא תרגום.
- נגן וידאו מובנה עם כתוביות חופפות (overlay) בזמן אמת, כולל מסך מלא, בקרת מהירות, קפיצה קדימה/אחורה במגע, והתאמת גודל טקסט.
- עיבוד ברקע חכם - הכתוביות מעובדות "קדימה" תוך כדי צפייה, כך שהצפייה מתחילה כמעט מיד ולא צריך לחכות שכל הסרטון יתומלל מראש.
- ייצוא כתוביות לקובץ
VTT סטנדרטי שאפשר להשתמש בו גם בנגנים אחרים.
- דפדוף בתיקיות - אפשרות לעיין בתיקייה שלמה של סרטונים (למשל קורס), עם חיפוש ומיון, ולא רק בחירת קובץ בודד.
- היסטוריה מקומית - כתוביות של סרטונים שכבר עובדו נשמרות בדפדפן, כך שאפשר לפתוח שוב את אותו סרטון בלי לתמלל מחדש.
- תמיכה ב"שיתוף" מאנדרואיד - אפשר לשתף סרטון ישירות מאפליקציית הגלריה/קבצים אל האפליקציה.
- עובדת אופליין בעזרת Service Worker, לאחר טעינה ראשונה.
איך זה עובד
- בוחרים קובץ וידאו/אודיו (או תיקייה שלמה) מהמכשיר.
- בוחרים זיווג שפות ורמת דיוק של מודל התמלול (מהיר / מאוזן / מדויק).
- האפליקציה מחלצת את האודיו, מריצה עליו Whisper מקומית ליצירת תמלול, ומתרגמת את הטקסט (Google Translate) בהתאם לזיווג השפות שנבחר.
- הכתוביות מוצגות על גבי הווידאו תוך כדי הצפייה, ומעובדות ברקע לקטעים הבאים.
- אפשר להוריד את קובץ הכתוביות (VTT) בכל שלב.
פרטיות
הווידאו לא עולה לשום שרת - כל התמלול והתרגום מתבצעים בתוך הדפדפן על המכשיר עצמו. רק בקשות התרגום (טקסט הכתוביות בלבד, לא הווידאו) נשלחות לשירות Google Translate.
שימוש
האפליקציה היא קובץ סטטי (index.html) שאפשר להריץ מכל שרת סטטי, או לפתוח ישירות בדפדפן. לשימוש נוח בנייד מומלץ להתקין אותה כ-PWA ("הוסף למסך הבית") כדי לקבל חוויה כמו אפליקציה מלאה, כולל אייקון ותמיכה בשיתוף קבצים.
בפעם הראשונה מתבצעת הורדה חד-פעמית של מודל התמלול (כמה עשרות MB) - מומלץ ברשת WiFi. תמלול משפה שאינה אנגלית דורש מודל רב-לשוני, שההורדה שלו גדולה יותר.
טכנולוגיה
- HTML/CSS/JavaScript טהורים, ללא צורך בבנייה (build) - הכל בקובץ
index.html יחיד.
@xenova/transformers להרצת מודלי Whisper בדפדפן (WebAssembly / WebGPU).transcribe-worker.js - Web Worker נפרד שמריץ את התמלול כדי לא לחסום את חוט ה-UI.sw.js - Service Worker לתמיכה באופליין, קאשינג של קבצי האפליקציה, וטיפול בשיתוף קבצים (Share Target) מאנדרואיד.manifest.json - הגדרות ה-PWA (שם, אייקונים, כיווניות RTL, יעד שיתוף).
מבנה הפרויקט
index.html הממשק והלוגיקה המלאה של האפליקציה
transcribe-worker.js Web Worker להרצת מודל Whisper (תמלול)
sw.js Service Worker (קאש, אופליין, share target)
manifest.json הגדרות PWA
icon-192.png אייקון האפליקציה (192x192)
icon-512.png אייקון האפליקציה (512x512)
