مشروع بارزيعمل الآن
CoSigning
منصة ترجمة باتجاهين بين لغة الإشارة الأمريكية (ASL) والكلام.
المشكلة
يواجه الصم وضعاف السمع صعوبة في التواصل اليومي مع الأشخاص الذين لا يعرفون لغة الإشارة.
الحل
من الكلام إلى الإشارة: يلتقط الموقع الجملة المنطوقة ويحوّلها إلى نص، ثم يعرض فيديو لكل إشارة بالترتيب. ومن الإشارة إلى الكلام: يحلّل نموذج تعلّم عميق (Transformer) فيديو الكاميرا أو فيديو مرفوعًا، فيستخرج حركة اليدين والجسم باستخدام MediaPipe وملامح الصورة باستخدام ViT، ثم يحوّل الإشارات إلى جملة إنجليزية تُقرأ بصوت مسموع.
دوري
مشروع مدعوم من TÜBİTAK ضمن برنامج 2209-A. طوّرت المنصة بالكامل، ووصلت دقة التعرّف على الإشارات إلى نحو 94٪.
- Python
- PyTorch
- Vision Transformer (ViT)
- MediaPipe
- OpenCV
- FastAPI
- JavaScript
- Web Speech API
- HTML
- CSS
