در زمینه بینایی ماشین و مدلهای یادگیری عمیق کار میکنم. تمرکز پژوهشی من لبخوانی خودکار است.
دانشجوی کارشناسی ارشد هوش مصنوعی در دانشگاه آزاد اسلامی واحد کرج هستم و برای دفاع از پایاننامه لبخوانی با شبکههای عصبی عمیق آماده میشوم.
در پژوهشهایم، عدم قطعیت را در بازشناسی گفتار دیداری (VSR) و تصمیمگیری در بازی Go بررسی میکنم. در کنار پژوهش، چتبات و برنامههای وب برای خدمات گردشگری توسعه میدهم.
خودتقطیری آنلاین با دروازه آنتروپی برای بازشناسی گفتار دیداری مبتنی بر CTC
Mehrad Yaghoubi, Azam Bastanfard
EGOSD از یک ماژول داخلی belief برای تخمین عدم قطعیت در سطح فریم و کنترل خودتقطیری آنلاین در مدل سبک VSR استفاده میکند. هزینه اضافی در زمان inference ناچیز است.
شباهت بعضی حرکتهای لب، تشخیص گفتار را دشوار میکند. ماژول داخلی belief با استفاده از آنتروپی پیشبینی، عدم قطعیت هر فریم را تخمین میزند و نقش معلم آنلاین را دارد. دروازه آنتروپی هنگام اطمینان پایین، انتقال دانش را محدود میکند. مدل سبک VSR با CTC آموزش میبیند.
این پژوهش بررسی میکند چه زمانی میتوان برای تصمیمگیری در Go به پیشبینی مدل باور تکیه کرد. دروازه عدم قطعیت برای کنترل میزان اتکا به این پیشبینیها بررسی میشود. کارایی مدل نیز از موضوعات این پژوهش است.
علاقهمندیهای پژوهشی
بازشناسی گفتار دیداری (VSR)
تشخیص گفتار از ویدئو در شرایطی که حرکتهای لب مبهم هستند یا بعضی فریمها اطلاعات کمی دارند.
Belief و عدم قطعیت
استفاده از تخمین عدم قطعیت برای کنترل انتقال دانش و هدایت تصمیمگیری.
یادگیری عمیق کارآمد
مدلهای سبک بینایی ماشین، انتقال دانش و بهینهسازی مدل.
نرمافزار و پروژهها
ابزارهای پژوهشی و کارهای کاربردی که توسعه دادهام.
یک بسته متنباز Python برای استخراج ناحیه لب از ویدئو با MediaPipe است. از هموارسازی زمانی، تنظیم اختیاری روشنایی تصویر و پردازش قابل تنظیم روی CPU یا CUDA پشتیبانی میکند.