رفتن به محتوای اصلی
STسهیل تهرانی‌پور

مرکز تماس و پژوهش گفتار

ParsCallScribe

بازشناسی گفتار فارسی برای مکالمات مرکز تماس؛ پژوهش دکتری

سال
۱۳۹۶ – ۱۴۰۴
سازمان
دانشگاه آزاد اسلامی واحد تهران شمال
صنعت
مرکز تماس و پژوهش گفتار
نقش
پژوهشگر دکتری

سهم شخصی و سهم تیم

سهم شخصی

طراحی پیکره، آموزش و ارزیابی مدل و نگارش رساله دکتری.

تیم و سازمان

با راهنمایی دکتر محمد منثوری.

چالش

گفتار تلفنی فارسی کم‌کیفیت، محاوره‌ای و پر از عدد است (شماره تماس، کد پیگیری، مبلغ)؛ مدل‌های عمومی روی این داده خطای زیادی دارند.

راهکار

پیکره‌ای ۵۱۲ ساعته از سه منبع (Common Voice، داده پیمایش و مکالمات واقعی مرکز تماس)، داده‌افزایی برخط تا حدود ۲٬۰۰۰ ساعت مؤثر، مدل سبک QuartzNet ۱۵×۵ با ۱۹ میلیون پارامتر، و لایه نرمال‌سازی معکوس متن (ITN) برای اعداد.

معماری

  1. صوت تلفنی ۸ کیلوهرتز
  2. داده‌افزایی برخط
  3. مدل QuartzNet ۱۵×۵
  4. رمزگشایی
  5. نرمال‌سازی معکوس اعداد (ITN)

فناوری‌ها

  • Python
  • PyTorch
  • NVIDIA NeMo
  • QuartzNet 15×5

اثر و نتایج

٪۱۸٫۴

WER روی ۴٬۰۰۰ مکالمه آزمون

نتیجه پژوهش

٪۲٫۷

WER روی ۱٬۰۰۰ نمونه عددمحور (با ITN)

نتیجه پژوهش

۰٫۱

ضریب بلادرنگ (RTF)

نتیجه پژوهش

درس‌ها

در مرکز تماس، درست‌نوشتن عددها از دقت کلی مهم‌تر است. مدلی کوچک با داده درست و لایه ITN، روی تماس‌های عددمحور به خطای ۲٫۷ درصد رسید؛ در حالی که خطای کلی مکالمات ۱۸٫۴ درصد بود.