مقاله


کد مقاله : 13980304179670

عنوان مقاله : یک روش توزیع‌شده برای استخراج چندتایی‎های فارسی- انگلیسی

نشریه شماره : 78 فصل بهار 1399

مشاهده شده : 146

فایل های مقاله : 291 KB


نویسندگان

  نام و نام خانوادگی پست الکترونیک مرتبه علمی مدرک تحصیلی مسئول
1 سیده سارا میرمبین sara.mirmobin@stu.yazd.ac.ir دانشجو دانشجوی کارشناس ارشد
2 محمد قاسم زاده m.ghasemzadeh@yazd.ac.ir دانشیار دکترا
3 امین نظارات aminnezarat@pnu.ac.ir استادیار دکترا

چکیده مقاله

این پژوهش در حوزه ترجمه ماشینی و در رابطه با استخراج چندتایی‌ها از پیکره‌های دوزبانه به وسیله اسپارک است. در این رابطه، مهم‌ترین چالش این است که عملیات بایستی بر روی پیکره‌های متنی بزرگ انجام شود لذا بایستی به صورت توزیع‌شده و با بهره‌گیری از راهکارها و ابزارهای تحلیل داده‌های حجیم، طراحی و پیاده‌سازی شود. در واقع هنگام ترجمه متون، به وفور با چندتایی‌هایی مواجه می‌شویم که بایستی چندتایی‌های متناظر با هر کدام را بیابیم و در ترجمه‌مان درج کنیم، این کار می‌تواند از طریق جستجو در پیکره‌هایی که شامل چندتایی‌ها و ترجمه متناظر با آنها است انجام شود. روش‌های موجود، این کار را به صورت غیر توزیع‌شده انجام می‌دهند، لذا ضمن این که نیاز به زمان زیادی دارند، نمی‌توانند از پیکره‌های خیلی بزرگ بهره ببرند. برای رفع این نارسایی، در این پژوهش یک روش توزیع‌شده ارائه گردیده که فاصله بین بخش‌های چندتایی‌ها را نیز لحاظ می‌کند. راه‌حل پیشنهادی به صورت توزیع‌شده، تمام چندتایی‌های ممکن را از جملات پیکره تک‌زبانه استخراج نموده و با استفاده از ضریب همبستگی، چندتایی‌های معتبر جداشده را با استفاده از پیکره دوزبانه ترجمه می‌کند. روش پیشنهادی روی یک کلاستر محاسباتی با 64 گیگابایت حافظه اصلی و پردازنده 24هسته‌ای، در محیط اسپارک پیاده‌سازی گردید. داده‌های آزمایش شامل پیکره‌های فارسی و انگلیسی تک‌زبانه و نیز پیکره دوزبانه، حاوی به‌ طور متوسط 100 هزار جمله بودند. نتایج آزمایشی نشان می‌دهند که بدین طریق، زمان اجرا به شدت کاهش و کیفیت ترجمه نیز به طور قابل ملاحظه‌ای بهبود می‌یابد.