راهكاري ساده و مؤثر براي تشخیص حروف الفبای فارسی در زبان اشاره حرکات انگشتان
محورهای موضوعی : مهندسی برق و کامپیوترمحمدجواد برزگر سخویدی 1 , احمدرضا شرافت 2 *
1 - دانشگاه تربیت مدرس
2 - دانشگاه تربیت مدرس
کلید واژه: آشکارسازی پوست املای انگشتی فارسی تشخیص زبان اشاره شبكه عصبي نزدیک‌ترین همسایه,
چکیده مقاله :
در سال‌های اخیر، تشخیص حرکات اشاره (زبان اشاره) مورد توجه پژوهشگران قرار گرفته است. زبان اشاره، ترکیبی از حالات دست، حرکات دست و حالات چهره است. املای انگشتی، یک نمایش برای حروف الفبای کلماتی است که در لغت‌نامه زبان وجود ندارد. در این مقاله یک سامانه املای انگشتی برای تشخیص حروف الفبای فارسی ارائه شده که در آن برای هر حرف الفبا یک شکل دست در نظر گرفته شده است. این سامانه شامل پنج مرحله است: اول، جمع‌آوری داده تصویری؛ دوم، پیش‌پردازش؛ سوم، استخراج و آشکارسازی ویژگی‌های شکل دست؛ چهارم، کاهش اندازه بردار ویژگی و پنجم، پیاده‌سازی تشخیص با استفاده از سه روش نزدیک‌ترین همسایه (معيار فاصله اقليدسي و معيار فاصله اقليدسي نرماليزه) و شبكه عصبي. در این مقاله از تبدیل کسینوسی گسسته (DCT) برای کاهش اندازه بردار ویژگی استفاده شده است که نسبت به روش‌های موجود، نظیر تبدیل فوریه گسسته و ضرايب توصيف‌گر فوريه عملکردی بهتر دارد. نتایج پیاده‌سازی با شبكه عصبي، دقت تشخیص حروف الفبا را 1/99% نشان داده است که نسبت به عملكرد سامانه‌هاي موجود بهبود یافته است.
In recent years, automated recognition of gestures in the finger spelling paradigm has become an active research area. Gesture is a combination of hand postures, hand movements, and face gestures; and finger spelling is a way of presenting alphabets of a word that does not exist in the sign language dictionary. In this paper, we present a scheme for hand gesture recognition in finger spelling of Farsi alphabets, where a different shape for hand and fingers denote a different letter in the alphabet. Our scheme has five stages, namely, visual data gathering, preprocessing of the image, detection and extraction of hand’s features, feature reduction and consolidation, and finally, hand gesture recognition. For the last stage (hand gesture recognition), we employ three techniques, namely, the nearest neighbor using the Euclidian distance, the nearest neighbor using the normalized Euclidian distance, and neural networks. For reducing the feature space, we use the discrete cosine transform (DCT), which yields better results as compared to the discrete Fourier transform and Fourier coefficients. We achieved 99.1% correct recognition using neural networks, which is superior to existing schemes.
[1] M. Shimada, S. Iwasaki, and T. Asakura, "Finger spelling recognition using neural network with pattern recognition model," in Proc. SICE Annual Conf., vol. 3, pp. 2458-2463, Fukui, Japan, 4-6 Aug. 2003.
[2] P. Dreuw, Appearance - Based Gesture Recognition, Ph.D. Thesis, Faculty of Engineering and Science, RWTH Aachen University of Technology, Aachen, Germany, 2005.
[3] C. M. Glenn, D. Mandloi, K. Sarella, and M. Lonon, "An image processing technique for the translation of ASL finger-spelling to digital audio and text," in Proc. Int. Symp. National Technical Institute for the Deaf, pp. 1-7, Rochester, New York, Jun. 2005.
[4] M. Jerome, K. Pierre, and R. Foulds, "American sign language finger spelling recognition system," in Proc. IEEE 29th Annual Northeast Bioengineering Conf., pp. 285-286, 22-23 Mar. 2003.
[5] X. Yin and M. Xie, "Finger identification and hand posture recognition for human - robot interaction," Image and Vision Computing, vol. 25, no. 8, pp. 1291-1300, Aug. 2007.
[6] T. Starner and A. Pentland, "Real-time American sign language recognition from video using hidden Markov models," in Proc. Int. Symposium on Computer Vision, pp. 265-270, Florida, US, 21-23 Nov. 1995.
[7] T. Starner and A. Pentland, "Visual recognition of American sign language using hidden Markov models," in Proc. of the Int. Workshop on Automatic Face and Gesture Recognition, pp. 189-194, Zurich, Switzerland, 26-28 Jun. 1995.
[8] A. Licsar and T. Sziranyi, "Supervised training based hand gesture recognition system," in Proc. IEEE 16th Pattern Recognition Conf., Quebec, Canada, vol. 3, pp. 999-1002, 11-15 Aug. 2002.
[9] S. Funck, Video-Based Handsign Recognition for Intuitive Human Computer Interaction, Lecture Notes in Computer Science, Berlin/Heidelberg: Springer, vol. 2449, 2002.
[10] J. H. Shin, et al., "Hand region extraction and gesture recognition using entropy analysis," Int. J. of Computer Science and Network Security, vol. 6, no. 2, pp. 216-222, Feb. 2006.
[11] E. Sunchez-Nielsen, L. Anton-Canalis, and M. Hernandez-Tejera, "Hand gesture recognition for human-machine interaction," J. of WSGC 2004, vol. 12, no. 1-2, pp. 395-402, Feb. 2003.
[12] W. Ruckelidge, "Efficient Visual Recognition Using the Hausdorff Distance," Lecture Notes in Computer Science, Berlin / Heidelberg: Springer, vol. 1173, 1996.
[13] H. Jag, J. H. Do, J. Jung, K. H. Park, and Z. Bien, "View invariant hand posture recognition method for soft-remocon-system," in Proc. IEEE Int. Conf. on Intelligent Robots and Systems, vol. 1, pp. 295-300, Sendai, Japan, 28 Sep.-2 Oct. 2004.
[14] G. Strang, "The discrete cosine transform," Society for Industrial and Applied Mathematical, vol. 41, no. 1, pp. 135-147, Mar. 1999.
[15] D. Zhang and G. Lu, "Study and evaluation of different Fourier methods for image retrieval," Image and Vision Computing, vol. 23, no. 1, pp. 33-49, 1 Jan. 2004.