• صفحه اصلی
  • ارائه سیستم بازیابی تصاویر مبتنی بر محتوا با بهره‌گیری از یادگیری نیمه¬نظارت‌شده و کاوش الگوهای مکرر انجمنی

اشتراک گذاری

آدرس مقاله


کد مقاله : 1400100133104 بازدید : 3331 صفحه: 245 - 252

20.1001.1.16823745.1401.20.3.7.5

نوع مقاله: پژوهشی

ارائه سیستم بازیابی تصاویر مبتنی بر محتوا با بهره‌گیری از یادگیری نیمه¬نظارت‌شده و کاوش الگوهای مکرر انجمنی

محورهای موضوعی : مهندسی برق و کامپیوتر

مارال كلاه كج 1 *

1 - دانشگاه آزاد اسلامي واحد سوسنگرد،گروه کامپیوتر

تاریخ دریافت : 1400/10/01 تاریخ پذیرش : 1401/04/28 تاریخ انتشار : 1401/08/17

کلید واژه: تبدیل موجک, توصیه گر تصویر, کاوش الگوهای مکرر, یادگیری ماشین,

چکیده مقاله :

بازیابی تصاویر مبتنی بر محتوا که با عنوان پرس وجو بر اساس محتوای تصویر نیز شناخته می شود، یکی از زیرشاخه های بینایی ماشین است که جهت سازمان‌دهی و تشخیص محتوای تصاویر دیجیتال با بهره گیری از ویژگی های بصری به کار می رود. این تکنولوژی، تصاویر مشابه با تصویرپرس وجو را از پایگاه داده های عظیم تصویری به‌صورت خودکار جستجو می‌کند و با استخراج مستقیمویژگی های بصری از داده های تصویری و نه کلمات کلیدی و حاشیه نویسی های متنی، مشابه‌ترین تصاویر را برای کاربران فراهم می‌آورد؛ بنابراین در این مقاله روشی ارائه‌شده است که جهت کاهش شکاف معنایی میانویژگی‌های بصری سطح پایین و معانی سطح بالای تصاویر از تبدیل موجک و ترکیب ویژگی‌ها با هیستوگرام رنگ استفاده می گردد. در این راستا، خروجی نهایی، از پایگاه داده ی تصویر با بهره گیری از روش استخراج ویژگی از تصاویر ورودی، خواهد بود.در گام بعد، هنگامی‌که تصاویر پرس وجو توسط کاربر هدف به سیستم داده می شود، جهت بازیابی تصاویر مرتبط، از یادگیری نیمه نظارت‌شده که از ترکیب روش‌های خوشه‌بندی و طبقه‌بندی بر اساس کاوش الگوهای مکرر حاصل می شود، مشابه‌ترین تصاویربرای کاربران بازیابی می‌گردد. نتایج آزمایش نشان می‌دهد که سیستم پیشنهادی، بالاترین میزاناثربخشی را در مقایسه با سایر روش‌های مورد مقایسه ارائه نموده است.

چکیده انگلیسی:

Content-based image retrieval, which is also known as query based on image content, is one of the sub-branches of machine vision, which is used to organize and recognize the content of digital images using visual features. This technology automatically searches the images similar to the query image from huge image database and it provides the most similar images to the users by directly extracting visual features from image data; not keywords and textual annotations. Therefore, in this paper, a method is proposed that utilizes wavelet transformation and combining features with color histogram to reduce the semantic gap between low-level visual features and high-level meanings of images. In this regard, the final output will be presented using the feature extraction method from the input images. In the next step, when the query images are given to the system by the target user, the most similar images are retrieved by using semi-supervised learning that results from the combination of clustering and classification based on frequent patterns mining. The experimental results show that the proposed system has provided the highest level of effectiveness compared to other methods.

منابع و مأخذ:

[1] Y. Zheng and D. X. Wang, "A survey of recommender systems with multi-objective optimization," Neurocomputing, vol. 474, pp. 141-153, Feb. 2022.
[2] A. Ortigosa, R. M. Carro, and J. I. Quiroga, "Predicting user personality by mining social interactions in Facebook," J. of Computer and System Sciences, vol. 80, no. 1, pp. 57-71, Feb. 2014.
[3] C. C. Aggarwal, Recommender Systems, 1st Ed., p 518, Springer International Publishing, 2016.
[4] M. Kolahkaj, A. Harounabadi, A. Nikravanshalmani, and R. Chinipardaz, "A hybrid context-aware approach for e-tourism package recommendation based on asymmetric similarity measurement and sequential pattern mining," Electronic Commerce Research and Applications, vol. 42, Article ID: 100978, Jul./Aug. 2020.
[5] R. Katarya and O. P. Verma, "Recommender system with grey wolf optimizer and FCM," Neural Comput & Applic, vol. 30, no. 5, pp. 1679-1687, Sept. 2018.
[6] M. Kolahkaj, A. Harounabadi, A. Nikravanshalmani, and R. Chinipardaz, "DBCACF: a multidimensional method for tourist recommendation based on users' demographic, context and feedback," Information Systems and Telecommunication, vol. 4, no. 6, pp. 209-219, Autumn 2019.
[7] M. Kolahkaj, A. Harounabadi, A. Nikravanshalmani, and R. Chinipardaz, "Incorporating multidimensional information into dynamic recommendation process to cope with cold start and data sparsity problems," J. of Ambient Intelligence and Humanized Computing, vol. 12, no. pp. 9535-9554, Oct. 2021.
[8] N. Kayhan and S. Fekri-Ershad, "Content based image retrieval based on weighted fusion of texture and color features derived from modified local binary patterns and local neighborhood difference patterns," Multimedia Tools and Applications, vol. 80, no. 21, pp. 32763-32790, 2021.
[9] P. Srivastava and A. Khare, "Content-based image retrieval using local ternary wavelet gradient pattern," Multimed Tools Appl, vol. 78, no. 24, pp. 34297-34322, 2019.
[10] N. Ghosh, S. Agrawal, and M. Motwani, "A survey of feature extraction for content-based image retrieval system," in Proc. of Int. Conf. on Recent Advancement on Computer and Communication, pp. 305-313, Singapore, Apr. 2018.
[11] A. Du, L. Wang, and J. Qin, "Image retrieval based on colour and improved NMI texture features," Automatika, vol. 60, no. 4, pp. 491-499, 2019.
[12] A. Irtaza, M. Arfan Jaffar, E. Aleisa, and T. S. Choi, "Embedding neural networks for semantic association in content based image retrieval," Multimed Tools Appl, vol. 72, pp. 1911-1931, Sept. 2013.
[13] M. Garg and G. Dhiman, "A novel content-based image retrieval approach for classification using GLCM features and texture fused LBP variants," Neural Computing and Applications, vol. 33, no. 4, pp. 1311-1328, Fex. 2021.
[14] F. Rajam and S. Valli, "A survey on content based image retrieval," Life Science J., vol. 10, no. 2, pp. 2475-2487, 2013.
[15] A. Mishra, M. H. Khan, W. Khan, M. Zunnun Khan, and N. Kumar Srivastava, "A comparative study on data mining approach using machine learning techniques: prediction perspective," Part of the EAI/Springer Innovations in Communication and Computing Book Series (EAISICC), pp. 153-165, 2021.
[16] I. Viktoratos, A. Tsadiras, and N. Bassiliades, "Combining community-based knowledge with association rule mining to alleviate the cold start problem in context-aware recommender systems," Expert Systems with Applications, vol. 101, pp. 78-90, Jul. 2018.
[17] M. V. Ahluwalia, A. Gangopadhyay, and Z. Chen, "Target-based, privacy preserving, and incremental association rule mining," IEEE Trans. on Services Computing, vol. 10, no. 4, pp. 633-645, Jul./Aug. 2017.
[18] A. K. Singh, A. Kumar, and A. K. Maurya, "An empirical analysis and comparison of apriori and fp-growth algorithm for frequent pattern mining," in Proc. of IEEE Int. Conf. on Advanced Communication Control and Computing Technologies, pp. 1599-1602, Ramanathapuram, India, 8-12 May 2014.
[19] H. Cheng, X. Yan, J. Han, and P. S. Yu, "Direct discriminative pattern mining for effective classification," in Proc. of IEEE Int. Conf. on on Data Engineering, ICDE'08, pp. 169-178, Cancun, Mexico, 7-12 Apr. 2008.
[20] Z. Batmaz, A. Yurekli, A. Bilge, and C. Kaleli, "A review on deep learning for recommender systems: challenges and remedies," Artif. Intell. Rev., vol. 52, pp. 1-37, Jun. 2019.
[21] Z. Yu, H. Xu, Z. Yang, and B. Guo, "Personalized travel package with multi-point-of-interest recommendation based on crowdsourced user footprints," IEEE Trans. on Human-Machine Systems, vol. 46, no. 1, pp. 151-158, Feb. 2016.
[22] M. J. Zaki, "SPADE: an efficient algorithm for mining frequent sequences," Machine Learning, vol. 42, pp. 31-60, 2001.
[23] M. J. Zaki, "An efficient algorithm for mining frequent sequences," Mach. Learn., vol. 42, pp. 31-60, Jan. 2000.
[24] M. Sinthuja, D. Evangeline, S. P. Raja, and G. Shanmugarathinam, "Frequent itemset mining algorithms-a literature survey," Intelligent Sustainable Systems, vol. 213, pp. 159-166, Aug. 2022.
[25] P. Parvathi Sangeetha and S. Hemamalini, "Rational-dilation wavelet transform based torque estimation from acoustic signals for fault diagnosis in a three phase induction motor," IEEE Trans. on Industrial Informatics, vol. 15, no. 6, pp. 3492-3501, Jun. 2019.
[26] M. Kolahkaj and M. Khalilian, "A recommender system by using classification based on frequent pattern mining and J48 algorithm," in Proc. of 2nd. Int. Conf. on Knowledge-Based Engineering and Innovation, pp. 405-411, Tehran, Iran, 5-6 Nov. 2015.
[27] M. Kolahkaj, A. Haroun Abadi, and M. Sadegh Zadeh, "A recommender system for web mining using neural network and fuzzy algorithm," International J. of Computer Applications, vol. 78, no. 8, pp. 20-24, Sep. 2013.
[28] A. K. Bhunia, A. Bhattacharyya, P. Banerjee, P. P. Roy, and S. Murala, "A novel feature descriptor for imageretrieval by combining modified color histogram and diagonally symmetric co-occurrence texture pattern," Pattern Anal Applic, vol. 23, pp. 1-21, May 2019.
متن کامل:
معرفي يک روش جديد خوشه‌يابي خودکار

نشریه مهندسی برق و مهندسی كامپیوتر ایران، ب- مهندسی کامپیوتر، سال 20، شماره 3، پاییز 1401  245

مقاله پژوهشی

ارائه سیستم بازیابی تصاویر مبتنی بر محتوا با بهره‌گیری از 
یادگیری نیمه‌نظارت‌شده و کاوش الگوهای مکرر انجمنی

مارال کلاه‌کج

 

 

1 

چكیده: بازیابی تصاویر مبتنی بر محتوا که با عنوان پرس‌وجو بر اساس محتوای تصویر نیز شناخته می‌شود، یکی از زیرشاخه‌های بینایی ماشین است 
که جهت سازمان‌دهی و تشخیص محتوای تصاویر دیجیتال با بهره‌گیری از ویژگی‌های بصری به کار می‌رود. این تکنولوژی، تصاویر مشابه با تصویر پرس‌وجو را از پایگاه داده‌های عظیم تصویری به صورت خودکار جستجو می‌کند و با استخراج مستقیم ویژگی‌های بصری از داده‌های تصویری و نه کلمات کلیدی و حاشیه‌نویسی‌های متنی، مشابه‌ترین تصاویر را برای کاربران فراهم می‌آورد. بنابراین در این مقاله روشی ارائه شده که در آن جهت کاهش شکاف معنایی میان ویژگی‌های بصری سطح پایین و معانی سطح بالای تصاویر، از تبدیل موجک و ترکیب ویژگی‌ها با هیستوگرام رنگ استفاده می‌گردد. در این راستا، خروجی نهایی از پایگاه داده تصویر با بهره‌گیری از روش استخراج ویژگی از تصاویر ورودی خواهد بود. در گام بعد، هنگامی که تصاویر پرس‌وجو توسط کاربر هدف به سیستم داده می‌شود، جهت بازیابی تصاویر مرتبط، از یادگیری نیمه‌نظارت‌شده که از ترکیب روش‌های خوشه‌بندی و طبقه‌بندی بر اساس کاوش الگوهای مکرر حاصل می‌شود، مشابه‌ترین تصاویر برای کاربران بازیابی می‌گردد. نتایج آزمایش نشان می‌دهد که سیستم پیشنهادی، بالاترین میزان اثربخشی را در مقایسه با سایر روش‌های مورد مقایسه ارائه نموده است.

 

کلیدواژه: تبدیل موجک، توصیه‌گر تصویر، کاوش الگوهای مکرر، یادگیری ماشین.

1-       مقدمه

در سال‌های اخیر، رشد نمایی اطلاعات موجود در وب، یافتن اطلاعات و منابع مرتبط با درخواست کاربران را با مشکل مواجه کرده است. این پدیده که به سربار اطلاعاتی2 معروف است [1]، سبب می‌شود کاربران از میان هزاران فیلم و تصویر، میلیون‌ها کتاب، میلیاردها صفحه وب و ... شی‌ء مورد نظر خود را انتخاب کنند که ارزیابی تمامی این موارد توسط کاربر غیر ممکن است [2]. بنابراین نیاز به سیستم‌های بازیابی اطلاعات با قابلیت پالایش سربار اطلاعاتی وجود دارد که نتایج را با کیفیت بالا 
به کاربران ارائه دهد. سیستم‌های بازیابی اطلاعات، سیستم‌های پشتیبان تصمیم‌گیر 3(DSS) هستند که اولویت‌های کاربران را استخراج نموده و اطلاعات مناسب را با توجه به نیاز و علاقه کاربران برای آنها فراهم می‌نمایند [3] و [4]. هدف سیستم‌های بازیابی اطلاعات، پیش‌بینی و ارائه آیتم‌ها و یا رتبه‌های آیتم‌هایی است که کاربران علاقه به مشاهده آنها دارند [5] تا [7].

پیدایش روش‌های جدید و افزایش ارتباطات اجتماعی، بهره‌مندی از اینترنت، دوربین‌ها و تلفن‌های هوشمند را بهبود بخشیده است. در این میان، دریافت و به اشتراک‌گذاری داده‌های چندرسانه‌ای روزبه‌روز در حال افزایش است و بازیابی تصاویر مرتبط از بانک‌های اطلاعاتی را با مشکل مواجه نموده است [8] و [9]. به طور کلی موتورهای جستجو در وب بر اساس رویکردهای متنی که نیاز به ورودی از نوع متن و حاشیه‌نویسی دارند، تصاویر را به کاربر پیشنهاد می‌دهند [10]. نتایج چنین رویکردهایی در بسیاری موارد شخصی‌سازی شده نبوده و خروجی نهایی بر اساس شباهت‌های میان کلمات کلیدی است و نه محتوای بصری مورد نظر کاربران. از سوی دیگر، تمامی نیازها و علایق کاربران به سادگی توسط کلمات کلیدی ارائه نمی‌شود [2] و [11]. به علاوه، به دلیل خطای چشم متخصصی که تصاویر را حاشیه‌نویسی می‌کرد، ممکن بود تفاوت‌ها با چشم انسان دیده نشود و گاهی دو تصویر متمایز، یکسان در نظر گرفته شوند و در نتیجه، عملکرد این سیستم‌ها راضی‌کننده نبود. برای مقابله 
با مشکلات روش‌های ذکرشده، تکنیک‌های بازیابی اطلاعات مبتنی بر محتوا توسعه یافتند [4] و [12]. این روش‌ها به ماشین امکان می‌دهند که داده ورودی را بررسی نموده و تشخیص دهد محتوای ورودی چیست. چنین رویکردی در افزایش دقت سیستم‌های دستیار دیجیتال بسیار مؤثر است. سیستم‌های بازیابی تصاویر و فیلم‌ها از ویژگی‌های سطح پایین مانند تصاویر، رنگ، شکل، بافت و غیره برای شناسایی تصاویر و تمایز آنها از یکدیگر استفاده می‌کنند [9] و [13]. با این حال، ویژگی‌های سطح پایین در بسیاری از موارد نمی‌توانند مفاهیم سطح بالای جاسازی‌شده در تصاویر اصلی را با دقت شناسایی نمایند. این مسئله که با عنوان شکاف معنایی4 شناخته می‌شود، سبب کاهش دقت در سیستم‌های بازیابی تصاویر می‌گردد. بنابراین در این تحقیق، رویکردی ترکیبی جهت مقابله با چالش شکاف معنایی ارائه شده که با بهره‌گیری از روش‌های استخراج ویژگی، یادگیری نظارت‌شده و بدون نظارت، سبب افزایش دقت سیستم‌های بازیابی تصاویر می‌گردد. کار اصلی در این تحقیق عبارت است از:

•        استخراج ویژگی‌های مفید از تصاویر با بهره‌گیری از رویکرد ترکیبی تبدیل موجک و هیستوگرام رنگ

•        استخراج الگوهای مفید از تصاویر با بهره‌گیری از رویکرد ترکیبی استخراج قوانین انجمنی و کاوش الگوهای مکرر

•        ترکیب روش‌های خوشه‌بندی و طبقه‌بندی مبتنی بر کاوش الگوهای مکرر جهت نظارت بیشتر و ارائه تصاویر مناسب به کاربر هدف

•        ارائه نتایج آزمایش و ارزیابی روش پیشنهادی با روش‌های مورد مقایسه بر اساس مجموعه داده Corel

در ادامه ساختار مقاله به شرح زیر است: ادبیات و کارهای قبلی در حوزه بازیابی تصاویر و استخراج الگوهای مکرر در بخش 2 بحث خواهد شد. در بخش 3، روش پیشنهادی در این تحقیق ارائه گردیده و در 
بخش 4، چگونگی اجرا و پیاده‌سازی روش پیشنهادی آمده است. ارزیابی و مقایسه روش پیشنهادی با سایر روش‌های بازیابی تصویر در بخش 5 ارائه شده و نهایتاً نتیجه‌گیری در بخش 6 آمده است.

2-       ادبیات و پیشینه تحقیق

قوانین انجمنی از ارتباطات ورودی ناشناخته استفاده می‌کنند و قوانین میان آیتم‌های منحصربه‌فرد را استخراج می‌نمایند [14]. جهت به دست آوردن قوانین انجمنی به مواردی نیاز است که مجموعه آیتم نامیده می‌شوند و هر مجموعه آیتم نیز دارای img0 آیتم است. اگر تعداد تکرار یک مجموعه آیتم بیشتر از یک مقدار آستانه باشد، آن مجموعه را مجموعه آیتم مکرر می‌نامند. اگر img0 و img0 دو آیتم از مجموعه آیتم img0 باشند، یک قانون انجمنی به صورت (1) نشان داده می‌شود

img0        (1)

دو معیار مهم برای کشف قوانین انجمنی وجود دارد که عبارت است از معیار پشتیبان و معیار اطمینان. اگر مقادیر پشتیبان و اطمینان برای یک قانون بیشتر از مقادیر آستانه آنها باشند، آن قانون را قانون قوی می‌نامند. لازم به ذکر است که آستانه در نظر گرفته شده برای هر دو معیار توسط متخصص تعریف می‌شود [15]. به طور کلی می‌توان گفت که دو مرحله مهم در استخراج قوانین انجمنی وجود دارد: 1) به دست آوردن فرکانس مجموعه آیتم و 2) استفاده از مجموعه آیتم‌های مکرر برای تولید قوانین انجمنی قوی [16].

در حوزه داده‌کاوی، طبقه‌بندی بر اساس الگوهای مکرر به عنوان یکی از تکنیک‌های استخراج دانش به خوبی کار کرده است [17]. الگو به گروهی از آیتم‌ها گفته می‌شود كه به صورت مكرر در مجموعه آیتم‌ها قرار گیرند [18]. طبق تعریفی که در [19] ارائه شده است، طبقه‌بندی بر اساس الگوهای مکرر شامل 3 مرحله است: الف) کاوش مجموعه آیتم‌های مکرر (الگوها)، ب) انتخاب ویژگی‌ها و ج) مدل یادگیری. در مرحله اول، الگوهای مکرر بر اساس ویژگی‌های انتخاب‌شده به دست می‌آیند. سپس داده‌های آموزش در فضای ویژگی آن الگوها نمایش داده شده و نهایتاً مدل طبقه‌بندی ساخته می‌شود.

الگوریتم Apriori [20] یک الگوریتم جستجوی لایه‌به‌لایه و اول سطح است که در آن مجموعه آیتم img0، مجموعه آیتم img0 را توصیف می‌کند. این الگوریتم، مجموعه آیتم‌های مکرر را بر اساس یک رویکرد تکراری پایین به بالا به دست می‌آورد [21]. بر اساس این الگوریتم، هر مجموعه آیتم می‌تواند مکرر باشد، اگر حداقل در یکی از بخش‌های پایگاه داده تکرار شود [15]. مشکل این الگوریتم تولید تعداد زیاد کاندیدا و اسکن‌های متعدد مجموعه داده است [16].

جهت غلبه بر محدودیت‌های الگوریتم‌های اول سطح، الگوریتم‌های اول عمق پیشنهاد شدند. این الگوریتم‌ها از دنباله‌هایی که شامل آیتم‌های تکی هستند، شروع به کار کرده و سپس به صورت تکراری (بازگشتی)، بسط‌های به دست آمده را با در نظرگیری یکی از این دنباله‌ها جهت تولید دنباله‌های بزرگ‌تر، اعمال می‌کنند. در صورتی که یک الگو نتواند بسط بیشتری یابد، الگوریتم برای تولید الگوهای دیگر با استفاده از دنباله‌های دیگر عقب‌گرد می‌کند. الگوریتم‌های اول عمق به دو نوع عمودی و رشد الگو تقسیم می‌شوند. در الگوریتم‌های عمودی، کل فضای جستجو تنها 
با یک بار اسکن پایگاه داده کاوش شده و پس از آن، فهرست‌هایی از 
الگو جهت تولید فضای جستجوی ایجادشده و پشتیبان هر الگو محاسبه می‌گردد. با این عمل تمامی الگوهای مکرر می‌توانند بدون اسکن تکراری پایگاه داده و نگهداری مجموعه بزرگی از الگوها در حافظه به دست آیند. از جمله معایب الگوریتم‌های عمودی (مانند SPAM [22] و SPADE [23]) می‌توان به مواردی همچون تولید الگوهای کاندیدای زیاد که ممکن است در پایگاه داده وجود نداشته باشند و هزینه‌بربودن عمل پیوند برای ساخت فهرست‌های هر آیتم اشاره نمود.

الگوریتم‌های رشد الگو جهت رسیدگی به محدودیت‌های الگوریتم‌های قبلی طراحی شده‌اند (تولید الگوهای کاندیدا که ممکن است در پایگاه داده حاضر نباشند). این الگوریتم‌ها با اسکن تکراری (بازگشتی) پایگاه داده جهت یافتن الگوهای بزرگ‌تر از محدودیت ذکرشده جلوگیری می‌کنند. به هر حال اسکن‌های تکراری پایگاه داده هزینه‌بر هستند و جهت کاهش هزینه اسکن، الگوریتم‌های رشد الگو از مفهوم پیش‌بینی شده5 استفاده می‌نمایند. هدف این مفهوم، تبدیل پایگاه داده اصلی به یک پایگاه داده کوچک‌تر جهت کاوش الگوهای بزرگ‌تر در جستجوی اول عمق است. الگوریتم بسیار معروف این دسته، FP-Growth [15] است که در آن، اسکن مجموعه داده تنها دو بار انجام می‌شود. این الگوریتم از ساختار درختی برای ذخیره داده‌های تکراری در پایگاه داده تراکنش استفاده می‌کند و سبب فشرده‌سازی اطلاعات می‌شود. برخلاف Apriori، الگوریتم FP مانع تولید تعداد زیاد کاندیداها می‌شود. در مرحله اول از الگوریتم FP، تعداد تکرارهای هر مجموعه آیتم به دست آمده و این آیتم‌ها بر اساس اندازه معیار پشتیبان به صورت نزولی مرتب می‌شوند. در مرحله دوم با داشتن فهرستی از آیتم‌های مکرر، آیتم‌هایی که تعداد تکرار آنها کمتر از مقدار آستانه پشتیبان است، حذف می‌گردند و درخت FP بر اساس آیتم‌های باقیمانده ساخته می‌شود [24]. در اسکن دوم پایگاه داده، اگر مسیری در تراکنش جاری و تراکنش‌های قبلی وجود داشته باشد، این مسیر ادغام می‌شود و اندازه پشتیبان آن آیتم در درخت افزایش می‌یابد که با این روش از مصرف زیاد حافظه جلوگیری می‌شود. سپس از درختان FP شرطی برای به دست آوردن مجموعه آیتم‌های مکرر استفاده می‌گردد.

جهت بهبود بازیابی تصاویر مبتنی بر محتوا، روشی بر اساس شبکه‌های عصبی در [12] ارائه گردیده که در آن از مفهوم تجزیه و تحلیل بافت استفاده شده و عملکرد سیستم با بهره‌گیری از موجک [9] و [25] و مقادیر ویژه از فیلترهای گابور، افزایش یافته است. در مرحله بازیابی تصاویر از الگوریتم نظارت‌شده بر اساس img0 نزدیک‌ترین همسایه استفاده گردیده است.

یک ماشین یادگیری نظارت‌شده با استفاده از شبکه‌های عصبی مصنوعی برای بازیابی اطلاعات در [26] و [27] ارائه گردیده که در آن از الگوریتم پرسپترون چندلایه برای آموزش و آزمایش مدل استفاده می‌شود.

در [8] رویکردی جهت بازیابی تصاویر مبتنی بر محتوا بر اساس ترکیب وزن‌دهی شده از ویژگی‌های بافت و رنگ تصاویر ارائه گردیده است. سپس با استفاده از معیار شباهت کانبرا نزدیک‌ترین تصاویر به تصویر هدف بازیابی و به کاربر ارائه می‌شود.

 

[1] این مقاله در تاریخ 1 بهمن ماه 1400 دریافت و در تاریخ 31 اردیبهشت ماه 1401 بازنگری شد.

مارال کلاه‌کج، گروه کامپیوتر، واحد سوسنگرد، دانشگاه آزاد اسلامی، سوسنگرد، ایران، (email: Maral.kolahkaj@iau.ac.ir).

[2] . Information Overload

[3] . Decision Support System

[4] . Semantic Gap

[5] . Projected

img0 

شکل 1:  نتایج تبدیل موجک دوبعدی.

 

 

در [28] نیز روشی جهت بازیابی تصاویر با ترکیب اطلاعات بافت و رنگ تصاویر ارائه شده است، با این تفاوت که مؤلفه رنگ، کانال‌های داخلی H و S در فضای رنگی HSV هستند. همچنین جهت توصیف مؤلفه بافت از ارتباط میان پیکسل‌های متقارن قطری استفاده شده است.

از آنجا که استخراج ویژگی‌های سنتی NMI دشوار و زمان‌بر است، در [11] یک روش چندمتغیره ترکیبی جهت بازیابی تصاویر و بهبود فرایند استخراج ویژگی ارائه شده است.

همچنین برخی از دلایل عدم استفاده از یادگیری عمیق در این تحقیق به شرح زیر می‌باشد [8]:

•        الگوریتم‌های یادگیری عمیق جهت ارائه نتایج بهتر در مقایسه با سایر روش‌ها، نیاز به حجم بسیار زیادی از داده‌ها جهت آموزش مدل دارند.

•        به دلیل مدل‌های پیچیده، آموزش این شبکه‌ها بسیار گران است و به علاوه نیاز به GPUهای پرقدرت، گران‌قیمت و صدها ماشین جهت آموزش مدل دارند که این امر سبب افزایش هزینه برای کاربران می‌شود.

•        همچنین الگوریتم‌های یادگیری عمیق، بار محاسباتی بسیار بالا داشته و سرعت پردازش داده‌ها در آنها پایین است.

3-       روش پیشنهادی

در این بخش، روش ارائه‌شده در این مقاله شرح داده می‌شود. در این روش، مدل‌سازی با استفاده از روش‌های مختلف پس از مراحل جمع‌آوری و پیش‌پردازش داده‌ها انجام می‌گردد و نهایتاً از مدلی که دقت بالاتری دارد برای ارائه سیستم پیشنهادی استفاده می‌شود. مراحل کلی در سیستم توصیه‌گر تصویر پیشنهادی عبارتند از: پیش‌پردازش، استخراج ویژگی، طبقه‌بندی و بازیابی تصاویر. روندنمای روش پیشنهادی در شکل 1 نشان داده شده و جزئیات روش پیشنهادی در ادامه شرح می‌گردد.

3-1 استخراج ویژگی

جهت رسیدن به دقت مورد انتظار در روش پیشنهادی نیاز است که پیش از مرحله استخراج ویژگی، داده‌های نویزی و زاید از تصاویر حذف شوند و پاک‌سازی داده‌ها صورت پذیرد. روش پیشنهادی از تبدیل موجک هار دوبعدی جهت پیش‌پردازش تصاویر و حذف نویز استفاده می‌کند. این موجک در کاربردهای پردازش تصویر و پردازش سیگنال، به دلیل سادگی و کارآمدی از نظر محاسبات، جهت تجزیه و تحلیل مؤلفه‌های محلی، بسیار مؤثر عمل می‌نماید. در مقایسه با تبدیل فوریه می‌توان گفت که تبدیل موجک، محلی‌سازی بسیار خوبی دارد، زیرا توابع اساسی تبدیل فوریه، توابع سینوسی و کسینوسی هستند که دامنه آنها در سرتاسر محدوده، ثابت است. در حالی که توابع موجک، توابعی هستند که بیشتر انرژی آنها در محدوده کم و میرایی شدید متمرکز شده و بنابراین می‌توان با انتخاب موجک‌های والد، فشردگی بهتری در مقایسه با تبدیل فوریه انجام داد. بدین منظور در روش پیشنهادی، با گذراندن تصویر اصلی از فیلترهای بالاگذر (استفاده‌شده در تشخیص لبه)، سه تصویر حاصل می‌شود که هر یک جزئیات محلی از تصویر را در یک راستا نشان می‌دهند. به عنوان مثال، مؤلفه قطری تصویر، جزئیات تصویر در راستای مورب (قطری) را نشان می‌دهد. همچنین جهت به دست آوردن تصویر تقریبی، تصویر اصلی از فیلتر پایین‌گذر (استفاده‌شده در حذف نویز) عبور داده می‌شود. سپس تصویر تقریبی مانند تصویر اصلی از فیلترهای بالاگذر و پایین‌گذر عبور داده می‌شود تا 4 تصویر کوچک‌تر حاصل شود (شکل 2).

سپس بردار ویژگی برای هر یک از تصاویر موجود در پایگاه داده ایجاد می‌گردد. از بردار ویژگی تصاویر جهت پردازش‌های آتی که روی تصاویر انجام می‌شود، استفاده می‌گردد. در روش پیشنهادی، این ویژگی‌ها برای هر تصویر، ترکیبی از تبدیل موجک و هیستوگرام رنگ آن تصویر هستند. هیستوگرام رنگ در یک تصویر، توزیع رنگ‌ها را به صورت مجموعه‌ای از 

img0 

شکل 2: روندنمای روش پیشنهادی.

 

 

دسته‌ها1 نشان می‌دهد که هر دسته از هیستوگرام مربوط به یک رنگ در فضای رنگی است. هیستوگرام رنگ برای یک تصویر به صورت بردار img0 نشان داده می‌شود. در این بردار img0 دسته رنگی، img0 تعداد پیکسل‌های رنگی img0 در تصویر و img0 تعداد کل دسته‌های موجود در هیستوگرام رنگ را نشان می‌دهد. هر پیکسل از تصویر به یک دسته از هیستوگرام رنگ نسبت داده می‌شود 
و مقدار هر دسته نشان‌دهنده تعداد پیکسل‌های متناظر با رنگ مشابه است. در روش پیشنهادی، پس از اعمال هیستوگرام رنگ بر روی تصاویر پیش‌پردازش شده، بردار ویژگی برای هر تصویر با تعداد 11 ویژگی به شرح زیر ایجاد خواهد شد:

        (میانگین، متوسط، حداکثر، حداقل، دامنه، انحراف معیار، متوسط انحراف مطلق، میانگین انحراف مطلق، نرم 1L، نرم 2L، حداکثر نرم)

3-2 استخراج الگوهای مکرر و قوانین انجمنی

اغلب سیستم‌های محبوب جهت بازیابی اطلاعات، تنها اطلاعات محتوایی را در نظر می‌گیرند و از به کارگیری الگوهای پنهان در اشیا غافل هستند. در حالی که الگوهای پنهان می‌توانند که دید مفیدی از چگونگی کنار هم قرار گرفتن محتوا فراهم آورند. در این مرحله، مجموعه الگوهای مكرر در مجموعه داده با استفاده از بردارهای ویژگی به دست آمده از مرحله قبل و الگوریتم FP-Growth استخراج می‌شوند. این الگوریتم هزینه جستجو را کاهش می‌دهد و برای الگوهای کوچک و بزرگ، بسیار سریع‌تر از الگوریتم Apriori عمل می‌کند. پس از به دست آوردن الگوهای مکرر، مجموعه‌ای از قوانین انجمنی قوی بر اساس این الگوها استخراج می‌شوند که این قوانین از داده‌های ناشناخته برای تعیین قوانین موجود در مجموعه داده‌ها استفاده می‌کنند.

3-3 رویکرد نیمه‌نظارت‌شده به منظور تشخیص طبقه هر تصویر

از آنجا که در طبقه‌بندی تصاویر با استفاده از برچسب‌های از پیش تعیین شده، ممکن است تصاویر با دقت تفکیک نشوند و در کلاس‌های نادرست قرار گیرند، برای مقابله با این مشکل و تعیین کلاس هر تصویر، از رویکرد نیمه‌نظارت‌شده در روش پیشنهادی استفاده می‌شود. بدان 
معنی که کلاس تصاویر با استفاده از دو روش با نظارت و بدون نظارت (برچسب‌های از قبل مشخص شده و ماهیت داده‌ها) تعیین می‌شود. هر روشی که تفکیک مناسبی برای تصاویر به دست آورد، به عنوان روش اصلی برای تعیین کلاس تصویر در نظر گرفته می‌شود. این روش تأثیر قابل توجهی در روند بازیابی دارد و دقت تصاویر بازیابی‌شده را افزایش می‌دهد.

3-4 ارائه تصاویر به کاربران

در این مرحله، مدل طبقه‌بندی بر اساس داده‌های آموزشی و با توجه به الگوهای مکرر و کلاس‌های حاصل‌شده آموزش داده شده و با استفاده از طبقه‌بندهای مختلف ساخته می‌شود. در مرحله برخط از سیستم پیشنهادی، 

[1] . Bin

جدول 1: مقادیر بردارهای ویژگی استخراج‌شده برای تصاویر.

 

Max Norm

2L

norm

1L

norm

Mean
Abs. Dev

Median Abs. Dev

Standard Dev

Range

Minimum

Maximum

Median

Mean

ID

236

379/6

112/3

45/43

38

64/51

232

4

236

98

5/105

132

228

456/7

846/3

06/34

27

89/42

227

1

228

134

4/130

192

240

765/6

915/2

83/67

74

84/75

240

0

240

93

83/98

320

238

197/5

995/1

41/59

26

69/67

238

0

238

31

64/67

638

239

844/6

486/3

22/37

32

66/43

224

15

239

110

2/118

741

231

894/6

251/3

04/56

57

96/62

230

1

231

105

2/110

941

 

جدول 2: قوانین انجمنی قوی مبتنی بر الگوریتم FP-Growth.

 

قانون

بخش مقدم

بخش تالی

کمینه پشتیبان

درجه پشتیبان

کمینه اطمینان

درجه اطمینان

1

[Median Abs. Dev, Mean Abs. Dev]

[Standard Dev]

2/0

2/0

8/0

94/0

2

img0 

[Standard Dev, Median Abs. Dev]

2/0

2/0

8/0

92/0

3

img0 

[Median]

2/0

4/0

8/0

94/0

 

 

در بدو ورود یک درخواست جدید، بردار ویژگی محاسبه و کلاس تصویر با توجه به مدل طبقه‌بندی ایجادشده، تعیین می‌گردد. نهایتاً فهرستی از مشابه‌ترین تصاویر با تصویر پرس‌وجو که در کلاس مشخص‌شده وجود دارند، در اختیار کاربران قرار می‌گیرند.

4-       پیاده‌سازی روش پیشنهادی

در این بخش، مراحل پیاده‌سازی روش پیشنهادی ارائه گردیده و در ادامه به شرح چگونگی پیش‌پردازش و پاک‌سازی داده‌ها جهت حذف نویز، استخراج ویژگی‌ها، قوانین انجمنی و نظارت‌های چندگانه پرداخته می‌شود.

4-1 پیش‌پردازش و استخراج ویژگی

در مرحله پیش‌پردازش، مقادیر از دست رفته با مقدار متوسط پس 
از حذف نویز و داده‌های بلااستفاده جایگزین شدند. تبدیل موجک استفاده‌شده در این مقاله، تبدیل موجک دوبعدی هار است. در این آزمایش‌ها، چهار سطح تبدیل موجک بر روی تصاویر اعمال گردید و از مؤلفه تقریب سطح دوم به عنوان بهترین نتیجه برای ادامه آزمایش‌ها استفاده شده است (شکل 2). پس از استفاده از تبدیل موجک بر روی تصاویر، هیستوگرام رنگی برای هر تصویر ایجاد گردید و بردار ویژگی هر تصویر با بهره‌گیری از هیستوگرام رنگ حاصل شد (جدول 1). در این مقاله، تعداد دسته‌های موجود در هیستوگرام رنگ 50 دسته در نظر گرفته شده است. همان گونه که در جدول مشاهده می‌گردد، هر یک از تصاویر با شناسه منحصربه‌فردی مشخص شدند و مقادیر هر یک از ویژگی‌های استخراج‌شده در ستون مربوط برای هر تصویر به دست آمد.

4-2 تولید قوانین انجمنی

در این مرحله، با توجه به بردارهای مشخصه‌ای که برای هر تصویر به دست آمده است، الگوریتم FP-Growth بر روی بردارهای به دست آمده اعمال شد. پس از به دست آوردن الگوهای مکرر که با استفاده از الگوریتم FP-Growth حاصل گردید، قوانین انجمنی از این الگوها استخراج می‌شوند. نمونه‌ای از قوانین به دست آمده در جدول 2 آمده است. همان طور که مشاهده می‌گردد، قوانینی با بخش مقدم مشخص‌شده در جدول (ستون دوم) در صورت برآورده‌شدن حد آستانه با کمینه اندازه پشتیبان 2/0 (ستون چهارم) و کمینه اندازه اطمینان 8/0 (ستون ششم)، دارای بخش تالی مشخص‌شده در جدول (ستون سوم) خواهند بود.

4-3 تعیین مجموعه برچسب‌ها

در این مرحله، برچسب هر داده با استفاده از روش خوشه‌بندی 
K-Means تعیین شده است. پارامترهای خوشه‌بندی به صورت زیر تنظیم گردیده‌اند: مقدار img0 از img0 تا img0 آزمایش شد تا تعداد مناسب خوشه‌ها در الگوریتم K-means تعیین شود. img0 تعداد کلاس‌ها با استفاده از برچسب‌های از پیش تعیین شده است و تابع فاصله برای خوشه‌بندی فاصله اقلیدسی در نظر گرفته شده است. بر اساس نتایج آزمایش، تعداد نهایی خوشه‌های به دست آمده جهت توزیع داده‌ها، 7 خوشه است. در ادامه، مدل طبقه‌بندی برای مجموعه تصاویر ساخته‌شده و پس از آن سیستم پیشنهادی با استفاده از طبقه‌بندی‌های مختلف ارزیابی گردید.

5-       ارزیابی و مقایسه روش پیشنهادی

در ادامه، چگونگی گردآوری داده‌ها، پیکربندی سیستم، معیارهای ارزیابی روش پیشنهادی، روش‌های مورد مقایسه با روش پیشنهادی و نتایج حاصل از ارزیابی روش‌ها شرح داده می‌شود. همچنین روش مورد استفاده جهت آموزش و آزمایش سیستم بازیابی تصویر پیشنهادی، روش اعتبارسنجی متقابل با img0 سطح دانه‌بندی است که img0 در نظر گرفته شده است.

5-1 مجموعه داده و پیکربندی سیستم

مجموعه داده مورد استفاده در این مقاله، مجموعه داده تصویر Corel می‌باشد که برای ارزیابی سیستم‌های بازیابی تصویر مورد استفاده قرار می‌گیرد. این مجموعه شامل دسته‌های تصاویری از ساحل و دریا، اتوبوس، دایناسورها، غذاها، ساختمان‌ها، گل‌ها و اسب‌ها است.

جهت اجرا و پیاده‌سازی روش پیشنهادی از نرم‌افزار Matlab استفاده شده است. تمامی آزمایش‌ها روی سیستمی با ویندوز 8 64بیتی، پردازنده img0 و حافظه RAM img0 انجام شده است.

5-2 معیارهای ارزیابی

در مسائل یادگیری با ناظر، جهت تعیین میزان کارایی و مناسب‌بودن مدل‌هایی که توسط الگوریتم‌های مختلف آموزش می‌بینند، از دو معیار خطا  و  دقت  استفاده  می‌گردد.  در  مسائل  رگرسیون  معیار  ارزیابی،  خطای 

جدول 3: ماتریس آشفتگی.

 

کلاس‌های پیش‌بینی شده

 

منفی کاذب (خطای نوع دوم)

مثبت درست

کلاس‌های واقعی

منفی درست

مثبت کاذب (خطای نوع اول)

 

جدول 4: تنظیم پارامترها جهت مدل‌های مختلف.

 

Parameters set

Model Name

500 Number of epochs to train through:

3/0 Learning Rate:

9 Hidden Layers:

2/0 Momentum:

Multilayer Perceptron

25/0 Confidence factor used for pruning:

2 Minimum number of instances per leaf:

3 Amount of data used for reduced-error pruning:

48J

Search: Best first

Search direction: forward

node expansions 5 Stale search after

Decision Tree

-

Naïve Bayes

 

مدل و در مسائل طبقه‌بندی، این معیار دقت مدل است. جهت ارزیابی دقت مدل طبقه‌بندها از ماتریس آشفتگی1 استفاده می‌گردد (جدول 3) که معیارهای مختلفی بر اساس آن قابل اندازه‌گیری می‌باشد.

با توجه به ماتریس آشفتگی، مهم‌ترین معیار برای تعیین عملکرد یک الگوریتم طبقه‌بندی، معیار صحت2 طبقه‌بندی است که با محاسبه دقت تمام دسته‌ها حاصل می‌گردد. این معیار نشان می‌دهد که یک طبقه‌بند چند درصد از مجموعه داده‌های آزمون را به درستی طبقه‌بندی می‌نماید. با این حال باید توجه داشت که این معیار، همیشه معیار مناسبی برای ارزیابی عملکرد الگوریتم‌های طبقه‌بندی در مسائل واقعی نیست. دلیل این امر آن است که تعداد داده‌ها در دسته‌های مختلف جهت ارزیابی صحت، یکسان در نظر گرفته می‌شود؛ بنابراین در مواردی که با دسته‌های نامتعادل سروکار داریم، معیارهای دیگری مورد استفاده قرار می‌گیرند. جهت مقابله با این مشکل در مسائل دنیای واقعی، دو معیار دقت و حساسیت (فراخوانی) از اهمیت ویژه‌ای برخوردارند؛ بنابراین در این مقاله، از معیارهای دقت و حساسیت جهت ارزیابی کیفیت طبقه‌بندهای مختلف و انتخاب بهترین مدل طبقه‌بند برای روش پیشنهادی استفاده می‌شود.

شایان ذکر است که هیچ کدام از معیارهای دقت و حساسیت به تنهایی معیار کاملی برای تشخیص عملکرد مدل نیست و جهت بررسی دقیق‌تر کارایی سیستم پیشنهادی، از میانگین هارمونیک هر دو معیار که با عنوان شاخص 1F شناخته می‌شود، استفاده می‌گردد. همچنین این شاخص در مواردی که مقادیر مثبت کاذب3 (خطای نوع اول) و منفی کاذب4 (خطای نوع دوم) در ماتریس آشفتگی به یک نسبت اهمیت دارند، معیار ارزیابی مناسبی محسوب می‌گردد.

•        دقت: عبارت است از نسبت تعداد آیتم‌های پیش‌بینی شده مرتبط به تعداد کل آیتم‌های پیش‌بینی شده

img0        (2)

جدول 5: مقایسه نتایج آزمایش الگوریتم‌های مختلف از نظر معیارهای ارزیابی.

 

الگوریتم

دقت

حساسیت

شاخص F

Naïve Bayes

69/0

67/0

68/0

Decision Tree

75/0

69/0

72/0

48J

8/0

8/0

8/0

Multilayer Perceptron

88/0

89/0

88/0

 

جدول 6: زمان مصرفی جهت ساخت مدل هر طبقه‌بند.

 

Multilayer Perceptron

Decision Tree

48J

Naïve Bayes

74/161 ثانیه

22/0 ثانیه

05/0 ثانیه

02/0 ثانیه

 

جدول 7: مقایسه عملکرد روش‌های مختلف.

 

منابع

دقت

حساسیت

شاخص F

[28]

69/0

7/0

69/0

[11]

79/0

8/0

79/0

[8]

82/0

8/0

81/0

روش پیشنهادی

88/0

89/0

88/0

 

•        حساسیت: عبارت است از نسبت تعداد آیتم‌های پیش‌بینی شده مرتبط به تعداد کل آیتم‌های مرتبط در مجموعه داده

img0        (3)

•        معیار img0: عبارت است از میانگین هارمونیک دو معیار دقت و حساسیت

img0        (4)

5-3 روش‌های مورد مقایسه

طبقه‌بندی‌های مورد استفاده در این آزمایش به شرح زیر است: شبکه عصبی چندلایه پرسپترون، تصمیم درخت، 48J و Naïve Bayes. مقادیر پارامترها برای هر یک از طبقه‌بندی‌ها در طول فرایند ساخت مدل، در جدول 4 نشان داده شده است. این مقادیر با آزمایش مقادیر مختلف و رسیدن به بالاترین میزان دقت بازیابی در روش پیشنهادی برای هر یک از طبقه‌بندها حاصل گردید.

5-4 نتایج و بحث

در این بخش، نتایج ارزیابی روش پیشنهادی با استفاده از الگوریتم‌های طبقه‌بندی مختلف بر روی مجموعه داده Corel در جداول 5 تا 7 نشان داده شده و بهترین نتایج به صورت پررنگ مشخص گردیده است.

ارائه Top-N توصیه، هر کاربر را به صورت رکوردی از آیتم‌ها مدل می‌کند که در گذشته با هم در تعامل بوده‌اند و هدف آن پیش‌بینی img0 تصویر با درجه بالا می‌باشد که احتمالاً کاربر در آینده نزدیک در تعامل با آنها خواهد بود. در این بخش، تأثیر تعداد 10 توصیه با روش‌های مختلف ارزیابی شده است.

همان طور که در جدول 5 مشاهده می‌شود، شبکه عصبی پرسپترون چندلایه در روش پیشنهادی بر روی مجموعه داده Corel دارای دقت و حساسیت بالاتری در مقایسه با سایر روش‌های طبقه‌بندی است. پس از شبکه عصبی پرسپترون، الگوریتم 48J در رتبه دوم و الگوریتم‌های درخت تصمیم و Naïve Bayes با اختلاف اندکی نسبت به یکدیگر، به ترتیب در رتبه‌های سوم و چهارم قرار دارند. همچنین مشاهده می‌گردد که مقدار شاخص F، درستی بررسی صورت‌پذیرفته جهت عملکرد الگوریتم‌های ارزیابی‌شده را نشان می‌دهد.

علی‌رغم دقت بالای طبقه‌بندی، زمان ایجاد مدل در این طبقه‌بند 
در مقایسه با سایر روش‌ها بالاتر می‌باشد. زمان سپری‌شده برای ساخت مدل به صورت جداگانه برای هر الگوریتم طبقه‌بندی در جدول 6 آمده است. بر اساس نتایج ارائه‌شده در جدول، الگوریتم Naïve Bayes، کمترین زمان را جهت ساخت مدل طبقه‌بندی صرف نموده و الگوریتم 48J با اختلاف اندکی رتبه دوم از نظر کمترین میزان مصرف زمان جهت ساخت مدل را به خود اختصاص داده است. پس از این دو الگوریتم، الگوریتم‌های درخت تصمیم و پرسپترون چندلایه به ترتیب در رتبه‌های سوم و چهارم قرار دارند.

باید در نظر داشت که زمان ارائه نتایج مناسب به کاربران در سیستم‌های بلادرنگ از معیارهای بسیار مهم است و باید میان دقت سیستم توصیه‌گر و زمان مصرفی جهت ساخت مدل، مصالحه ایجاد شود. با این توصیف، الگوریتم 48J با ارائه میزان دقت مناسب و مصرف زمان کمتر می‌تواند گزینه مناسبی جهت ساخت مدل طبقه‌بندی در یک سیستم بلادرنگ باشد.

از آنجا که هدف این مقاله، افزایش دقت در یک سیستم بازیابی تصویر است، جهت ادامه آزمایش‌ها الگوریتم طبقه‌بندی شبکه عصبی پرسپترون چندلایه با بالاترین میزان دقت و حساسیت مورد استفاده قرار می‌گیرد.

تا کنون روش‌های زیادی جهت بازیابی تصاویر مبتنی بر محتوا ارائه گردیده است. در ادامه، روش پیشنهادی با چندین روش کارا در این حوزه بر اساس معیارهای ارزیابی و با استفاده از مجموعه داده Corel مقایسه گردید. بدین منظور، پس از به دست آوردن طبقه‌بند مناسب جهت بازیابی تصاویر در روش پیشنهادی، سیستم پیشنهاددهنده تصویر ارائه‌شده در این مقاله با سیستم‌های پیشنهاددهنده تصویر در [8]، [11] و [28] که در بخش دوم شرح داده شد، مقایسه گردید و نتایج مقایسه در جدول 7 آمده است. در این جدول 3 معیار ارزیابی دقت، حساسیت و شاخص F برای مقایسه روش پیشنهادی با سایر روش‌ها، مورد استفاده قرار گرفته است.

همان طور که مشاهده می‌شود، سیستم پیشنهادی با بهره‌گیری از روش ترکیبی استخراج ویژگی، الگوریتم‌های نظارت‌شده و بدون نظارت، استخراج قوانین انجمنی قوی و کاوش الگوهای مکرر، هنگام دریافت تصویر پرس‌وجو از کاربر، با استفاده از مدل ساخته‌شده توسط طبقه‌بند شبکه عصبی پرسپترون چندلایه، با بازیابی 10 توصیه مشابه با تصویر هدف، دقت، حساسیت و شاخص F بالاتری نسبت به سیستم‌های بازیابی تصویر مقایسه‌شده دارد. به این ترتیب مشاهده می‌گردد که روش پیشنهادی با ترکیب روش‌های تبدیل موجک و هیستوگرام رنگ، ویژگی‌های مناسبی در مقایسه با روش‌های ارائه‌شده در [8]، [11] و [28] که تنها از هیستوگرام جهت استخراج ویژگی استفاده نمودند، استخراج می‌نماید. نرخ کمی‌سازی هیستوگرام، یکی از پارامترهای مؤثر در تعداد کل ویژگی‌ها و دقت نهایی سیستم بازیابی تصاویر مبتنی بر محتوا محسوب می‌شود و همان طور که مشاهده می‌گردد، در ترکیب با تبدیل موجک، بهبود بیشتری را ارائه داده است.

عامل مهم دیگر در بهبود دقت سیستم‌های بازیابی و طبقه‌بندی تصاویر، استفاده از طبقه‌بند مناسب جهت پیش‌بینی و ارائه نتایج مناسب 
به کاربران است. در این تحقیق، چهار الگوریتم طبقه‌بندی مختلف جهت یادگیری نظارت‌شده و یک الگوریتم خوشه‌بندی جهت یادگیری بدون نظارت، به منظور افزایش دقت پیش‌بینی و ارائه توصیه در مجموعه داده Corel مورد استفاده قرار گرفت که در ترکیب با روش‌های استخراج قوانین انجمنی قوی و کاوش الگوهای مکرر، به بهبود دقت در رویکرد پیشنهادی جهت ارائه مشابه‌ترین تصاویر با تصویر هدف انجامید.

نتایج فوق نشان می‌دهند که روش پیشنهادی برای حجم کمتر داده‌ها و بدون نیاز به سخت‌افزار و طبقه‌بندهای قوی و گران، با دقت و کارایی مناسبی جهت بازیابی تصاویر مناسب برای کاربر هدف عمل می‌نماید.

6-       نتیجه‌گیری

با رشد و توسعه دنیای دیجیتال و ذخیره اطلاعات و تصاویر در پایگاه‌های اطلاعاتی، دسترسی کاربران به اطلاعات و تصاویر مورد نظر 
از موارد حائز اهمیت محسوب می‌شود. در چنین شرایطی، سیستم‌های بازیابی تصاویر جهت بازیابی و ارائه تصاویر مناسب به کاربران ایجاد گردید. روش‌های CBIR با استفاده از مجموعه ویژگی‌هایی که به صورت خودکار از تصاویر استخراج می‌شوند، می‌توانند تصاویر مشابه و مرتبط از نظر محتوای تصاویر را از پایگاه داده استخراج نمایند. مطالعات اخیر در زمینه CBIR به منظور کاهش شکاف معنایی میان ویژگی‌های بصری سطح پایین و معانی سطح بالای تصاویر انجام شده است.

در این مقاله جهت کاهش شکاف معنایی، از ترکیب تبدیل موجک و هیستوگرام رنگ برای استخراج ویژگی‌های تصویر استفاده شد. همچنین جهت بهره‌گیری از روش‌های داده‌کاوی برای ارائه سیستمی که توصیه تصاویر مشابه و مرتبط با تصویر مورد نظر را انجام دهد، از روش‌های خوشه‌بندی، استخراج الگوهای مکرر، قوانین انجمنی و طبقه‌بندی استفاده گردید. همچنین در این مقاله، چهار الگوریتم طبقه‌بندی مختلف جهت بهبود دقت در سیستم پیشنهادی بازیابی تصاویر مبتنی بر محتوا مورد بررسی قرار گرفت. نتایج آزمایش نشان داد که اگرچه با بهره‌گیری از روش طبقه‌بندی شبکه عصبی پرسپترون چندلایه، زمان بیشتری برای ساخت یک مدل طبقه‌بندی در مقایسه با سایر روش‌ها در توصیه‌گر تصویر و در مرحله آنلاین صرف می‌شود، با این حال در مقایسه با سایر الگوریتم‌ها و در مواقعی که حجم داده‌های کمتری در اختیار است و دسترسی به سخت‌افزارهای پرقدرت وجود ندارد، بالاترین میزان دقت و فراخوانی را ارائه نموده است.

جهت کارهای آتی می‌توان از تبدیلات موجک دیگر برای استخراج ویژگی استفاده نمود و نتایج حاصل را با متد پیشنهادی مورد ارزیابی قرار داد. همچنین در مواقعی که حجم عظیمی از داده در دسترس باشد، از نظر سخت‌افزاری به تجهیزات پرقدرت دسترسی داشته باشیم و سرعت ارائه توصیه به کاربران از اهمیت برخوردار نباشد، می‌توان از الگوریتم‌های یادگیری عمیق جهت طبقه‌بندی و بررسی عملکرد سیستم استفاده نمود.

مراجع

[1]       Y. Zheng and D. X. Wang, "A survey of recommender systems with multi-objective optimization," Neurocomputing, vol. 474, pp. 141-153, Feb. 2022.

[2]       A. Ortigosa, R. M. Carro, and J. I. Quiroga, "Predicting user personality by mining social interactions in Facebook," J. of Computer and System Sciences, vol. 80, no. 1, pp. 57-71, Feb. 2014.

[3]       C. C. Aggarwal, Recommender Systems, 1st Ed., p 518, Springer International Publishing, 2016.

[4]       M. Kolahkaj, A. Harounabadi, A. Nikravanshalmani, and R. Chinipardaz, "A hybrid context-aware approach for e-tourism package recommendation based on asymmetric similarity measurement and sequential pattern mining," Electronic Commerce Research and Applications, vol. 42, Article ID: 100978, Jul./Aug. 2020.

[5]       R. Katarya and O. P. Verma, "Recommender system with grey wolf optimizer and FCM," Neural Comput & Applic, vol. 30, no. 5, pp. 1679-1687, Sept. 2018.

[6]       M. Kolahkaj, A. Harounabadi, A. Nikravanshalmani, and R. Chinipardaz, "DBCACF: a multidimensional method for tourist recommendation based on users' demographic, context and feedback," Information Systems and Telecommunication, vol. 4,
no. 6, pp. 209-219, Autumn 2019.

[7]       M. Kolahkaj, A. Harounabadi, A. Nikravanshalmani, and R. Chinipardaz, "Incorporating multidimensional information into dynamic recommendation process to cope with cold start and data sparsity problems," J. of Ambient Intelligence and Humanized Computing, vol. 12, no. pp. 9535-9554, Oct. 2021.

[8]       N. Kayhan and S. Fekri-Ershad, "Content based image retrieval based on weighted fusion of texture and color features derived from modified local binary patterns and local neighborhood difference patterns," Multimedia Tools and Applications, vol. 80, no. 21, pp. 32763-32790, 2021.

[9]       P. Srivastava and A. Khare, "Content-based image retrieval using local ternary wavelet gradient pattern," Multimed Tools Appl,
vol. 78, no. 24, pp. 34297-34322, 2019.

[10]       N. Ghosh, S. Agrawal, and M. Motwani, "A survey of feature extraction for content-based image retrieval system," in Proc. of Int. Conf. on Recent Advancement on Computer and Communication, pp. 305-313, Singapore, Apr. 2018.

[11]       A. Du, L. Wang, and J. Qin, "Image retrieval based on colour and improved NMI texture features," Automatika, vol. 60, no. 4, pp. 491-499, 2019.

[12]       A. Irtaza, M. Arfan Jaffar, E. Aleisa, and T. S. Choi, "Embedding neural networks for semantic association in content based image retrieval," Multimed Tools Appl, vol. 72, pp. 1911-1931, Sept. 2013.

[13]       M. Garg and G. Dhiman, "A novel content-based image retrieval approach for classification using GLCM features and texture fused LBP variants," Neural Computing and Applications, vol. 33, no. 4, pp. 1311-1328, Fex. 2021.

[14]       F. Rajam and S. Valli, "A survey on content based image retrieval," Life Science J., vol. 10, no. 2, pp. 2475-2487, 2013.

[15]       A. Mishra, M. H. Khan, W. Khan, M. Zunnun Khan, and N. Kumar Srivastava, "A comparative study on data mining approach using machine learning techniques: prediction perspective," Part of the EAI/Springer Innovations in Communication and Computing Book Series (EAISICC), pp. 153-165, 2021.

[16]       I. Viktoratos, A. Tsadiras, and N. Bassiliades, "Combining community-based knowledge with association rule mining to alleviate the cold start problem in context-aware recommender systems," Expert Systems with Applications, vol. 101, pp. 78-90, Jul. 2018.

[17]       M. V. Ahluwalia, A. Gangopadhyay, and Z. Chen, "Target-based, privacy preserving, and incremental association rule mining," IEEE Trans. on Services Computing, vol. 10, no. 4, pp. 633-645, Jul./Aug. 2017.

[18]       A. K. Singh, A. Kumar, and A. K. Maurya, "An empirical analysis and comparison of apriori and fp-growth algorithm for frequent pattern mining," in Proc. of IEEE Int. Conf. on Advanced Communication Control and Computing Technologies, pp. 1599-1602, Ramanathapuram, India, 8-12 May 2014.

[19]       H. Cheng, X. Yan, J. Han, and P. S. Yu, "Direct discriminative pattern mining for effective classification," in Proc. of IEEE Int. Conf. on on Data Engineering, ICDE'08, pp. 169-178, Cancun, Mexico, 7-12 Apr. 2008.

[20]       Z. Batmaz, A. Yurekli, A. Bilge, and C. Kaleli, "A review on deep learning for recommender systems: challenges and remedies," Artif. Intell. Rev., vol. 52, pp. 1-37, Jun. 2019.

[21]       Z. Yu, H. Xu, Z. Yang, and B. Guo, "Personalized travel package with multi-point-of-interest recommendation based on crowdsourced user footprints," IEEE Trans. on Human-Machine Systems, vol. 46, no. 1, pp. 151-158, Feb. 2016.

[22]       M. J. Zaki, "SPADE: an efficient algorithm for mining frequent sequences," Machine Learning, vol. 42, pp. 31-60, 2001.

[23]       M. J. Zaki, "An efficient algorithm for mining frequent sequences," Mach. Learn., vol. 42, pp. 31-60, Jan. 2000.

[24]       M. Sinthuja, D. Evangeline, S. P. Raja, and G. Shanmugarathinam, "Frequent itemset mining algorithms-a literature survey," Intelligent Sustainable Systems, vol. 213, pp. 159-166, Aug. 2022.

[25]       P. Parvathi Sangeetha and S. Hemamalini, "Rational-dilation wavelet transform based torque estimation from acoustic signals for fault diagnosis in a three phase induction motor," IEEE Trans. on Industrial Informatics, vol. 15, no. 6, pp. 3492-3501, Jun. 2019.

[26]       M. Kolahkaj and M. Khalilian, "A recommender system by using classification based on frequent pattern mining and J48 algorithm," in Proc. of 2nd. Int. Conf. on Knowledge-Based Engineering and Innovation, pp. 405-411, Tehran, Iran, 5-6 Nov. 2015.

[27]       M. Kolahkaj, A. Haroun Abadi, and M. Sadegh Zadeh, "A recommender system for web mining using neural network and fuzzy algorithm," International J. of Computer Applications, vol. 78, no. 8, pp. 20-24, Sep. 2013.

[28]       A. K. Bhunia, A. Bhattacharyya, P. Banerjee, P. P. Roy, and S. Murala, "A novel feature descriptor for imageretrieval by combining modified color histogram and diagonally symmetric co-occurrence texture pattern," Pattern Anal Applic, vol. 23, pp. 1-21, May 2019.

 

مارال کلاه‌کج تحصيلات خود را در مقاطع کارشناسی، کارشناسی ارشد و دکتری تخصصی مهندسی کامپیوتر- گرایش سیستم‌های نرم‌افزاری به‌ترتیب در سال‌های 1388، 1392 و 1399 ادامه داد و هم اكنون استادیار مهندسي كامپيوتر دانشگاه آزاد اسلامی مي‎باشد. زمينه‎هاي تحقيقاتي مورد علاقه ايشان عبارتند از: سیستم‌های توصیه‌گر، شخصی‌سازی وب، داده‌کاوی و یادگیری ماشین.

 

 

[1] . Confusion Matrix

[2] . Accuracy

[3] . False Positive

[4] . False Negative

 


مقالات مرتبط

حقوق این وب‌سایت متعلق به سامانه مدیریت نشریات رایمگ است.
حق نشر © 1403-1396

صفحه اصلی| عضویت/ ورود| درباره رایمگ| تماس با ما|
[English] [العربية] [en] [ar]