شبکه نیمه‌ناظر خودسازمانده پویا مبتنی بر یادگیری حداکثری
محورهای موضوعی : مهندسی برق و کامپیوترعلی مهریزی 1 , هادی صدوقی یزدی 2 * , سیدجواد سیدمهدوی چابك 3
1 - دانشگاه آزاد اسلامی، واحد مشهد
2 - دانشگاه فردوسی مشهد
3 - دانشگاه آزاد اسلامی، واحد مشهد
کلید واژه: یادگيري نیمه‌ناظر شبکه‌هاي خودسازمانده پويا يادگيري حداکثري یادگيري برخط,
چکیده مقاله :
شبکه خودسازمانده پويا با يادگيري نيمه‌ناظر در بسياري از کاربردها نظیر خوشه‌بندی داده‌ها کاربرد دارد. محاسبه پارامترهاي شبکه خودسازمانده شامل شکل و ساختار لايه خوشه‌بندی، سطح فعال‌سازی و وزن‌هاي لايه طبقه‌بندی از جمله مسایل چالش‌برانگیز و مهم آن است. راهکارهای ارائه‌شده فعلی از روش‌های ابتکاری و با یک نگاه محلی سعی در تعیین این پارامترها دارند که در اثر آن، نتایج این الگوریتم‌ها وابستگی بالایی به شرایط دارد. این مقاله یک روش یادگیری نیمه‌ناظر مبتنی بر شبکه خودسازمانده پویا و يادگيري حداکثري را برای اولین بار مورد بررسی قرار می‌دهد. روش پیشنهادی، بدون محاسبه مستقیم پارامترهای شبکه خودسازمانده پویا و با استفاده از روش یادگیری حداکثری، کلاس هر داده را تعیین می‌کند. خطای حاصل از بازخورد سیستم، هم در یادگیری حداکثری و هم در بهینه‌سازی شبکه خودسازمانده پویا مورد استفاده قرار می‌گیرد. در این مقاله، علاوه بر بررسی تحلیلی همگرایی روش پیشنهادی، روش حداکثری ترتیبی برای شبکه نیمه‌ناظر خودسازمانده پویا ارائه شده است. آزمایش‌های انجام‌شده بر روی داده‌های برخط و با برچسب جزئی نشان می‌دهند که روش پیشنهادی از نظر دقت، نسبت به روش نیمه‌ناظر خودسازمانده پویا برتری نسبی دارد.
Semi-supervised learning with growing self-organizing map (GSOM) is used in many applications, such as clustering. The main challenges in the Semi-supervised GSOM are calculating parameters such as shape and structure of clustering layer, activation level, and weights of classifier layer. Current approaches use initiative methods with a local look have trying to determine these parameters; which its effect, the results of these algorithms is highly dependent on the conditions. This paper studies a semi-supervised learning method based on GSOM and extreme learning for the first time. The proposed method, without the direct calculation of the GSOM parameters and using the extreme learning determines label of each data. Error resulted from the feedback system is used to optimize extreme learning and GSOM. In this paper, in addition to investigating the convergence analysis of the proposed method, sequential extreme learning is also provided for semi-supervised GSOM. Experiments conducted on online and partially labeled data show that the proposed method has a relative advantage in terms of accuracy on semi-supervised GSOM.
[1] X. Zhu and A. B. Goldberg, Introduction to Semi-Supervised Learning, Morgan & Claypool, 2009.
[2] V. Macario and F. D. A. de Carvalho, "An adaptive semi-supervised fuzzy clustering algorithm based on objective function optimization," Proc. IEEE Int. Conf. on Fuzzy Systems ,FUZZIEEE, 8 pp., 10-15 Jun. 2012.
[3] M. Halkidi, M. Spiliopoulou, and A. Pavlou, "A semi-supervised incremental clustering algorithm for streaming data," in Proc. of the 16th Pacific-Asia Conf. on Advances in Knowledge Discovery and Data Mining, PAKDD'12, vol. 1, pp. 578-590, 2012.
[4] D. Leite, P. Costa, and F. Gomide, "Evolving granular neural network for semi-supervised data stream classification," in Proc. Int. Joint Conf. on Neural Networks, IJCNN'10,, pp. 1877-1884, Barcelona, Spain, 18-23 Jun. 2010.
[5] Y. Cong, J. Liu, J. Yuan, and J. Luo, "Self-supervised online metric learning with low rank constraint for scene categorization," IEEE Trans. Image Process., pp. 3179-3191, vol. 22, no. 8, Aug. 2013.
[6] D. M. Farid, et al., "An adaptive ensemble classifier for mining concept drifting data streams," Expert Syst. Appl., vol. 40, no. 15, pp. 5895-5906, 1 Nov. 2013.
[7] K. Li, J. Zhang, H. Xu, S. Luo, and H. Li, "A semi-supervised extreme learning machine method based on co-training," J. of Computational Information Systems, vol. 9, no. 1, pp. 207-214, Jan. 2013.
[8] A. Hsu and S. K. Halgamuge, "Class structure visualization with semi-supervised growing self-organizing maps," Neurocomputing, vol. 71, no. 16-18, pp. 3124-3130, Oct. 2008.
[9] G. B. Huang, Q. Y. Zhu, and C. K. Siew, "Extreme learning machine: a new learning scheme of feedforward neural networks," in Proc. 2004 IEEE Int. Joint Conf. on Neural Networks, vol. 2, pp. 985-990, 25-29 Jul. 2004.
[10] L. Guo, J. H. Hao, and M. Liu, "An incremental extreme learning machine for online sequential learning problems," Neurocomputing, vol. 128, no. 27, pp. 50-58, Mar. 2013.
[11] S. Lin, X. Liu, J. Fang, and Z. Xu, Is Extreme Learning Machine Feasible? A Theoretical Assessment (Part II), arXiv preprint arXiv:1401.6240, 2014.
[12] S. S. Haykin, Adaptive Filter Theory, Pearson Education India, 2008.
[13] N. Grira, M. Crucianu, and N. Boujemaa, "Active semi-supervised fuzzy clustering," Pattern Recognition, vol. 41, no. 5, pp. 1834-1844, May 2008.
[14] X. Geng, D. C. Zhan, and Z. H. Zhou, "Supervised nonlinear dimensionality reduction for visualization and classification," IEEE Trans. on Systems, Man, and Cybernetics, Part B: Cybernetics, vol. 35, no. 6, pp. 1098-1107, Dec. 2005.