شناسایی فعالیت‌های انسانی مبتنی بر سنسورهای متحرک در اینترنت اشیا با استفاده از یادگیری عمیق
محورهای موضوعی : مهندسی برق و کامپیوتر
عباس میرزایی
1
(دانشگاه آزاد اسلامی واحد اردبیل)
فاطمه فرجی
2
(دانشگاه آزاد اسلامی واحد اردبیل)
کلید واژه: تشخیص فعالیت انسانی, یادگیری عمیق, یادگیری ماشین, شبکه عصبی عمیق, اینترنت اشیا,
چکیده مقاله :
کنترل محدوده‌ها، اماکن و سنسورهای حرکتی در اینترنت اشیا نیازمند کنترل پیوسته و مستمر برای تشخیص فعالیت‌های انسانی در شرایط مختلف است که این مهم، خود چالشی از جمله نیروی انسانی و خطای انسانی را نیز در بر دارد. کنترل همیشگی توسط انسان نیز بر سنسورهای حرکتی اینترنت اشیا غیر ممکن به نظر می‌رسد. اینترنت اشیا فراتر از برقراری یک ارتباط ساده بین دستگاه‌ها و سیستم‌ها می‌باشد. اطلاعات سنسورها و سیستم‌های اینترنت اشیا به شرکت‌ها کمک می‌کند تا دید بهتری نسبت به کارایی سیستم داشته باشند. در این پژوهش روشی مبتنی بر یادگیری عمیق و شبکه عصبی عمیق سی‌لایه‌ای برای تشخیص فعالیت‌های انسانی روی مجموعه داده تشخیص فعالیت دانشگاه فوردهام ارائه شده است. این مجموعه داده دارای بیش از یک میلیون سطر در شش کلاس برای تشخیص فعالیت در اینترنت اشیا است. بر اساس نتایج به دست آمده، مدل پیشنهادی ما در راستای تشخیص فعالیت‌های انسانی در معیارهای ارزیابی مورد نظر کارایی 90 درصد و میزان خطای 2/2 درصد را داشت. نتایج به دست آمده نشان از عملکرد خوب و مناسب یادگیری عمیق در تشخیص فعالیت است.
Control of areas and locations and motion sensors in the Internet of Things requires continuous control to detect human activities in different situations, which is an important challenge, including manpower and human error. Permanent human control of IoT motion sensors also seems impossible. The IoT is more than just a simple connection between devices and systems. IoT information sensors and systems help companies get a better view of system performance. This study presents a method based on deep learning and a 30-layer DNN neural network for detecting human activity on the Fordham University Activity Diagnostic Data Set. The data set contains more than 1 million lines in six classes to detect IoT activity. The proposed model had almost 90% and an error rate of 0.22 in the evaluation criteria, which indicates the good performance of deep learning in activity recognition.
[1] S. J. Preece, J. Y. Goulermas, L. P. J. Kenney, D. Howard, K. Meijer, and R. Cromptone, "Activity identification using body-mounted sensors: a review of classification techniques," Engineering, Medicine, vol. 30, no. 4, pp. 221-243, Apr. 2009.
[2] A. Mirzaei and A. R. Najafi Souha, "Towards optimal configuration in MEC neural networks: deep learning-based optimal resource allocation," Wireless Personal Communications, vol. 12, no. 1, pp. 221-243, 2021.
[3] A. Rahimi, A. Ziaeddini, and S. Gonglee, "A novel approach to efficient resource allocation in load-balanced cellular networks using hierarchical DRL," J. of Ambient Intelligence and Humanized Computing, pp. 1-15, 2021.
[4] L. Liu, Y. Peng, S. Wang, M. Liu, and Z. Huang, "Complex activity recognition using time series pattern dictionary learned from ubiquitous sensors," Information Sciences, Computer Science, vol. 340-341, pp. 41-57, May 2016.
[5] P. Liu, X. Qiu, and X.Huang, "Recurrent neural network for text classification with multi-task learning," in Proc. of the 25th Int. Joint Confe. on Artificial Intelligence, pp. 2873-2879, New York. NY, USA, 9-15 Jul. 2016.
[6] J. T. Heaton, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, Deep learning, The MIT Press, p. 800, 2016.
[7] M. Farhang, A. Mohajer, O. Zobeyravi, and A. Rahimzadegan, "Adaptive spectrum sensing algorithm based on noise variance estimation for cognitive radio applications," in Proc. MASFOR Conf., 1 p., Istanbul,Turkey, 21-23 Jun. 2012.
[8] A. Mirzaei Somarin, Y. Alaei, M. R. Tahernezhad, A. Mohajer, and M. Barari, "An efficient routing protocol for discovering the optimum path in mobile ad hoc networks," Indian J. of Science and Technology, vol. 8, no. S8, pp. 450-455, Apr. 2015.
[9] R. Chavarriaga, H. Sagha, A. Calatroni, S. T. Digumarti, G. Troster, J. R. Millan, and D. Roggen, "The opportunity challenge: a benchmark database for on-body sensor-based activity recognition," Pattern Recognition Letters, vol. 34, no. 15, pp. 2033-2042, Nov. 2013.
[10] H. Fang and C. Hu, "Recognizing human activity in smart home using deep learning algorithm," in Proc. of the 33rd Chinese Control Conf., pp. 4716-4720, Nanjing, China, 28-30 Jul. 2014.
[11] M. Papakostas, T. Giannakopoulos, F. Makedon, and V. Karkaletsis, "Short-term recognition of human activities using convolutional neural networks," in Proc. of the 12th Int. Conf. on Signal Image Technology & Internet Systems, pp. 302-307, Naples, Italy, 28 Nov.-1 Dec. 2016.
[12] N. Oukrich, A. Maach, E. Sabri, E. Mabrouk, and K. Bouchard, "Activity recognition using back-propagation algorithm and minimum redundancy feature selection method," in Proc. of 4th IEEE Int. Colloquium on Information Science and Technology, pp. 818-823, Tangier, Morocco, 24-26 Oct. 2016.
[13] Z. Liouane, T. Lemlouma, P. Roose, F. Weis, and H. Messaoud, "A genetic neural network approach for unusual behavior prediction in smart home," Intelligent Systems Design and Applications, vol. 557, pp. 738-748, Feb. 2017.
[14] Z. Liouane, T. Lemlouma, P. Roose, F. Weis, and H. Messaoud, "An improved elman neural network for daily living activities recognition," Intelligent Systems Design and Applications, vol. 557, pp. 697-707, Feb. 2017.
[15] A. Ignatov, "Real-time human activity recognition from accelerometer data using convolutional neural networks," Applied Soft Computing, vol. 62, pp. 915-922, Jan. 2018.
[16] M. M. Hassan, Md. Zia Uddin, A. Mohamed, and A. Almogren, "A robust human activity recognition system using smartphone sensors and deep learning," Future Generation Computer Systems, vol. 81, pp. 307-313, Apr. 2018.
[17] S. Ahmadi-Karvigh, A. Ghahramani, B. Becerik-Gerber, and L. Soibelman, "Real-time activity recognition for energy efficiency in buildings," Applied Energy, vol. 211, no. 1, pp. 146-160, Feb. 2018.
[18] J. Wang, Y. Chen, S. Hao, X. Peng, and L. Hu, "Deep learning for sensor-based activity recognition: a survey," Pattern Recognition Letters, vol. 119, pp. 3-11, Mar. 2019.
[19] F. Bao, I. R. Chen, and J. Guo, "Scalable, adaptive and survivable trust management for community of interest based Internet of Things systems," in Proc. IEEE 11th Int. Symp. on Autonomous Decentralized Systems, ISADS’13, 7 pp., Mexico City, Mexico, 6-8 Mar 2013.
[20] P. N. Mahalle, P. A. Thakre, N. R. Prasad, and R. Prasad, " A fuzzy approach to trust based access control in internet of things," in Proc. Wireless VITAE’13, 5 pp., Atlantic City, NJ, USA ,24-27 Jun. 2013.
[21] A. Mohajer, M. Barari, and H. Zarrabi, "Activity feature solving based on TF-IDF for activity recognition in smart homes," Complexity, vol. 2019, 9 Article ID: 5245373, 9 2019.
[22] S. Zhang, M. Madadkhani, M. Shafieezadeh, and A. Mirzae, "A novel approach to optimize power consumption in orchard WSN: efficient opportunistic routing," Wireless Personal Communications, vol. 108, pp. 1611-1634, 2019.
[23] M. Herrera, M. Perez-Hernandez, A. K. Parlikad, and J. Izquierdo, "Multi-agent systems and complex networks: review and applications in systems engineering," Processes, vol. 108, no. 3, Article ID: 312, Mar. 2020.
[24] A. Aghagolzadeh and M. Amin-Naji, "Multi-focus image fusion in DCT domain using variance and energy of laplacian and correlation coefficient for visual sensor networks," J. of AI and Data Mining, vol. 6, no. 2, pp. 233-250, Summer 2018.
[25] M. Haghighat, Biometrics for Cybersecurity and Unconstrained Environments, Ph.D Thesis, University of Miami, USA, 2016.
[26] X. Zhou, et al., "Deep-learning-enhanced human activity recognition for Internet of healthcare things," IEEE Internet of Things J., vol. 7, no. 7, pp. 6429-6438, Jul. 2020.
[27] Z. Zhou, H. Yu, and H. Shi, "Human activity recognition based on improved bayesian convolution network to analyze health care data using wearable IoT device," IEEE Access, vol. 8, pp. 86411-86418, May 2020.
[28] B. Razavi, RF Microelectronics (2nd Edition) (Prentice Hall Communications Engineering and Emerging Technologies Series), Prentice Hall PressOne Lake Street Upper Saddle River, NJUnited States, 1998.
[29] A. Aghagolzadeh and M. A. Naji, "Multi-focus image fusion in DCT domain based on correlation coefficient," in Proc. 2nd Int. Conf. on Knowledge-Based Engineering and Innovation, pp. 632-639, Tehran, Iran, 5-6 Nov. 2015.
نشریه مهندسی برق و مهندسی كامپیوتر ایران، ب- مهندسی کامپیوتر، سال 19، شماره 4، زمستان 1400 313
مقاله پژوهشی
شناسایی فعالیت‌های انسانی مبتنی بر سنسورهای متحرک
در اینترنت اشیا با استفاده از یادگیری عمیق
عباس میرزایی و فاطمه فرجی
چكیده: کنترل محدوده‌ها، اماکن و سنسورهای حرکتی در اینترنت اشیا نیازمند کنترل پیوسته و مستمر برای تشخیص فعالیت‌های انسانی در شرایط مختلف است که این مهم، خود چالشی از جمله نیروی انسانی و خطای انسانی را نیز
در بر دارد. کنترل همیشگی توسط انسان نیز بر سنسورهای حرکتی اینترنت اشیا غیر ممکن به نظر می‌رسد. اینترنت اشیا فراتر از برقراری یک ارتباط ساده بین دستگاه‌ها و سیستم‌ها می‌باشد. اطلاعات سنسورها و سیستم‌های اینترنت اشیا به شرکت‌ها کمک می‌کند تا دید بهتری نسبت به کارایی سیستم داشته باشند. در این پژوهش روشی مبتنی بر یادگیری عمیق و شبکه عصبی عمیق سی‌لایه‌ای برای تشخیص فعالیت‌های انسانی روی مجموعه داده تشخیص فعالیت دانشگاه فوردهام ارائه شده است. این مجموعه داده دارای بیش از یک میلیون سطر در شش کلاس برای تشخیص فعالیت در اینترنت اشیا است. بر اساس نتایج
به دست آمده، مدل پیشنهادی ما در راستای تشخیص فعالیت‌های انسانی در معیارهای ارزیابی مورد نظر کارایی 90 درصد و میزان خطای 2/2 درصد را داشت. نتایج به دست آمده نشان از عملکرد خوب و مناسب یادگیری عمیق در تشخیص فعالیت است.
کلیدواژه: تشخیص فعالیت انسانی، یادگیری عمیق، یادگیری ماشین، شبکه عصبی عمیق، اینترنت اشیا.
1- مقدمه
در دهه‌های گذشته تعداد دوربین‌های فیلم‌برداری در همه بخش‌های زندگی بشر افزایش چشم‌گیری داشته و در نتیجه حجم ویدئوهای ایجادشده نیز بسیار افزایش یافته است. از این رو شناسایی انسان به عنوان عنصر اصلی و مؤثر بسیاری از ویدئوها و درک فعالیت‌های او از اهمیت بالایی برخوردار می‌باشد. کاربردهایی همچون نام‌گذاری کردن ویدئو
بر اساس محتوا و استخراج محتوا، استخراج بخش‌های اساسی و خلاصه‌کردن آن نیازمند به شناسایی فعالیت‌هایی است که در آن ویدئو اتفاق می‌افتد.
ﺗﺸﺨﻴﺺ ﻓﻌﺎﻟﻴﺖﻫﺎی روزﻣﺮه، ﺳﻴﺴﺘﻢ را ﻗﺎدر ﺑﻪ ﻧﻈﺎرت و ﺗﺸﺨﻴﺺ ﺗﻐﻴﻴﺮات در اﻟﮕﻮﻫﺎی رﻓﺘﺎری ﻣﻰﺳﺎزد ﻛﻪ ﻣﻤﻜﻦ اﺳﺖ ﺷﺎﺧﺺهای ﺗﻮﺳﻌﻪ ﺷﺮاﻳﻂ ﭘﺰﺷﻜﻰ ﺟﺴﻤﻰ ﻳﺎ رواﻧﻰ ﺑﺎشند. ﻫﻤﭽﻨﻴﻦ ﻣﻰﺗﻮاﻧﺪ ﺑﺮای ﺗﻌﻴﻴﻦ ﺳﻄﺢ اﺳﺘﻘﻼل اﻓﺮاد ﻣﺴﻦ، ﺑﺮای درك ﻋﻮارض ﺟﺎﻧﺒﻰ دارو و ﺗﺸﻮﻳﻖ ﺑﻪ ﭘﺎﻳﺒﻨﺪی در درﻣﺎن ﻛﻤﻚ ﻛﻨﺪ. ﻣﻌﻤﻮﻻً از ﺗﻜﻨﻮﻟﻮژیﻫﺎی ﺷﺒﻜﻪ ﺣﺴﮕﺮی ﺑﺮای درﻳﺎﻓﺖ داده از ﻣﺤﻴﻂ اﺳﺘﻔﺎده ﻣﻰﺷﻮد. ﺣﺴﮕﺮﻫﺎ ﺑﻪ اﻓﺮاد ﻳﺎ اﺷﻴﺎ ﻣﺘﺼﻞ ﻣﻰﺷﻮﻧﺪ ﺗﺎ دادهﻫﺎی ﻣﻮرد ﻧﻴﺎز را ﺟﻤﻊآوری ﻛﻨﻨﺪ. ﺣﺴﮕﺮﻫﺎ ﻣﻰﺗﻮاﻧﻨﺪ ﺑﻪ اﻧﺴﺎنﻫﺎ ﻣﺘﺼﻞ ﺷﻮﻧﺪ؛ از ﺟﻤﻠﻪ ﺣﺴﮕﺮﻫﺎی ﭘﻮﺷﻴﺪﻧﻰ ﻣﺎﻧﻨﺪ ﺷﺘﺎبﺳﻨﺞ، ژﻳﺮوﺳﻜﻮپ، ﻣﻐﻨﺎﻃﻴﺲﺳﻨﺞ ﻳﺎ دﺳﺘﮕﺎهﻫﺎی ﭘﺮدازش ﻋﻼیم ﺣﻴﺎﺗﻰ ﻣﺎﻧﻨﺪ ﺿﺮﺑﺎن ﻗﻠﺐ ﻳﺎ دﻣﺎﺳﻨﺞ. با این حال، با این همه امکانات در برخی جاها
نیاز است که فعالیت دریافتی از سنسور در شرایط مختلف، سنجیده شود. آﻣﻮزش و اﻃﻼع‌رﺳﺎﻧﻰ ﺑﻪ ﻣﺮدم ﺑﺎ اراﺋﻪ اﻃﻼﻋﺎت در زﻣﺎن ﻣﻨﺎﺳﺐ، زﻣﺎﻧﻰ ﻛﻪ آﻧﻬﺎ در ﻃﻮل ﻣﺤﻴﻂ در ﺣﺮﻛﺖ ﻫﺴﺘﻨﺪ اﻧﺠﺎم ﻣﻰﭘﺬﻳﺮد. داﻧﺴﺘﻦ اﻳن که ﻓﺮد در ﺣﺎل اﻧﺠﺎم ﭼﻪ ﻛﺎری اﺳﺖ در ﺗﻌﻴﻴﻦ ﺑﻬﺘﺮﻳﻦ زﻣﺎن ﺑﺮای اﻳﺠﺎد وﻗﻔﻪ، ﺑﺮای اراﺋﻪ اﻃﻼﻋﺎت ﻣﻔﻴﺪ و ﻳﺎ ﭘﻴﺎم ﺑﻪ ﺳﺎﻛﻨﻴﻦ ﻛﻤﻚ ﺧﻮاﻫﺪ ﻛﺮد. در این حالت، نیاز به یک سیستم خودکار برای تشخیص فعالیت غیر عادی ضروری به نظر می‌رسد. ﺗﺸﺨﻴﺺ ﻣﻨﺎﺳﺐ ﻓﻌﺎﻟﻴﺖهای زﻧﺪﮔﻰ روزاﻧﻪ ﺑﺮای اﺟﺮای ﺑﺴﻴﺎری از اﺳﺘﺮاﺗﮋی‌های ﭘﻴﺸﻨﻬﺎدی در ﺗﺸﻮﻳﻖ رﻓﺘﺎرﻫﺎی ﺳﺎﻟﻢ ﻣﺮﺑﻮط ﺑﻪ رژﻳﻢ ﻏﺬاﻳﻰ، ورزش و ﭘﺎﻳﺒﻨﺪی ﺑﻪ درﻣﺎن ﺿﺮوری ﺧﻮاﻫﺪ ﺑﻮد. در این راستا روشی مبتنی بر یادگیری عمیق و شبکه عصبی عمیق یا به اختصار 2DNN سی‌لایه‌ای برای تشخیص فعالیت‌های انسانی ارائه شده است. مفهوم تشخیص فعالیت انسانی و روش پیشنهادی در بخش 1-1 توضیح داده شده و در ادامه روش‌های تشخیص فعالیت موجود در بخش 1-2 بررسی و تحلیل گردیده‌اند. همچنین نحوه سازمان‌دهی مقاله در بخش 1-3 بیان شده است.
1-1 تشخیص فعالیت‌های انسانی
امروزه تشخیص فعالیت انسان 3(HAR) بسیار مورد توجه قرار گرفته است و در یک دسته‌بندی اصلی می‌توان دو دسته تشخیص فعالیت بر اساس سنسور و تشخیص فعالیت بر اساس ویدئو را در نظر گرفت. در تشخیص فعالیت مبتنی بر ویدئو، ویدئوها و تصاویر دریافتی از دوربین‌ها آنالیز می‌شوند. در حالی که در تشخیص فعالیت مبتنی بر سنسور، تمرکز روی داده‌های دریافتی از سنسورهایی مانند شتاب‌سنج است که تا کنون روش‌های مبتنی بر سنسور محبوب‌تر و رایج‌تر بوده‌اند. توانایی تشخیص فعالیت‌های پیچیده انسانی کاربردهای گوناگونی دارد و از جمله این کاربردها می‌توان نظارت اتوماتیک در مکان‌های عمومی و نظارت بر سلامت و کیفیت زندگی افراد به ویژه سالمندان را نام برد. این کاربردها نیازمند تشخیص حرکات و فعالیت‌های غیر معمول در مقابل فعالیت‌های عادی و معمول می‌باشند [1].
[1] این مقاله در تاریخ 29 مهر ماه 1399 دریافت و در تاریخ 27 مهر ماه 1400 بازنگری شد.
عباس میرزایی (نویسنده مسئول)، گروه مهندسی کامپیوتر، واحد اردبیل، دانشگاه آزاد اسلامی، اردبیل، ایران، (email: a.mirzaei@iauardabil.ac.ir).
فاطمه فرجی، گروه مهندسی کامپیوتر، واحد اردبیل، دانشگاه آزاد اسلامی، اردبیل، ایران، (email: f.faraji920@gmail.com).
[2] . Deep Neural Network
[3] . Human Activity Recognition
شکل 1: تشخیص فعالیت با روش‌های تشخیص الگوی مرسوم [5].
شکل 2: تشخیص فعالیت با روش‌های یادگیری عمیق [5].
انواع مختلفی از فعالیت‌های انسانی وجود دارد. این فعالیت‌ها با توجه به پیچیدگی آنها به چهار سطح مختلف تقسیم‌بندی می‌شوند: 1) حرکات دست، پا و صورت: حرکات اولیه اجزای بدن است که اتمیک بوده و برای توصیف حرکات معنی‌دار انسانی کاربرد دارد، مانند باز و بسته‌کردن دست از آرنج، مشت‌کردن دست و غیره. 2) فعالیت‌های یک انسان: فعالیت‌های ساده را که می‌توانند شامل چندین حرکت از دسته اول در بعد زمان باشند در این دسته قرار می‌دهیم. به عبارت دیگر ترکیب حرکات اتمیک انسان، یک فعالیت مانند راه‌رفتن، دست تکان دادن و غیره را تشکیل می‌دهند. 3) تعامل فعالیت‌های انسانی: در این دسته دو یا چند انسان و یا انسان و اشیا با هم در ارتباط هستند، مانند دعوای دو انسان یا دزدیدن کیف فردی توسط دیگری. 4) فعالیت‌های