کنفرانس مهندسی برق ایران

صفحه اصلی / سی و دومین کنفرانس بین المللی مهندسی برق

RSF: Reinforcement learning based hybrid split and federated learning for edge computing environments

نویسندگان :

Alireza Soleimani¹ Negar Anabestani² Mahmoud Momtazpour³

1- دانشگاه صنعتی امیرکبیر(پلی تکنیک تهران) 2- دانشگاه صنعتی امیرکبیر(پلی تکنیک تهران) 3- دانشگاه صنعتی امیرکبیر(پلی تکنیک تهران)

کلمات کلیدی :

Federated learning،Split learning،Privacy preserving،Distributed learning،Edge computing

چکیده :

افزایش استفاده از اینترنت اشیا (IoT) در حوزه های مختلف، به ویژه در حوزه هوش مصنوعی، نگرانی هایی را در مورد حفظ حریم خصوصی داده ها ایجاد کرده است. یادگیری فدرال به عنوان یک راه حل امیدوار کننده برای رسیدگی به این نگرانی های حفظ حریم خصوصی در حالی که امکان آموزش مدل مشارکتی را فراهم می کند ظاهر می شود. با این حال، یادگیری فدرال با چالش هایی مانند منابع محاسباتی محدود در دستگاه های IoT، نوسان پهنای باند شبکه، و مقیاس پذیری کم به دلیل ازدحام شبکه در طول انتقال وزن های محلی در مقیاس بزرگ مواجه است. همه اینها منجر به زمان همگرایی نامطلوب یا حتی شکست در روند آموزش می شود. این مقاله یک روش تقسیم شبکه عصبی پویا مبتنی بر یادگیری تقویتی را برای کاهش زمان کلی آموزش با زمان تصمیم گیری پارتیشن بندی سریعتر ارائه می کند. عامل یادگیری تقویتی به صورت پویا بارهای محاسباتی را در دستگاه های اینترنت اشیا، سرورهای لبه و ابر تخصیص می دهد و روند آموزش در محیط های محاسبات لبه را تسریع می‌بخشد. پارتیشن بندی شبکه عصبی به صورت تکراری سازگار می‌شود. عامل در شروع هر دور آموزشی در مورد پارتیشن بندی شبکه عصبی برای هر دستگاه IoT تصمیم می گیرد. نتایج شبیه‌سازی اثربخشی روش پیشنهادی ما را نشان می‌دهد، و به بهبود سرعت قابل توجهی تا %27 و مقیاس‌پذیری بالاتر دست می‌یابد. --------------------------------------------------------------------- The increasing usage of the Internet of Things (IoT) in various domains, particularly within the realm of artificial intelligence has raised concerns about data privacy. Federated learning emerges as a promising solution to address these privacy concerns while enabling collaborative model training [1]. However, federated learning faces challenges such as constrained computing resources on IoT devices, fluctuating network bandwidth, and low scalability due to network congestion during transition of local weights in a large scale. All of these results in a low convergence time, or even failure in the training procedure. This paper presents a reinforcement learning-based dynamic neural network splitting method to reduce overall training time with a faster partitioning decision time. The reinforcement learning agent dynamically allocates computational tasks across IoT devices, Edge servers, and the cloud, accelerating the training process in edge computing environments. The neural network partitioning adapts iteratively. The agent decides on the neural network partitioning for each IoT device at the start of each training round. Simulation results demonstrate the effectiveness of our proposed method, achieving substantial speed improvements up to 27\%, and higher scalability.