0% Complete
صفحه اصلی
/
سی و سومین کنفرانس بین المللی مهندسی برق
Improving Artificial Neural Network Performance Using Hybrid Activation Function
نویسندگان :
Morteza Taheri
1
Sajad Haghzad Klidbary
2
1- زنجان
2- زنجان
کلمات کلیدی :
Activation Function, Hybrid Activation Function, Neural Networks, Deep Learning.،Hybrid Activation Function،Cifar and Mnist Dataset.
چکیده :
Abstract— Choosing the optimal activation function for the training of deep neural networks has always posed a significant challenge due to its substantial impact on the network performance and training speed. Despite the impressive performance demonstrated by various nonlinear non-monotonic activation functions, such as rectified linear units, hyperbolic tangent, sigmoid, swish, mish, Smish, and Logish, only a restricted subset of these functions is commonly embraced in most applications, primarily because of inherent inconsistencies or other limitations. This research introduces a new hybrid activation functions designed to surpass other activation functions. The results from our experiments suggest that the new activation function(AF) we introduced performs well across diverse datasets. Also, These findings indicate that the activation function we developed are better suited for intricate deep-learning models. In comparison to Sigmoid, Relu and other AFs, our proposed activation function has increased accuracy on MNIST, Cifar10, Cifar100 dataset. Significantly, our purposed AF has the maximum accuracy (100%) compared to other well-known activation functions on MNIST dataset.
لیست مقالات
لیست مقالات بایگانی شده
قرارگیری بهینه سطوح هوشمند قابل تنظیم مجدد برای مکان یابی فرستنده
مهدی گودرزی - فریدون بهنیا - امین آقاتبار رودباری
External Force Control with Disturbance Rejection for 6 DoF Manipulator
Zahra Bonakdar - Arefe Hamidipour - Hamed Ghafarirad
Precise model extraction for Li-Ion batteries using segmented Columb counting and Kalman filtering
Ali Fotokkiani - Ali Ghanbarian - Amirhossein Esteghamat - Ali Fotowat-Ahmady - Farzad Tahami
طراحی تقویت کننده توان موج میلی متری پهن باند در فناوری سی ماس برای کاربردهای نسل پنجم
سید محمد مهدی جعفری - صمد شیخایی
پیشنهاد یک ساختار جدید AC/DC مبتنی بر مبدلهای SEPIC و CUK بهبودیافته برای کاربرد شارژر موتورسیکلتهای الکتریکی
سجاد قابلی ثانی - رحیم عجبی فرشباف - میثم صادقی - محمد خدایاری
Remote Sensing Image Registration Using Fast Visual Saliency and Improved SIFT
Fatemeh Khalili - Farbod Razzazi - Abolfazl Hosseini
E-RESO: An Enhanced Time Redundancy-based Error Detection Approach for Arithmetic Operations
Sina Shahoveisi - Athena Abdi
مدلسازی نویز فاز در ساختار کاهنده نویز نوسانساز مبتنی بر تداخلسنجی
سیدمحمدعلی صدرقاینی - علی بنائی
An Autonomous Multi Agent Q-Learning Approach for Resource Allocation in D2D-Enabled Heterogeneous Networks
Pouya Akhoundzadeh - Ghasem Mirjalily - Mohammad taghi Saadeghi
Simulation Analysis of Electrode Metal Influence on the Microcavity Effect in Organic Light-Emitting Diodes
Faezeh Rahimi - Mohammad Sedghi - Asghar Gholami
بیشتر
ثمین همایش، سامانه مدیریت کنفرانس ها و جشنواره ها - نگارش 42.0.4