لطفا منتظر بمانید ...
0% Complete
صفحه اصلی
/
سی و چهارمین کنفرانس بین المللی مهندسی برق
Efficient Large Language Models with Zero-Shot Adjustable Acceleration
نویسندگان :
Sajjad Kachuee
1
Mohammad Sharifkhani
2
1- دانشگاه صنعتی شریف
2- دانشگاه صنعتی شریف
کلمات کلیدی :
Zero-Shot Adjustable Acceleration،Preservation Rate،Hidden Activation،Context Contribution
چکیده :
Large Language Models (LLMs) face significant challenges in real-world applications, particularly in balancing computational efficiency and model performance. Acceleration during both fine-tuning and inference is essential for designing efficient architectures. This paper presents a novel training and inference method, termed zero-shot adjustable acceleration, which dynamically adjusts hardware utilization at inference time without additional fine-tuning. The method is applied to recent LLMs and evaluated on multiple classification and text generation benchmarks. Experimental results demonstrate that the approach enables flexible zero-shot acceleration and achieves up to an 11× speedup over baseline methods, while maintaining high model performance.
لیست مقالات
لیست مقالات بایگانی شده
چارچوب جامع شناسایی استخراج غیرمجاز رمزارز: پایش چندلایه‌ای حرارتی (IR) و الگوهای انرژی
مهدی عرب صادق - ودود ساجدی‌فر - نرجس مشهدی
Improved Spectral Efficiency of RIS-aided 6G Communication using Deep Learning
Zahra Zahedi - Mehrdad Ardebilipur - Fatemeh Dehrouye
طبقه‌بندی محیط صوتی با استفاده از ویژگی ترکیبی مبتنی بر فیلتربانک گابور
مسعود گراوانچی زاده - سپیده اختری خسروشاهی - سحر ذاکری
Peer-to-peer Energy Sharing Considering Prosumers' Preferences and Load Uncertainties
Mohammad Bagher Moradi - Mohammad Hasan Nazari - Seyed Hossein Hosseinian - Hamed Nafisi
بهبود دقت و سرعت روش حداکثر جریان در تشخیص خطاهای آغازین وقایع آبشاری
مجتبی فکری - جواد نیکوکار - گئورک قره پتیان
Placement and sizing of electric vehicle charging stations in distribution network with stochastic generation
Pooya Tadayonroody - Maryam Ramezani - Mohsen Akafimobarake - Hamid Falaghi - Mozhde Farhangroody
Diagnosis of Covid 19 disease, flu, allergies, colds
Mahyar Mohammady - Marzieh Kamali
Fabrication of flexible wired electrodes for brain signal recording applications
Soheil Moradi - Sedigheh Mousanezhad - Mehdi Fardmanesh
Evaluation Study of Different Integration Methods of LCC Compensation Network for Various Types of Magnetic Structures of Wireless Power Transfer
Nima Rasekh - Navid Rasekh - Mojtaba Mirsalim
Lateral Stability of Electric Vehicles in Car-Following Scenario Using High-Accuracy NMPC
Mohammad Behzad Roohi - Mohammad Javad Yazdanpanah
بیشتر
ثمین همایش، سامانه مدیریت کنفرانس ها و جشنواره ها - نگارش 44.7.2
