کنفرانس مهندسی برق ایران

صفحه اصلی / سی و سومین کنفرانس بین المللی مهندسی برق

خلاصه سازی ویدیوهای کپسول آندوسکوپی با رویکرد یادگیری انتقالی

نویسندگان :

محدثه امیریان چایجان¹ رضا آقائی زاده ظروفی² مسعود رضا سهرابی³

1- دانشگاه تهران 2- دانشگاه تهران 3- دانشگاه علوم پزشکی ایران

کلمات کلیدی :

خلاصه سازی،دستگاه گوارش،قاب های دارای اطلاعات،کپسول آندوسکوپی

چکیده :

پزشکان از کپسول آندوسکوپی برای بررسی دستگاه گوارش انسان علی الخصوص روده کوچک استفاده می کنند. در فرآیند کپسول آندوسکوپی ده ها هزار قاب از بخش های مختلف دستگاه گوارش ایجاد می شود که ممکن است آسیب مورد نظر در یک قاب وجود داشته باشد و پزشکان برای شناسایی قاب های دارای ناهنجاری باید کل ویدیو را مرور کنند. به همین دلیل بررسی آن ها فرآیندی زمانبر و خسته کننده است. طراحی یک سامانه خلاصه سازی ویدیوهای کپسول آندوسکوپی می تواند قاب هایی از ویدیو که تکراری یا فاقد اطلاعات مفید است را حذف نماید. در این مقاله روشی مبتنی بر یادگیری انتقالی با استفاده از معماری های مختلف شبکه های عصبی جهت استخراج قاب های دارای اطلاعات از ویدیوهای کپسول آندوسکوپی ارائه شده است. نتایج نشان می دهد، روش پیشنهادی با استفاده از شبکه عصبی ResNet50 نسبت به سایر روش ها مقدار F1score بالاتری دارد و به صورت موثری قاب های فاقد اطلاعات را حذف می کند.