دفاعیه کارشناسی ارشد (برق و کامپیوتر) تبدیل توصیف متنی به تصویر لباس با استفاده از شبکه‌های مولد هماوردی
| تاریخ ارسال: 1400/7/21 |
دانشجو: خانم مه تا درویش
استاد راهنما: دکتر جمشید شنبه زاده
زمان: چهارشنبه ۲۱ مهر ماه ۱۴۰۰ ساعت: ۱۷:۰۰
لینک ورود به جلسه
استاد راهنما: دکتر جمشید شنبه زاده
زمان: چهارشنبه ۲۱ مهر ماه ۱۴۰۰ ساعت: ۱۷:۰۰
لینک ورود به جلسه
چکیده:
تولید تصویر از متن، یک زمینه تحقیقاتی در حوزه تولید تصاویر است که اخیرا مورد توجه بسیاری از پژوهشگران قرار گرفته است. تصاویر تولید شده نه تنها باید با توصیفات متنی داده شده مطابقت داشته باشند، بلکه باید از کیفیت قابل قبولی نیز برخوردار باشند. از میان مدل‌های مولد، شبکه‌های مولد هماوردی قابلیت تولید تصاویر واضح‌تر و باکیفیت‌تری را در مقایسه با سایر مدل‌ها دارند. اکثر روش‌های تولید تصاویر از متن مبتنی بر شبکه‌های مولد هماوردی، از مجموعه داده‌های ساده‌ای که شامل تصاویر گل و پرنده برای تولید تصاویر استفاده کرده‌اند. برای مجموعه داده‌های پیچیده‌تر از این مجموعه‌داده‌ها (مثلا مجموعه داده تصاویر لباس که در این پایان‌نامه از آن استفاده شده است)، مسأله تولید تصویر از متن چالشی‌تر است، چرا که تصاویر موجود در این مجموعه داده‌ها از نظر محتوایی بسیار غنی‌تر از صرفا تصاویر گل و یا پرنده هستند. اکثر مدل‌هایی که تا الان معرفی شده‌اند، تنها قادر به تشخیص رنگ یک شی براساس توصیف متنی هستند و در تشخیص دقیق مکانی در تصویر که باید این تغییرات اعمال شوند، دچار مشکل هستند. همچنین در مواجه با تصاویری که دارای پس‌زمینه پیچیده‌ای هستند، عملکرد خوبی ندارند و اغلب تصاویر بی‌معنی تولید می‌کنند. یک راه‌حل برای رفع این مشکل، انجام کار تولید تصویر از متن براساس ویرایش یک تصویر است. این روش نه تنها قادر به جستجوی مناطق مرتبط با توصیف متنی است بلکه توانایی بالایی در یادگیری روابط معنایی بین تصاویر و توصیفات متنی و در نتیجه تولید تصاویر واقع‌گرایانه را دارد. در این پایان‌نامه، به روش‌های ترکیب ویژگی‌های متن و تصویر در تولید تصاویر پرداخته شده و اثر مدل‌های مختلف ترکیبی در تولید تصاویر به لحاظ کیفیت و دقت توصیف، بررسی شده است.
تولید تصویر از متن، یک زمینه تحقیقاتی در حوزه تولید تصاویر است که اخیرا مورد توجه بسیاری از پژوهشگران قرار گرفته است. تصاویر تولید شده نه تنها باید با توصیفات متنی داده شده مطابقت داشته باشند، بلکه باید از کیفیت قابل قبولی نیز برخوردار باشند. از میان مدل‌های مولد، شبکه‌های مولد هماوردی قابلیت تولید تصاویر واضح‌تر و باکیفیت‌تری را در مقایسه با سایر مدل‌ها دارند. اکثر روش‌های تولید تصاویر از متن مبتنی بر شبکه‌های مولد هماوردی، از مجموعه داده‌های ساده‌ای که شامل تصاویر گل و پرنده برای تولید تصاویر استفاده کرده‌اند. برای مجموعه داده‌های پیچیده‌تر از این مجموعه‌داده‌ها (مثلا مجموعه داده تصاویر لباس که در این پایان‌نامه از آن استفاده شده است)، مسأله تولید تصویر از متن چالشی‌تر است، چرا که تصاویر موجود در این مجموعه داده‌ها از نظر محتوایی بسیار غنی‌تر از صرفا تصاویر گل و یا پرنده هستند. اکثر مدل‌هایی که تا الان معرفی شده‌اند، تنها قادر به تشخیص رنگ یک شی براساس توصیف متنی هستند و در تشخیص دقیق مکانی در تصویر که باید این تغییرات اعمال شوند، دچار مشکل هستند. همچنین در مواجه با تصاویری که دارای پس‌زمینه پیچیده‌ای هستند، عملکرد خوبی ندارند و اغلب تصاویر بی‌معنی تولید می‌کنند. یک راه‌حل برای رفع این مشکل، انجام کار تولید تصویر از متن براساس ویرایش یک تصویر است. این روش نه تنها قادر به جستجوی مناطق مرتبط با توصیف متنی است بلکه توانایی بالایی در یادگیری روابط معنایی بین تصاویر و توصیفات متنی و در نتیجه تولید تصاویر واقع‌گرایانه را دارد. در این پایان‌نامه، به روش‌های ترکیب ویژگی‌های متن و تصویر در تولید تصاویر پرداخته شده و اثر مدل‌های مختلف ترکیبی در تولید تصاویر به لحاظ کیفیت و دقت توصیف، بررسی شده است.
مطالب مشابه
دفعات مشاهده: 583 بار |
دفعات چاپ: 132 بار |
دفعات ارسال به دیگران: 0 بار |
0 نظر