حرکت توده ای یک نوع حرکت دسته جمعی هماهنگ است که معمولا با استفاده از ارتباطات اندک موجود بین اعضای آن و اطلاعات محدود از وضعیت کل سیستم انجام می شود. با وجود توانایی و هوش محدود و اندک برای هر عضو، مجموعه این اعضا در کنار هم قادر به انجام اهداف سطح بالا و قابل توجهی هستند.

با ایده گرفتن از حرکات توده ای موجود در طبیعت و مشاهده تعامل بین-عضوی در آنها زمینه جدیدی در علم رباتیک به وجود آمد که حرکات توده رباتیکی  را شبیه سازی می کند. توده رباتیکی از تعدادی ربات های همسان-که هر کدام از آنها در این توده دارای قابلیت های پایین هستند- تشکیل شده است که این تعداد در کنار هم و به طور جمعی توانایی های قابل توجهی پیدا می کنند.

در این فصل به مرور پژوهش های پیشین در زمینه توده رباتیکی، توضیح مدل توده رباتیکی استفاده شده در این رساله، تعریف موضوع و بیان اهمیت و نوآوری آن می پردازیم.

در اینجا اهداف کنترلی توده رباتیکی مورد بحث و بررسی قرار می گیرد. اهداف کنترلی مورد بحث عبارتند از: 

1-کنترل رفتاری اعضای توده به منظور تقلید مدل واقعی توده رباتیکی از مدل مطلوب آن.

2-کنترل حرکت اعضای توده به منظور طی کردن مسیر معین.

این اهداف به وسیله یکی از روش های نوین کنترلی مبتنی بر یادگیری تقویتی به نام کنترلر فازی- عصبی تطبیقی با وجود نقاد انجام شده است. در این روش نقاد با نقد عملکرد کنترلر یادگیری تقویتی را پیاده سازی می کند. از مزیت های این روش کنترلی نوین می توان به سادگی ساختار آن، سرعت یادگیری و همگرایی سریع، عدم وابستگی به مدل، انجام همزمان کنترل و یادگیری و مقاوم بودن آن در برابر نویزهای مختلف اشاره کرد. 

در این فصل ابتدا به معرفی کنترلرهای مبتنی بر یادگیری تقویتی پرداخته شده است و در ادامه آن دو نوع از این کنترلرها به نام کنترلرهای تقویتی کلاسیک و نوین معرفی شده اند. سپس دو هدف کنترلی گفته شده در بالا و خصوصیات کنترلر طراحی شده و نتایج شبیه سازی در هر کدام از اهداف به طور مجزا توضیح داده شده اند.

انواع مسائل بهینه سازی را می توان به چهار دسته کلی تقسیم کرد:

1-بر حسب تعداد اهدافی که باید بهینه شوند:

 این مسائل به دو دسته تقسیم می شوند: مسائل بهینه سازی تک هدفه  و چندهدفه . دسته اول مسائل بهینه سازی که در آنها فقط یک پارامتر بهینه می شود، مانند کمترین مسافت طی شده بین دو نقطه شهری و دسته دوم مسائل بهینه سازی که در آنها بیش از یک هدف بهینه می شوند، مثل مسئله کمترین مسافت طی شده درکمترین زمان بین دو نقطه ی شهری.

2-برحسب وجود تغییرات زمانی درتابع هزینه  (تابع هدف )‌:‌

از نظر کلی بهینه سازی شامل اعمال تغییرات بر روی یک راه حل اولیه و استفاده از اطلاعات جمع-آوری شده به منظور بهبود این راه حل است. به بیان دیگر بهینه سازی، فرآیند تنظیم ورودی های یک تابع برای اکسترمم کردن خروجی ها یا تنظیم پارامترهای یک فرآیند برای اکسترمم کردن یک نتیجه است.