آدرس ایمیل خود را وارد نمایید
ثبت
پیام خود را بنویسید
علی حسنوند*1 
، محمد سعید سیف2
، محمد سعید سیف2
1- پسا دکتری دانشگاه شریف
2- استاد دانشگاه شریف
2- استاد دانشگاه شریف
چکیده: (29 مشاهده)
امروزه استفاده از روشهای پیشرفته برای کنترل حرکات رباتهای زیرسطحی سبب بهبود راندمان و افزایش کیفیت عملیات آن ها شده است. در این پژوهش با استفاده از روش یادگیری تقویتی برای حرکت عمقی رباتهای AUV روشی توسعه داده شده است که براساس معیار پاداش الگوی حرکت ربات را یاد گرفته و براساس آن بهترین تصمیم را برای حرکت و کنترل سطوح کنترلی اتخاذ میکند. کنترل حرکت عمقی براساس یادگیری تقویتی سبب بهبود عملکرد ربات میگردد و بهینهترین سیگنال کنترلی را براساس شرایط لحظهای ربات و پاداشها اتخاذ میکند. در این پژوهش از مدل دینامیکی خطی حرکت پیچ برای توسعه مدل حرکت عمقی استفاده شده است. برای هر هدف مطلوب 500 مرتبه سناریو تکرار میشود تا در حین شبیهسازی ماتریس Q به روزرسانی شود. در ادامه با ارائه پاداش به هر سیگنال مقدار مطلوب مشخص میگردد. پس از پایان سناریو، با انتخاب مقدار بهینه از ماتریس Q، مقدار سیگنال کنترلی برای بالک مشخص میگردد. نتایج نشان داد که استفاده از روش یادگیری تقویتی کمک شایانی به کیفیت سیستم کنترل رباتهای AUV میکند تا جایی که مقدار فرارفت و نوسان کمی در عملکرد مشاهده شد.
نوع مطالعه: مقاله پژوهشي |
موضوع مقاله:
طراحي، هیدروديناميك و ساخت زيرسطحي
دریافت: 1404/2/23 | پذیرش: 1404/4/26
دریافت: 1404/2/23 | پذیرش: 1404/4/26
فهرست منابع
1. Zhang, Y., et al. "Deep Reinforcement Learning for Autonomous Underwater Vehicle Path Planning and Control." IEEE Transactions on Robotics, 2022.
2. Li, H., & Wang, J. "PPO-based Control of AUVs in Dynamic Underwater Environments." Ocean Engineering, 2021.
3. Chen, X., et al. "Transfer Learning in Reinforcement Learning for AUV Motion Control." Journal of Marine Science and Technology, 2023.
4. Liu, R., et al. "Multi-Agent Reinforcement Learning for Cooperative AUV Navigation." Autonomous Robots, 2023.
5. Wang, L., & Zhang, K. "Energy-Efficient Multi-AUV Control Using MADDPG." IEEE Journal of Oceanic Engineering, 2022.
6. Patel, S., et al. "Spiking Neural Networks for Real-Time AUV Control." Neural Networks, 2023.
7. Kim, H., & Park, S. "LSTM-Based Reinforcement Learning for Dynamic AUV Motion Planning." Ocean Engineering, 2023.
8. Zhao, Y., et al. "Hybrid RL-SNN Architectures for Autonomous Underwater Vehicles." Journal of Intelligent & Robotic Systems, 2024.
9. Hasanvand, A. and Seif, M.S., 2024. Investigation the effect of length-to-diameter ratio on six-DOF helical and zigzag maneuvers of the SUT glider with internal actuators. Ocean Engineering, 295, p.116819. [DOI:10.1016/j.oceaneng.2024.116819]
10. Hasanvand, A. and Seif, M.S., 2024. Development of state space models for underwater gliders equipped with embedded actuators in vertical and horizontal planes. Ocean Engineering, 309, p.118344. [DOI:10.1016/j.oceaneng.2024.118344]
11. Hasanvand, A. and Seif, M.S., 2024. Adaptive path-following control for high-underactuated underwater glider under hydrodynamic coefficient uncertainties. Journal of Marine Science and Technology, 29(4), pp.1000-1017. [DOI:10.1007/s00773-024-01032-0]
12. Wang, D., Wan, J., Shen, Y., Qin, P. and He, B., 2022. Hyperparameter Optimization for the LSTM Method of AUV Model Identification Based on Q-Learning. Journal of Marine Science and Engineering, 10(8), p.1002. [DOI:10.3390/jmse10081002]
13. Jun, B.H., Park, J.Y., Lee, F.Y., Lee, P.M., Lee, C.M., Kim, K., Lim, Y.K. and Oh, J.H., 2009. Development of the AUV 'ISiMI'and a free running test in an Ocean Engineering Basin. Ocean engineering, 36(1), pp.2-14. [DOI:10.1016/j.oceaneng.2008.07.009]
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
International Journal of Maritime Technology is licensed under a
Creative Commons Attribution-NonCommercial 4.0 International License.