fa کنترل عمق عملیاتی ربات زیرسطحی AUV با روش یادگیری تقویتی (RL) طراحي، هیدروديناميك و ساخت زيرسطحي Submarine Hydrodynamic & Design مقاله پژوهشي Research Paper <span dir="RTL" lang="FA" style="font-size:11.0pt"><span b="" nazanin="" style="font-family:"><span style="color:black">امروزه استفاده از روش&shy;های پیشرفته برای کنترل حرکات ربات&shy;های زیرسطحی سبب بهبود راندمان و افزایش کیفیت عملیات آن &shy;ها شده است. در این پژوهش با استفاده از روش یادگیری تقویتی برای حرکت عمقی ربات&shy;های </span></span></span><span style="font-size:10.0pt"><span new="" roman="" style="font-family:" times=""><span style="color:black">AUV</span></span></span> <span dir="RTL" lang="FA" style="font-size:11.0pt"><span b="" nazanin="" style="font-family:"><span style="color:black">روشی توسعه داده شده است که براساس معیار پاداش الگوی حرکت ربات را یاد گرفته و براساس آن بهترین تصمیم را برای حرکت و کنترل سطوح کنترلی اتخاذ می&shy;کند. کنترل حرکت عمقی براساس یادگیری تقویتی سبب بهبود عملکرد ربات میگردد و بهینه&shy;ترین سیگنال کنترلی را براساس شرایط لحظه&shy;ای ربات و پاداش&shy;ها اتخاذ می&shy;کند. در این پژوهش از مدل دینامیکی خطی حرکت پیچ برای توسعه مدل حرکت عمقی استفاده شده است. برای هر هدف مطلوب 500 مرتبه سناریو تکرار می&shy;شود تا در حین شبیه&shy;سازی ماتریس </span></span></span><i><span style="font-size:10.0pt"><span new="" roman="" style="font-family:" times=""><span style="color:black">Q</span></span></span></i> <span dir="RTL" lang="FA" style="font-size:11.0pt"><span b="" nazanin="" style="font-family:"><span style="color:black">به روزرسانی شود. در ادامه با ارائه پاداش به هر سیگنال مقدار مطلوب مشخص می&shy;گردد. پس از پایان سناریو، با انتخاب مقدار بهینه از ماتریس </span></span></span><i><span style="font-size:10.0pt"><span new="" roman="" style="font-family:" times=""><span style="color:black">Q</span></span></span></i><span dir="RTL" lang="FA" style="font-size:11.0pt"><span b="" nazanin="" style="font-family:"><span style="color:black">، مقدار سیگنال کنترلی برای بالک مشخص می&shy;گردد. نتایج نشان داد که استفاده از روش یادگیری تقویتی کمک شایانی به کیفیت سیستم کنترل ربات&shy;های </span></span></span><span style="font-size:10.0pt"><span new="" roman="" style="font-family:" times=""><span style="color:black">AUV</span></span></span> <span dir="RTL" lang="FA" style="font-size:11.0pt"><span b="" nazanin="" style="font-family:"><span style="color:black">می&shy;کند تا جایی که مقدار فرارفت و نوسان کمی در عملکرد مشاهده شد.</span></span></span> <p dir="auto">Nowadays, the use of advanced methods for controlling the movements of underwater robots has led to improved efficiency and enhanced operational quality. In this research, a method based on reinforcement learning has been developed for the depth control of AUV robots. This method learns the robot&#39;s movement pattern based on a reward criterion and makes the optimal decision for motion and control surface adjustments accordingly. Depth control using reinforcement learning improves the robot&#39;s performance and selects the most optimal control signal based on the robot&#39;s conditions and rewards. In this study, a linear dynamic model of pitch motion was used to develop the depth control model. For each desired state, the scenario is repeated 500 times to update the Q-matrix during simulation. Subsequently, by assigning rewards to each signal, the optimal value is determined. After completing the scenario, the optimal value from the Q-matrix is selected to determine the control signal for the fin. The results showed that the use of reinforcement learning significantly enhances the quality of the AUV robot&#39;s control system, resulting in minimal overshoot and oscillation in performance.</p> یادگیری تقویتی,کنترل عمق,ربات AUV,Under actuated یادگیری تقویتی,کنترل عمق,ربات AUV,Under actuated 71 79 http://marine-eng.ir/browse.php?a_code=A-10-1369-6&slc_lang=fa&sid=1 ali hasanvand علی حسنوند ali.hassanvand@yahoo.com 10031947532846006137 10031947532846006137 Yes Postdoctoral پسا دکتری دانشگاه شریف Mohammad Saeed Seif محمد سعید سیف seif@sharif.edu 10031947532846006138 10031947532846006138 No professor, sharif university of technology استاد دانشگاه شریف