12一15女人a毛片,国产香蕉Aⅴ,午色婷婷,91丨九色丨国产丨PORNY精品

倉儲系統(tǒng)在電子商務高速發(fā)展的今天面臨著巨大挑戰(zhàn)，引入機器人集群代替?zhèn)鹘y(tǒng)人工的智能化倉儲系統(tǒng)成為現(xiàn)代物流發(fā)展的必然趨勢。亞馬遜[1]、?？低?span style="font-size:12px;line-height:0;vertical-align:baseline;">[2]等企業(yè)的相關研究更是帶動了智能倉儲的快速興起。

智能倉儲系統(tǒng)中的安全隱患和運行障礙，主要來自于倉儲物流機器人集群之間的碰撞和死鎖問題，優(yōu)秀的避障方法可以極大地提升系統(tǒng)的可靠性和運行效率。本文利用改進Q-Learning算法進行路徑規(guī)劃，將交通規(guī)則和路徑預約表相結合保證機器人之間無碰撞運行，在路徑規(guī)劃中加入?yún)f(xié)同機制，強化各機器人之間的聯(lián)系，從而在保證安全運行的基礎上構建一個更加靈活、高效的智能倉儲系統(tǒng)。

智能倉儲系統(tǒng)由貨架、機器人和工作臺三部分組成，本文利用文獻[3]的倉庫模型并加以改善，該模型具有靈活、高效等特點。將結構化的倉庫環(huán)境用柵格地圖表示，形成22×48的二維柵格，如圖1所示。將柵格地圖按列，由上到下依次對柵格進行編號，以方便后續(xù)研究。

圖1 智能倉儲系統(tǒng)柵格模型   下載原圖

Fig.1 Grid model of intelligent warehousing system

在智能倉儲系統(tǒng)這樣快速變換的動態(tài)環(huán)境中，由于有多個機器人和貨架的存在，機器人ri在進行物流任務時所規(guī)劃的路徑Pi，會產(chǎn)生兩類碰撞，一類是與貨架等靜態(tài)障礙物的碰撞，另一類是與系統(tǒng)中運行的其他機器人的碰撞。文中，直接將貨架所處的柵格位子在機器人路徑規(guī)劃時設為不可達，以此消除機器人與貨架的碰撞。機器人之間的碰撞則復雜得多，會發(fā)生兩機碰撞、三機碰撞、四機碰撞等多種情況，對系統(tǒng)的安全造成嚴重的威脅。為避免機器人之間的碰撞甚至死鎖的問題，本文在智能倉儲系統(tǒng)中加入交通規(guī)則，規(guī)定每條道路都是單行道，并且道路的方向規(guī)定為圍繞貨架的逆時針方向，如圖2所示，箭頭所指方向即機器人在該道路時運行的方向。機器人根據(jù)交通規(guī)則，每一步選擇上、下、左、右或者原地等待這五個動作中的一個，直至到達任務目標點。

圖2 智能倉儲系統(tǒng)交通規(guī)則設定   下載原圖

Fig.2 Setting of traffic regulation forintelligent storage system

交通規(guī)則的設定，有效地限制了機器人之間碰撞甚至死鎖的發(fā)生，將碰撞類型限定在十字路口碰撞和追尾碰撞之中，如圖3所示。本文采用預約表的辦法來解決這兩種碰撞，預約表的設計將在下文提出。

圖3 交通規(guī)則下的兩種碰撞類型   下載原圖

Fig.3 Two types of collisions under traffic regulations

根據(jù)本文需求，希望m個機器人在無碰撞完成所有任務的情況下所走的總路程最短以及系統(tǒng)運行的總時間（系統(tǒng)中最后一個完成任務的機器人運行的步數(shù)）最短。因此，可將倉儲物流機器人集群協(xié)同路徑規(guī)劃表示為一個典型約束條件下的優(yōu)化問題，其數(shù)學模型如下：

式中：表示機器人ri規(guī)劃的路徑長度，由機器人完成所有分配任務的步數(shù)決定；C1(Pi)與C2(Pi,Pj)分別代表機器人是否與障礙物或其他機器人碰撞，用式（4）和式（5）表示如下：

C1(Pi)={01,,otherμri(x,ywis)e=μlj(x,y)(4)

式中μri(x,y)和μlj(x,y)分別為機器人和貨架所在柵格的坐標（以柵格右下角的坐標為當前柵格坐標）。

式中，Pi?Pj≠?表示機器人ri和rj規(guī)劃的路徑在時間和空間上有交集。

倉儲物流機器人集群在智能倉儲系統(tǒng)中的物流任務分析如下：在智能倉儲系統(tǒng)中有n個未完成的訂單任務T={t1,t2,…,tn}，每一個任務對應貨架L={l1,l2,…,le}（e為貨架個數(shù)）中的一個，將這些訂單任務分為m組K=(K1,K2,…,Km)。文獻[4,5,6,7,8]詳細介紹了多種任務分配方法，由于本文主要研究機器人集群的路徑規(guī)劃問題，因此在任務分配上直接采用文獻[8]的基于遺傳算法的多機器人任務分配方法。m個機器人R={r1,r2,…,rm}，根據(jù)任務分配方法得到對應的一組任務，每個機器人根據(jù)自己得到訂單任務的不同位置依次進行路徑規(guī)劃，通過上、下、左、右或者原地等待這5個動作，從當前位置一步步移動到任務對應貨架，取得貨物后移送到指定工作臺S={s1,s2,…,sv}（v為工作臺的數(shù)量）進行相應處理，依次循環(huán)直至完成所有被分到的任務。

針對圖3所示的兩類碰撞問題，系統(tǒng)通過查閱預約表的相關信息，對將會發(fā)生碰撞的機器人當前狀態(tài)進行判定，再根據(jù)避讓規(guī)則安排相關機器人進行避讓。十字路口型碰撞，采用分權重的方式進行避讓，權重由路徑規(guī)劃算法形成的機器人完成所有任務的路徑長度（即機器人運行總步數(shù)）決定，路徑長度越長則權重越大，在十字路口處就享有優(yōu)先通過權，如果權重相同則隨機選擇通過。追尾型碰撞則采取先來后到的原則進行避讓，后占用柵格的機器人必須等先占用該柵格的機器人離開后才能占用該柵格。預約表通過路徑規(guī)劃算法形成，記錄機器人集群中每個機器人單獨運行時的完整路徑以及每一步占用柵格的情況，包含了所有機器人完成所有任務的位置、時間信息。機器人可以通過查詢預約表來獲取當前柵格的占用情況以及機器人權重的大小，從而決定機器人下一步動作的選擇。預約表是一個以機器人數(shù)量為行數(shù)，以系統(tǒng)中所有機器人中運行路徑最長的機器人運行的總步數(shù)為列數(shù)的矩陣，針對預約表中每個機器人規(guī)劃的路徑長度不同的情況，則統(tǒng)一采用“0”補齊，如圖4所示。

圖4 預約表設計   下載原圖

Fig.4 Design of reservation table

目前流行的機器人路徑規(guī)劃算法主要有A*算法[9]、D*算法[10]以及強化學習Q-Learning算法[11]等。A*僅適用于可控的已知環(huán)境，并且在高度動態(tài)的環(huán)境容易形成死鎖；D*算法尋找全局最優(yōu)的能力較差；Q-Learning算法原理簡單，在線適應性強以及未知環(huán)境下?lián)碛袕姶蟮淖灾鲗W習能力，在智能控制、機器人等領域受到廣泛的運用。本文采用改進的Q-Learning算法結合設計的協(xié)同機制來進行機器人集群的協(xié)同路徑規(guī)劃，算法結構如圖5所示。

圖5 算法結構   下載原圖

Fig.5 Algorithm structure

在Q-Learning中，獎懲函數(shù)是判斷智能機器人運行好壞的重要指標，一般的獎勵函數(shù)只是在機器人到達目標時給予相應瞬時獎勵R1，本文在此基礎上增設向目標點靠近動作的獎勵R2，其計算公式為：

式中，Δd為機器人當前狀態(tài)柵格S1（坐標為(xs1,ys1)）和前一狀態(tài)柵格S0（坐標為(xs0,ys0)）與終點柵格S（坐標為(xs,ys)）的直線距離的差，其公式為：

為了讓機器人盡快走向終點，機器人每走一步都將得到-1的獎勵值。綜上，本文的獎懲函數(shù)計算公式如下：

為了防止算法陷入局部最優(yōu)，增加全局尋優(yōu)的能力，本文在動作選擇策略上增設貪婪度參數(shù)ε，比如ε=0.9時，就說明有90%的情況智能機器人會按照表的最大值選擇行為，10%的情況使用隨機選行為，該策略在實際仿真中有效提高了算法尋優(yōu)的最優(yōu)性。

本文協(xié)同機制設定為，根據(jù)當前預約表的情況，將當前預約表中規(guī)劃路徑最長和最短的機器人ri,rj進行配對，根據(jù)查詢預約表信息獲取rj完成所有物流任務時ri正在執(zhí)行的物流任務，將ri的后一個物流任務交給rj去執(zhí)行，根據(jù)路徑規(guī)劃算法規(guī)劃任務重新分配后的兩個機器人的新的路徑，并更新預約表。以此方法進行循環(huán)，讓當前預約表中路徑最短的機器人去代替路徑最長的機器人完成它的下一個任務，從而彌補了任務分配的不完善，減少機器人無任務待機狀態(tài)，提升協(xié)同度，最終達到縮短系統(tǒng)運行總時間的目的。

為驗證算法有效性，將本文設計的協(xié)同路徑規(guī)劃算法（簡稱算法1）和普通的基于交通規(guī)則和預約表的Q-Learning算法（簡稱算法2）在圖1提出的智能倉儲系統(tǒng)中進行比較。通過硬件配置為Inter?CoreTMi7-2600電腦上的Matlab 2017a對其進行仿真實驗。仿真實驗分為兩部分：

1）對比相同數(shù)量機器人執(zhí)行不同任務數(shù)量的情況，機器人數(shù)量為12，任務數(shù)量依次為50,100,150,200,250;

2）比較相同任務數(shù)量由不同數(shù)量機器人執(zhí)行情況，任務數(shù)量設定為250，機器人數(shù)量分別設定為6,12,24。

圖6為不同路勁規(guī)劃算法對12個機器人完成不同數(shù)量任務所花費的系統(tǒng)總時間。由圖6可知，在機器人數(shù)量一定時，隨著任務數(shù)量的不斷提高，系統(tǒng)運行的總時間也不斷提高。相較于算法2，算法1能有效減少系統(tǒng)運行的總時間，這是因為算法1的協(xié)同機制彌補了原先任務分配時的不足，減少了機器人完成任務后的空閑狀態(tài)，避免資源的浪費，讓各機器人之間的工作量更加平衡，隨著任務數(shù)量的增加，協(xié)同機制的效果也就越明顯。

圖6 機器人執(zhí)行不同任務數(shù)量的系統(tǒng)時間   下載原圖

Fig.6 System time of different tasks performed by robot

圖7為不同路徑規(guī)劃算法對不同機器人完成250個任務所花費的系統(tǒng)總時間。由圖可知，在任務數(shù)量一定的情況下，機器人的數(shù)量越多，系統(tǒng)運行的總時間越少。相較于算法2，算法1仍然有效地減少了系統(tǒng)總的運行時間。隨著機器人的數(shù)量增多，系統(tǒng)運行時間下降的趨勢逐漸變緩，這是由于機器人越多，每個機器人分到的任務就越少。從宏觀上看，各機器人之間完成所分配任務的總工作量差別就逐漸縮小，即機器人之間的工作量越平衡，協(xié)同機制產(chǎn)生的效果也就逐漸變小。

圖7 不同數(shù)量機器人執(zhí)行任務的系統(tǒng)時間   下載原圖

Fig.7 System time for exceuting tasks of different number of robots

從圖6、圖7中可以看出，算法1所花費的系統(tǒng)運行時間都呈線性，顯示了算法良好的性能。

本文創(chuàng)新地提出一種倉儲物流機器人集群避障及協(xié)同路徑規(guī)劃方法，完成了如下工作：在智能倉儲系統(tǒng)中指定交通規(guī)則并設計相應路徑預約表，防止機器人之間的碰撞及系統(tǒng)死鎖；改進Q-Learning算法的獎懲函數(shù)，增設趨近目標點的獎勵，加速算法的收斂；在路徑規(guī)劃中設計了相應的協(xié)同機制，增加各機器人之間的聯(lián)系，減少機器人無任務可做的空閑狀態(tài)，從而有效降低了系統(tǒng)運行的總時間。