RoboCup 仿真比賽提供了一個完全分布式控制、實(shí)時異步多智能體的環(huán)境，通過這個平臺，可以測試各種理論、算法和 A－ gent 體系結(jié)構(gòu)，在實(shí)時異步、有噪聲的對抗環(huán)境下，研究多智能體之間的合作和對抗問題。仿真比賽在一個標(biāo)準(zhǔn)的計算機(jī)環(huán)境內(nèi)進(jìn)行，采用 Client/Server 方式，參賽隊(duì)伍編寫各自的客戶端程序，模擬實(shí)際足球隊(duì)員進(jìn)行比賽。在 RoboCup 足球機(jī)器人仿真中使用強(qiáng)化學(xué)習(xí)算法必須克服幾個問題，如：多維連續(xù)的狀態(tài)空間、噪聲的影響、多智能體以及需要實(shí)時的動作。在過去的一段時間內(nèi)，機(jī)器學(xué)習(xí)已經(jīng)被應(yīng)用在 RoboCup 的許多的子任務(wù)中。本文提出了將 SARSA 算法應(yīng)用在多智能體（4V3）的帶球的任務(wù)中，經(jīng)過一段時間的學(xué)習(xí)之后， 取得了理想的效果。

　　強(qiáng)化學(xué)習(xí)也叫激勵學(xué)習(xí)、評價學(xué)習(xí)，它是智能體不斷的試探和學(xué)習(xí)的過程，通過這種試探來使系統(tǒng)行為從環(huán)境中獲得的累積獎賞值最大。其基本的模型如圖 1 所示。在強(qiáng)化學(xué)習(xí)中，設(shè)計算法的原則就是把外界環(huán)境轉(zhuǎn)化為最大獎勵量的方式的動作。智能體并沒有被告訴要做什么或者采取哪個動作，而是通過看哪個動作得到了最多的獎勵來自己發(fā)現(xiàn)。智能體的動作的影響不只是立即得到的獎勵，而且還影響接下來的動作和最終的獎勵。在強(qiáng)化學(xué)習(xí)中，環(huán)境處于狀態(tài)集合 S 中的某一狀態(tài) s，Agent 選擇動作集合 A 中的一個動作 a， 動作 a 作用于環(huán)境后會接收到一個即時獎賞 r，若 r 大于 0，則智能體以后產(chǎn)生這個動作的趨勢就會加強(qiáng);反之，智能體產(chǎn)生這個動作的趨勢就會減弱。在學(xué)習(xí)系統(tǒng)的控制行為與環(huán)境反饋的狀態(tài)及評價的反復(fù)的相互作用中，以學(xué)習(xí)的方式不斷修改從狀態(tài)到動作的映射策略，以達(dá)到優(yōu)化系統(tǒng)性能目的。