資料內(nèi)容：

（一）Q - learning 核心原理
Q - learning 是一種基于值函數(shù)的強化學(xué)習(xí)算法 ，在強化學(xué)習(xí)領(lǐng)域占據(jù)著舉足輕重的地位，是理解和
掌握其他復(fù)雜強化學(xué)習(xí)算法的基礎(chǔ)。它的核心是學(xué)習(xí)一個動作價值函數(shù) Q (s, a)，這個函數(shù)表示在狀態(tài)
 s 下采取動作 a 后，智能體所能獲得的期望累積獎勵。Q 值代表了在給定狀態(tài)下采取該動作的長期價值
，智能體的目標(biāo)就是通過不斷學(xué)習(xí)，找到每個狀態(tài)下 Q 值最大的動作，從而形成最優(yōu)策略。
Q - learning 的更新過程基于貝爾曼方程（Bellman Equation），其更新公式如下：
Q(s,a) \leftarrow Q(s,a) + \alpha [r + \gamma \max_{a'} Q(s',a') - Q(s,a)]
在這個公式中：
? \alpha 是學(xué)習(xí)率（Learning Rate），取值范圍通常在 0 到 1 之間 ，它控制著每次更新 Q 值時學(xué)習(xí)的
步長。如果 \alpha 取值較大，智能體更傾向于學(xué)習(xí)新的經(jīng)驗，對新信息的反應(yīng)迅速，但可能會導(dǎo)致學(xué)
習(xí)過程不穩(wěn)定，容易受到噪聲的影響；若 \alpha 取值較小，Q 值的更新較為緩慢和穩(wěn)定，不過學(xué)習(xí)速
度會變慢，可能需要更多的訓(xùn)練次數(shù)才能收斂 。例如，在一個簡單的迷宮探索任務(wù)中，當(dāng) \alpha = 0.
9 時，智能體在遇到新的路徑時，會迅速調(diào)整 Q 值，快速嘗試新的路線；而當(dāng) \alpha = 0.1 時，智能體
對新路徑的學(xué)習(xí)較為謹慎，更依賴之前積累的經(jīng)驗。
? \gamma 為折扣因子（Discount Factor），同樣取值于 0 到 1 之間，它用于衡量未來獎勵的當(dāng)前價值
，反映了智能體對未來獎勵的重視程度。當(dāng) \gamma 越接近 1 ，表示智能體更看重未來的獎勵，會著
眼于長期利益，追求長遠的最優(yōu)策略；當(dāng) \gamma 越接近 0 ，智能體則更關(guān)注眼前的即時獎勵，更注
重短期的收益。比如在投資決策場景中，若 \gamma = 0.95 ，投資者會更考慮未來資產(chǎn)的增值潛力；
若 \gamma = 0.1 ，投資者可能更關(guān)注當(dāng)下的即時回報。
? r 表示即時獎勵（Immediate Reward），是智能體在執(zhí)行動作 a 后從環(huán)境中獲得的直接反饋，這個獎
勵信號直接反映了當(dāng)前動作的好壞程度。例如在游戲中，成功消滅敵人獲得的積分、完成任務(wù)獲得的
道具等都是即時獎勵。
? s' 代表下一個狀態(tài)（Next State），即智能體執(zhí)行動作 a 后，環(huán)境轉(zhuǎn)移到的新狀態(tài)。
? \max_{a'} Q(s',a') 表示在新狀態(tài) s' 下，所有可能動作中 Q 值的最大值，它代表了智能體在下一狀態(tài)下
預(yù)計能獲得的最大未來回報，體現(xiàn)了智能體對未來最優(yōu)決策的預(yù)期。