[轉載] 研究人員以強化學習破解reCaptcha v3

reCAPTCHA是個可自動化辨識機器與人類的圖靈測試系統，第一個版本（reCAPTCHA v1）是藉由要求使用者輸入扭曲的文字進行辨識，但已被研究人員以基於機器學習技術的系統所破解，由機器人曚混過關的比例可高達98%；reCAPTCHA v2則是進一步加入影像與聲音的辨識，亦被基於深度學習（Deep Learning，DL）的unCAPTCHA所破解。

這次研究人員則採用了強化學習技術來擊敗reCAPTCHA v3。reCAPTCHA v3利用一個0到10分的評分系統，來判斷網站的訪客是人還是機器人，愈趨近於0分就愈像機器人，愈靠近10分就愈可能是人類。

研究人員透過強化學習公式來破解reCAPTCHA v3：首先提出一個看似合理的問題形式，作為可被先進RL演算法解決的馬可夫決策過程（Markov Decision Process，MDP），繼之導入一個新環境與reCAPTCHA v3進行互動，再藉由分析RL代理人所學到或失敗的教訓，來破解reCAPTCHA v3。

實驗顯示此一RL代理人通過reCAPTCHA v3測試的比例高達97.4%，而這也是第一個利用強化學習來擊敗reCAPTCHA v3的研究。

研究人員還發現，當使用連結Google帳號的瀏覽器來執行reCAPTCHA v3測試時，所得的分數會高於未連結Google帳號的瀏覽器，再加上reCAPTCHA v3偵測了用戶在網頁上的行為，有侵犯用戶隱私之嫌。

根據Built With的統計，現階段全球約有66萬個網站使用reCAPTCHA v3，若計算所有的版本，已有450萬個網站使用reCAPTCHA，在最受歡迎的前1萬個網站中，就有25%使用reCAPTCHA。