Google現在於Gboard全面採用聯合學習和差分隱私技術,保護用戶打字預測模型隱私,並且應用先進演算法以及擴增參與模型訓練的裝置數量,來強化差分隱私的強度
文/李建興 | 2024-02-28發表
Google行動虛擬鍵盤應用程式Gboard中的所有下一個單字預測(Next Word Prediction,NWP)的神經網路語言模型,現在均採用聯合學習(Federated Learning,FL),並且提供差分隱私保證。另外,Google還進一步使用先進的演算法和增加參與模型訓練手機數量,來達到更高的隱私標準。
Google從2017年以來,開始研究以聯合學習私密訓練Gboard語言模型,並在2022年正式應用差分隱私。聯合學習允許行動裝置在不共用資料的情況下協作訓練模型,而差分隱私則是提供資料匿名的可量化衡量標準。
目前超過30多個Gboard裝置上語言模型,已經在超過7種語言和15個以上的國家中推出,並且具有差分隱私保證,Google提到,這是目前已知最大的用戶等級差分隱私部署,並且針對直接使用用戶資料訓練的模型提供差分隱私保證。
Google向Gboard用戶提供資料使用相關資料,包括資料的使用目的、處理方式,並讓用戶可以簡單配置學習模型的資料使用。聯合學習只會聚合有助於特定模型改進的更新,來最小化資料使用量,而且Google所採用的安全聚合(SecAgg)加密方法,進一步保證聯合學習只能存取臨時更新的聚合結果,確保只有合併後的更新資訊會被用於改進模型,且不會使用任意個別用戶的資料。伺服器也應用差分隱私,來防止模型記住單一使用者訓練資料中的獨特資料。
Gboard中所有打字預測模型都具差分隱私保證,代表著在使用用戶打字資料改善預測準確度的同時,也就能確保個人資料的匿名和安全。在聯合學習中,Gooogle透過使用多語言C4資料集預訓練模型,並在公共資料集中進行實驗模擬,找出一個最佳的雜訊比,使模型能夠有效運作卻又不會洩漏個人資料。在限制用戶於一定時間內只能貢獻模型一次,將有助於提升隱私,並且限制每次更新對模型的影響程度。
而在運用差分隱私保護用戶打字隱私的同時,Google也持續改進差分隱私,將模型隱私保護強度提高至新的層級,特別是在巴西的葡萄牙語和拉丁美洲的西班牙語模型,官方提到,透過使用先進的MF-DP-FTRL演算法,並讓每輪參與伺服器模型更新的裝置增加至12,000個,就能達到更強的隱私保證。
Google對聯合學習與差分隱私的研究,證實透過客戶端的參與度和系統演算法設計,實作差分隱私是可行的方法。當人群規模龐大且匯集大量裝置的貢獻時,隱私和效果都可達到較高的水準。而隱私審查結果證明了,即便是差分隱私最壞的情況發生,實際上其所提供的保護仍高於預期。
目前Google正在研究機器學習相關的所有隱私方法,並且擴展差分隱私技術,使其可用於分散式系統,同時Google也在增加系統的可稽核性和可驗證性。
網頁設計.RWD響應式網站.行動版網站.企業形象網站 / 電子工業類
網站技術:PHP . Javascript
電線電纜的應用廣泛,像是居家、辦公室的線路配置都會使用的。比較重要的應用有消防系統、室內消防設備、火災警報系統...等等。 本公司官網主要是單純的產品介紹與業務說明,畫面排版與設計比較簡約,明亮。
Line OA / 購物網站類
網站技術:PHP . Javascript/MySql
玩具"反"斗城現在也有LINE官方帳號/聊天室,大/小朋友與迷你朋友都喜歡反斗城的玩具!! 對爸媽來說買玩具也是需要精打細算,可以利用LINE官方帳號的優惠來到反斗城撿便宜喔。
網頁設計.RWD響應式網站 / 教育人文類
網站技術:PHP . Javascript/MySql
青林是專門販售0~12歲以上各年齡書籍的線上書城,每本書籍都是精心挑選才會在網站上進行販售,確保孩子們可以安心閱讀與學習。 網站上會舉行線上書展或是特價活動,或是邀請畫冊、故事書作家來做分享新書。
電話:(02)2739-9096 | 傳真:(02)2739-6637 | 客服:[email protected] | 臺北市信義區和平東路3段257號6樓map
© 2019 傑立資訊 All rights reserved.| 網站隱私政策