因應企業積極導入生成式AI應用的市場需求，F5發展AI閘道產品，提供效能強化與資安防護功能。
文/李宗翰|2025-09-06發表
無庸置疑，生成式AI已躋身當代應用程式主流，作為長期發展應用程式遞送控制器（ADC）產品的F5，去年11月釋出他們開發的AI閘道系統0.1版，希望能在應用程式、API、大型語言模型（LLM）驅動企業AI採用的環境當中，提供加速彼此互動的軟體系統，F5將提供兼具效能最佳化、提升可觀測性，以及多種保護功能的容器化解決方案，期盼能降低使用AI的成本。
在這個版本當中，F5 AI Gateway能將生成式AI流量轉送至適當的後端LLM，並保護這些流量免於常見資安威脅的侵擾，舉例來說，可檢測與過濾LLM的個人端請求與回應，預防惡意輸入的提示進到LLM後端系統，確保LLM的回答能安全送至個人端，以及防禦敏感資訊、以免外洩。
而且，也奠定F5 AI Gateway基本運作架構。例如，系統本身是在Kubernetes容器環境執行的獨立產品，區分為兩大元件：AI Gateway Core、AI Gateway Processors。
所謂的核心，是指專攻生成式AI流量的特製Proxy代理系統，可採用多個AI閘道處理器，實現流量的防護，過程中，可處理發送至某個LLM後端的HTTP或HTTPS請求，像是身分驗證與授權的檢查、個人端請求內容的剖析與基本驗證、修改或拒絕個人端請求等。F5 AI Gateway在此支援多種LLM API，像是OpenAI、Microsoft Azure OpenAI Service、Anthropic，以及Ollama，可在硬碟記錄與儲存每個請求與回應，且能匯出至AWS S3或相容S3的儲存系統服務，也能藉由OpenTelemetry產生與匯出可觀測性資料。
至於處理器，是獨立於核心的動作處理機制，可檢測個人端請求與處理LLM後端的回應，提供修改（像是改寫信用卡卡號）、拒絕（中止請求或回應）、加上註解（例如增添標籤或詮釋資料），實現AI相關的防護機制，F5 AI Gateway在此提供4種處理器，包含：語言編號、提示管制（Prompt enforcement）、提示注入偵測、重複偵測，針對基於AI模型而成的處理器，可提供GPU支援。企業若需要自行建立處理器邏輯，可運用F5 AI Gateway Python SDK開發AI閘道處理器。
在此同時，這套產品也將整合F5既有的產品，經由改善的資料輸出品質與絕佳的使用者體驗，協助企業的資安與IT營運團隊，順利推動AI服務的導入。F5預告，這套AI閘道可部署在任何雲端服務或資料中心，而且將原生整合該公司旗下兩大應用程式平臺：Nginx、Big-IP，期望能在傳統IT、多雲或邊緣環境當中，善用他們發展的應用程式遞送與防護技術，同時，提供開放的擴充能力，使企業能在AI閘道當中，開發與自定可程式化的功能，以及強制控管的機制，而且這些處理機制能輕鬆更新與動態套用，促成快速遵循資安政策與法規要求。
針對強化AI使用體驗的部分，F5 AI Gateway能用來調校內部系統與第三方LLM服務的流量負載平衡、流量路由、流量傳輸率設限，維持服務的可用度與提升效能，也可以執行語意快取，藉此分攤LLM的重複工作，進而強化操作體驗、縮減營運成本。關於降低整合負擔的需求，F5 AI Gateway可提供更順暢的操作方式，使開發者能聚焦AI應用系統的組建，而不必為了管理複雜的IT基礎架構，被迫耗費許多心力研究與實踐，此外，這套系統也提供單一API介面，便於開發者用於存取他們想要存取的AI模型。
在資安與法規政策的遵循與強制方面，F5 AI Gateway提供自動偵測與矯正功能，可防護OWASP組織訂定的十大LLM應用程式風險類型。
到了今年，F5 AI Gateway在2月正式推出1.0版，AI Gateway Core可匯出OpenTelemetry Metrics量測資訊，簡化路由綱要組態設定，AI Gateway Processors的部分，將內建的4種處理器修訂為提示注入、系統提示、語言編號、重複偵測。後續F5 AI Gateway仍不斷發布更新，最新版本是1.2版，當中除了改良兩大元件，也擴充整體套件與細部元件，例如，AI Gateway Helm chart，以及Data Security處理器、Prompt Guard Labs處理器、Topic Detect Labs處理器、Content Guard Labs處理器。
關於F5 AI Gateway在臺灣市場的推廣，F5在去年11月底全國大專院校資訊行政研討會（CCDS），率先介紹相關內容，到了今年，陸續在多場活動發表專題介紹演講，像是4月臺灣資安大會、8月底數位政府高峰會，以及9月初F5 Solution Day 2025 Taipei大會。
產品資訊
F5 AI Gateway 1.2
●原廠：F5
●建議售價：廠商未提供
●產品形式：可移植的微服務架構（Helm Chart），涵蓋Nginx Plus、Big-IP Next LTM、Distributed Cloud App Stack，能在任何Kubernetes環境部署AI應用
●組成元件：核心（路由、服務、政策、設定）、處理器
●相容的公有雲服務：AWS、Azure、Google Cloud
●支援AI模型與相關工具：Anthropic、OpenAI、Ollama
●可觀測性整合技術與系統類型：採用Open Telemetry，而能整合SIEM、SOAR
●核心功能：AI流量安全、資料外洩防護、企業安全架構、AI整合、自定營運方式、強化可觀測性與治理、AI資源耗用最佳化、模型路由
【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】
線