5 月 27 日消息，安全公司 Legit Security 發(fā)文，披露 GitLab 的 AI 助手 GitLab Duo 存在一項提示詞注入漏洞，黑客可以通過嵌入提示（prompt injection）的方式，讓 GitLab Duo 輸出任何黑客想要實現(xiàn)的內容。

據(jù)介紹，GitLab Duo 是一款基于 Anthropic 開發(fā)的大語言模型 Claude 構建的 AI 助手，于 2023 年 6 月推出，2024 年 4 月又新增了 Duo Chat 聊天機器人功能，讓用戶能夠通過自然語言與之交互。這款助手可為開發(fā)者提供代碼建議、代碼審核、分析合并請求等功能。

Legit Security 報告獲悉，該公司在 GitLab Duo 中發(fā)現(xiàn)了一處遠程提示注入漏洞，黑客可以在 GitLab 項目中提前埋入惡意提示信息，為了躲避安全系統(tǒng)的檢測，研究人員采用了 Unicode 夾帶（Unicode Smuggling）、Base16 編碼、KaTeX 渲染等手法，使這些提示內容不會直接出現(xiàn)在網站上被用戶察覺，但 Duo 在生成建議時依然會讀取到。

安全公司指出，相應提示內容可篡改 Duo 生成的代碼建議（例如指示 AI 在輸出中加入惡意 JavaScript 包）、在 Duo 回應中嵌入惡意鏈接，或讓 Duo 錯誤地認為惡意合并請求是安全的，從而達成黑客各種特殊目的。

目前，相應公司已于今年 2 月將這一問題通報給 GitLab，GitLab 隨后確認漏洞并完成了修復。