整理 | 鄭麗媛出品 | CSDN（ID：CSDNnews）現(xiàn)如今，Google Bard、GitHub Copilot 等工具逐漸成為開發(fā)者日常工作的助手然而，這些工具帶來的并非全都是積極影響：它們在幫助開發(fā)者提高效率的同時，也制造了大量“垃圾報告”，對開源項目的維護者造成了巨大困擾。
近日，Python 基金會的安全開發(fā)人員 Seth Larson 在博客中公開呼吁：報告漏洞時不要再依賴 AI 工具了，既不可信也浪費大家的時間！
（CSDN 付費下載自視覺中國）
由 AI 編寫的垃圾報告，淹沒了項目維護者“最近，我注意到開源項目中出現(xiàn)了大量低質(zhì)量、類似垃圾內(nèi)容的 AI 生成安全報告。”Larson 在博文中寫道，今年年初 Curl 項目中也發(fā)現(xiàn)了類似問題。他指出，這些報告乍看之下似乎挺靠譜，實際上卻需要開發(fā)者花費大量時間來駁回其無效性 。
Larso 所說的 Curl 項目中的“類似問題”，其實在今年 1 月 Curl 項目作者 Daniel Stenberg 也曾發(fā)文提過。具體來說，Curl 是一款廣泛使用的開源工具，負責數(shù)據(jù)傳輸功能，其漏洞賞金計劃激勵了大量安全研究者提交漏洞報告。然而，根據(jù) Stenberg 的數(shù)據(jù)分析，自項目啟動以來，他們共收到 415 份漏洞報告，其中只有 64 個被確認為實際存在的安全 Bug，有 77 個被認為是具有信息價值的普通 Bug，而其余近 66% 的報告都是無效的。
“我們不得不投入大量時間來驗證這些無效報告，這不僅浪費了開發(fā)資源，更讓真正的優(yōu)先任務(wù)被推遲。”Stenberg 寫道，“AI 生成的漏洞報告乍看之下非常詳細，但本質(zhì)上就是‘高質(zhì)量的垃圾’。”
為此，Stenberg 列舉了兩個典型案例，并指出“AI 模型在生成報告時的語言流暢性讓這些報告看起來更具可信度，這無疑增加了驗證工作量�！�
（1）案例一：Google Bard 制造的“漏洞”
一份報告聲稱發(fā)現(xiàn)了 Curl 的 CVE-2023-38545 漏洞。然而，在實際漏洞披露前，Stenberg 通過分析發(fā)現(xiàn)，該報告將舊漏洞的部分細節(jié)拼湊在一起，生成了一個看似合理卻完全虛假的新漏洞。他在 HackerOne 論壇上澄清，這份報告完全沒有依據(jù)。
（2）案例二：不存在的緩沖區(qū)溢出漏洞
還有一位用戶提交了一份關(guān)于 WebSocket 處理中的緩沖區(qū)溢出的報告。經(jīng)過 Stenberg 的反復(fù)追問，對方提供的回復(fù)含糊其辭且漏洞百出。最終他得出結(jié)論，這份報告可能是由 AI 工具生成的，因為其回答中包含典型的“AI 幻覺”特征，即把不相關(guān)的信息錯誤地拼湊在一起，試圖制造可信的內(nèi)容。
維護者意識不到這些報告是 AI 生成的，浪費了大量時間
然而，Stenberg 在年頭公開斥責的這個問題，直到最近仍在與提交類似“AI 垃圾”報告的用戶爭論不休12 月 8 日，他在漏洞報告回復(fù)中憤怒回應(yīng)：
“我們總是定期收到這種 AI 生成的垃圾內(nèi)容，這些內(nèi)容的大量涌入給 Curl 項目維護者增加了不必要的負擔。我對此絕不輕視，并決心迅速采取行動加以應(yīng)對。
你提交了一份顯然是 AI 生成的‘漏洞報告’，聲稱其存在安全問題，我猜可能是某個 AI 讓你信以為真了。接著，你又浪費我們的時間，不僅未主動表明這份報告由 AI 生成，還繼續(xù)提供了更多‘垃圾’回復(fù)這些似乎也是 AI 寫的�！�
面對這種情況，Larson 也深感頭疼：“我最擔心的是，那些孤軍奮戰(zhàn)的維護者可能意識不到這些報告是 AI 生成的，而是在浪費大量時間后才發(fā)現(xiàn)都是無效報告……開源項目維護者的時間非常寶貴，而這些無意義的消耗會直接導致他們心力交瘁，甚至離開�！�
為了應(yīng)對這種局面，Larson 提出了一些改進措施。首先，他希望開源社區(qū)能夠認識到這一問題的重要性，并采取行動預(yù)防潛在危害�！拔也幌胝f‘更多的技術(shù)’將是解決問題的辦法，”他說，“但我認為開源安全需要一些根本性的改變。它不能總是落在少數(shù)維護者身上來做這項工作，我們需要讓這類開源貢獻更加規(guī)范化和透明化�！�
此外，Larson 提到資金支持也是一個解決方案，例如他自己就是通過 Alpha-Omega 項目獲得的資助，另外企業(yè)捐贈的員工時間參與開源項目也是一種可行的方式。
在開源社區(qū)探索應(yīng)對方案的同時，Larson 也呼吁漏洞報告者不要提交未經(jīng)人工核實的報告，并且停止使用 AI 工具，因為“目前這些系統(tǒng)無法理解代碼”。他還敦促負責接收漏洞報告的平臺采取措施，限制自動生成或濫用的安全報告。
AI 技術(shù)本身并無罪，關(guān)鍵在于使用者
雖然 AI 工具的濫用在某些場景下引發(fā)了問題，但安全公司 Socket 的 CEO Feross Aboukhadijeh 也指出，AI 工具在檢測開源生態(tài)系統(tǒng)中的惡意軟件包方面表現(xiàn)出色。
例如，通過將 LLM 與人工審核相結(jié)合，Socket 能有效識別 JavaScript、Python 和 Go 等生態(tài)中的惡意軟件包：在沒有人工介入的情況下，AI 模型的誤報率高達 67%，但經(jīng)過人工審核后，這一比例降至 1%。
基于此 Socket 每周能檢測約 400 個惡意軟件包，大幅提高了檢測效率�！癆I 并非萬能工具，將其與人工結(jié)合才能最大程度減少誤報，并實現(xiàn)真正的效能提升�！盇boukhadijeh 強調(diào)。
誠然，AI 技術(shù)本身并無罪，關(guān)鍵在于使用者的方法態(tài)度。因此對于 Seth Larson 和 Daniel Stenberg 所揭示的安全漏洞報告現(xiàn)狀，許多網(wǎng)友也都在斥責這種無腦依賴 AI 的行為：
●“我們的現(xiàn)代數(shù)字基礎(chǔ)設(shè)施，完全依賴于一群志愿者無償來維護這些項目，但一些依賴 AI 的腦殘們卻在浪費他們的時間�！�
●“那個 Curl 報告看著真讓人生氣，明明就是 100% 由 AI 生成的東西，還敢大言不慚地對項目維護者施壓�！�
參考鏈接：
https://www.theregister.com/2024/12/10/ai_slop_bug_reports/
https://www.reddit.com/r/technology/comments/1hb7c9b/open_source_maintainers_are_drowning_in_junk_bug/
