內(nèi)部既想守住透明度承諾，又想留住用戶。調(diào)查顯示，近1/3的用戶會因?yàn)榉醋鞅准夹g(shù)而減少使用。
OpenAIChatGPT
OpenAI員工擔(dān)心水印可通過簡單技術(shù)被刪除，比如把文本翻譯成另一種語言再轉(zhuǎn)換回來，或者讓ChatGPT在文本中添加表情符號，然后手動刪除表情。決定誰可以使用水印檢測器又是一個挑戰(zhàn)。
OpenAI開發(fā)反作弊工具，用AI寫論文可被檢測。
OpenAI開發(fā)了一種檢測某人何時使用ChatGPT撰寫論文的工具，不過由于在透明度承諾和留住用戶之間搖擺不定，OpenAI尚未發(fā)布該工具。
據(jù)《華爾街日報》當(dāng)?shù)貢r間8月4日報道，反作弊項(xiàng)目在OpenAI內(nèi)部爭論了大約兩年，準(zhǔn)備發(fā)布的時間就有大約為一年。 OpenAI首席執(zhí)行官山姆奧特曼（Sam Altman）和首席技術(shù)官米拉穆拉蒂（Mira Murati）都參與了反作弊工具的討論。知情人士說，奧特曼鼓勵這個項(xiàng)目，但沒有推動發(fā)布。
OpenAI內(nèi)部在透明度承諾和留住用戶之間搖擺不定，它對ChatGPT用戶開展的一項(xiàng)調(diào)查發(fā)現(xiàn)，近1/3的用戶會因?yàn)榉醋鞅准夹g(shù)而關(guān)閉服務(wù)，這些受訪者表示，如果ChatGPT使用反作弊技術(shù)而競爭對手沒有，他們會減少使用ChatGPT。
OpenAI發(fā)言人表示，公司擔(dān)心該工具可能會對非英語母語者等群體產(chǎn)生不成比例的影響。“我們正在開發(fā)的文本水印方法在技術(shù)上很有前景，但在研究替代方案時我們正在權(quán)衡重要的風(fēng)險。”而支持該工具發(fā)布的員工則在公司內(nèi)部表示，與這種技術(shù)可能帶來的好處相比，這些爭論顯得蒼白無力。
ChatGPT可以預(yù)測句子中接下來會出現(xiàn)的token，OpenAI的反作弊工具將略微改變token的選擇方式，這些變化會留下水櫻這些水印對人眼來說是不明顯的，但可以被OpenAI的檢測技術(shù)發(fā)現(xiàn)。根據(jù)內(nèi)部文件，當(dāng)ChatGPT創(chuàng)建足夠多的新文本時，水印的有效性為99.9%。OpenAI今年早些時候進(jìn)行的一項(xiàng)測試發(fā)現(xiàn)，水印技術(shù)不會影響ChatGPT的性能。
但一位熟悉此事的OpenAI員工表示，員工們擔(dān)心水印可通過簡單的技術(shù)被刪除，比如把文本翻譯成另一種語言然后再轉(zhuǎn)換回來，或者讓ChatGPT在文本中添加表情符號，然后手動刪除表情。
OpenAI內(nèi)部普遍認(rèn)為，決定誰可以使用這種檢測器又是一個挑戰(zhàn)。如果擁有權(quán)限的人太少，這個工具就沒有用處。如果太多人擁有權(quán)限，水印技術(shù)就可能被破譯。OpenAI的員工已經(jīng)討論過直接向教育工作者或外部公司提供檢測器，幫助學(xué)校識別人工智能撰寫的論文和抄襲作品。
關(guān)于水印工具的討論始于OpenAI在2022年11月推出ChatGPT之前。2023年1月，OpenAI發(fā)布了一種算法，旨在檢測人工智能模型編寫的文本。但當(dāng)時的成功率只有26%，7個月后OpenAI取消了它。據(jù)《華爾街日報》報道，實(shí)際上，外部公司和研究人員也在開發(fā)其他工具來檢測由人工智能創(chuàng)建的文本，有教師已經(jīng)使用了這些工具，但有時無法檢測到高級大模型編寫的文本，有時也會產(chǎn)生誤報。
