機(jī)器之心報(bào)道
機(jī)器之心編輯部
OpenAI 進(jìn)軍芯片領(lǐng)域，英偉達(dá)自己造聊天機(jī)器人，這是 Sam vs Jensen 的時(shí)代？
下載地址：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
在這波 AI 淘金熱里，英偉達(dá)經(jīng)常被稱(chēng)為那個(gè)「賣(mài)鏟子的人」，而且賣(mài)的是難以替代的鏟子。依靠這個(gè)角色，英偉達(dá)市值已經(jīng)超越亞馬遜，成美股第四大公司，離谷歌市值僅一步之遙。
但值得注意的是，英偉達(dá)本身也在這波 AI 浪潮里淘金。剛剛，他們發(fā)布了一個(gè)對(duì)話(huà)機(jī)器人 「Chat with RTX」，面向 GeForce RTX 30 系列和 40 系列顯卡用戶(hù)（至少有 8GB VRAM）。有人開(kāi)玩笑說(shuō)，Sam Altman 進(jìn)軍芯片領(lǐng)域，黃仁勛進(jìn)入聊天機(jī)器人的領(lǐng)域，這是 Sam vs Jensen 的時(shí)代。
與 ChatGPT 等需要聯(lián)網(wǎng)使用的聊天機(jī)器人不同，Chat with RTX 可以在本地運(yùn)行，幫你檢索、分析保存在電腦上的文件（支持文本、PDF、.doc、.docx 和 .xml 等格式）。比如，你可以問(wèn)它「在拉斯維加斯時(shí)，我的搭檔推薦了哪家餐廳？」Chat with RTX 將掃描你指向的本地文件，并提供帶有上下文的答案。
此外，它還可以幫你分析、總結(jié) Youtube 上的視頻，而且只需要你提供網(wǎng)址�？萍济襟w The Verge 資深編輯 Tom Warren 在試用之后表示，Chat with RTX 在視頻中找參考資料的速度非常快，只需要幾秒就能給答案，不過(guò)有時(shí)也會(huì)出錯(cuò)，找到驢唇不對(duì)馬嘴的視頻文字記錄。
據(jù)悉，Chat with RTX 默認(rèn)使用人工智能初創(chuàng)公司 Mistral 的開(kāi)源模型，但也支持其他基于文本的模型，包括 Meta 的 Llama 2。它會(huì)利用 RTX GPU 上的 Nvidia Tensor core 來(lái)加快查詢(xún)速度。Nvidia 警告說(shuō)，下載所有必要文件會(huì)占用相當(dāng)大的存儲(chǔ)空間 50GB 到 100GB，具體取決于所選模型。
Tom Warren 表示，他的電腦采用英特爾酷睿 i9-14900K 處理器，配備 RTX 4090 GPU，安裝 Chat with RTX 大約花了 30 分鐘。在他系統(tǒng)可用的 64GB 內(nèi)存中，Python 實(shí)例占用了大約 3GB 內(nèi)存。程序運(yùn)行后，他可以通過(guò)瀏覽器訪(fǎng)問(wèn) Chat with RTX，而后臺(tái)運(yùn)行的命令提示符會(huì)顯示正在處理的內(nèi)容和任何錯(cuò)誤代碼。
Tom Warren 還發(fā)現(xiàn)，Chat with RTX 在掃描 PDF 文件和核對(duì)數(shù)據(jù)時(shí)非常有用。微軟自己的 Copilot 系統(tǒng)在 Word 中不能很好地處理 PDF 文件，但 Chat with RTX 聊天系統(tǒng)可以毫無(wú)問(wèn)題地提取出所有關(guān)鍵信息，回復(fù)也近乎即時(shí)，沒(méi)有通常使用基于云的 ChatGPT 或 Copilot 聊天機(jī)器人時(shí)的延遲。
不過(guò)，作為一款早期產(chǎn)品，Chat with RTX 還有很多不完善的地方。
一個(gè)比較大的缺點(diǎn)是，它不能記憶上下文。比如，你問(wèn)「北美常見(jiàn)的鳥(niǎo)類(lèi)是什么？」，然后接著問(wèn)「它是什么顏色？」，它就不知道你是在問(wèn)鳥(niǎo)的顏色。
英偉達(dá)還承認(rèn)，Chat with RTX 回復(fù)的相關(guān)性會(huì)受到一系列因素的影響，其中有些因素比較容易控制，包括問(wèn)題的措辭、所選模型的性能和微調(diào)數(shù)據(jù)集的大校詢(xún)問(wèn)幾份文檔中涉及的事實(shí)可能比詢(xún)問(wèn)一份文檔或一組文檔的摘要得到更好的結(jié)果。英偉達(dá)表示，隨著數(shù)據(jù)集的增大，響應(yīng)質(zhì)量通常也會(huì)提高，將 Chat with RTX 指向有關(guān)特定主題的更多內(nèi)容也是如此。
所以，整體來(lái)看，Chat with RTX 還是一個(gè)初級(jí)的產(chǎn)品，暫時(shí)不太適合用于生產(chǎn)。但它代表了一種趨勢(shì)，即讓 AI 模型更容易地在本地運(yùn)行。
世界經(jīng)濟(jì)論壇在最近的一份報(bào)告中預(yù)測(cè)，能夠離線(xiàn)運(yùn)行生成式 AI 模型的經(jīng)濟(jì)型設(shè)備將「大幅」增長(zhǎng)，其中包括個(gè)人電腦、智能手機(jī)、物聯(lián)網(wǎng)設(shè)備和網(wǎng)絡(luò)設(shè)備。報(bào)告表示，原因在于其明顯的優(yōu)勢(shì)：離線(xiàn)模型不僅在本質(zhì)上更加私密 它們處理的數(shù)據(jù)永遠(yuǎn)不會(huì)離開(kāi)運(yùn)行的設(shè)備，而且與云托管模型相比，它們的延遲更低，成本效益更高。
英偉達(dá)公司創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：「生成式人工智能是計(jì)算史上最重要的一次平臺(tái)轉(zhuǎn)型，它將改變包括游戲在內(nèi)的每一個(gè)行業(yè)。英偉達(dá)擁有超過(guò) 1 億臺(tái) RTX AI PC 和工作站，是開(kāi)發(fā)者和游戲玩家享受生成式人工智能魔力的龐大安裝基�！�
Chat with RTX 技術(shù) demo 由 GitHub 上的 TensorRT-LLM RAG 開(kāi)發(fā)人員參考項(xiàng)目構(gòu)建而成。開(kāi)發(fā)人員可以使用該參考項(xiàng)目為 RTX 開(kāi)發(fā)和部署自己的基于 RAG 的應(yīng)用程序，并通過(guò) TensorRT-LLM 進(jìn)行加速。
項(xiàng)目地址：https://github.com/NVIDIA/trt-llm-rag-windows
參考鏈接：
https://baijiahao.baidu.com/s?id=1790835158166619050&wfr=spider&for=pc
https://techcrunch.com/2024/02/13/nvidias-new-tool-lets-you-run-genai-models-on-a-pc/
https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
