人工智慧 (AI) 模型本質上是一個資料吞噬者。它透過網路上提供的數十億資訊進行訓練,在許多情況下還使用使用者自己直接輸入的內容進行訓練。這種持續的互動意味著每次您與人工智慧交談時,模型都會更多地了解人們如何溝通,尤其是您。簡單的互動行為已經成為許多人忽略的暴露行為。.
“「人們通常沒有意識到,在向LLM(大語言模型)發送訊息時,他們正在將資料暴露在一個不區分敏感內容和普通內容的環境。許多用戶複製程式碼、合約、內部記錄或個人數據,相信是在私人空間中,但該模型僅處理其接收到的內容,提供者可以將這些資料保留給自己,用於學習人工智慧,以及用於審計和安全的技術記錄,apura 特警隊副協調員兼專家Pollyne Zunino 警告說網路犯罪調查、電子詐欺和數位情報。.
Apura 團隊的調查揭示了一個我們沒有看到且越來越常見的陷阱:將敏感資訊無辜地傳遞到並非用於儲存它們的系統。.
以及說明風險的真實案例。最常見的情況之一是開發人員發送程式碼片段進行最佳化,但沒有註意到他們留下了嵌入式存取令牌、內部 URL 或臨時憑證。即使模型有效回應,損害也已經造成,即機密資料被傳輸、處理並可能記錄在平台的日誌中。而且,由於該資訊用於學習人工智慧,因此它最終可以成為同一法學碩士服務的其他用戶回應的一部分。無論是代幣、CPF、合約件或策略用戶,邏輯都是一樣的:進入模型的東西並不能控制人工智慧,也不能控制人工智慧。.
在公司中,情況更為關鍵。員工易於使用以及自發性和無序地採用人工智慧工具創造了一個環境 影子人工智慧, ,一個平行的、看不見的生態系統,企業資料在旨在保存它的保護層之外循環。.
客戶資訊、專有程式碼、策略計劃、機密合約和關鍵資產 - 一切都可以複製、貼上並發送到外部平台,無需任何風險評估。.
未經批准的工具打開了 DLP、SIEM 和 EDR 等傳統網路防禦系統未注意到的漏洞,將外部人工智慧模型變成了潛在的洩漏管道。.
“zunino 解釋說:「OpenAI、Google 和 Anthropic 等提供者都有隱私權政策,限制個人資料的使用並區分 API 和 Web 介面的處理方式。」通常,表示他們不使用 API 發送的資料來訓練模型,儘管他們可能會保留操作資訊以確保安全。.
已經在宇宙裡了 开源 ^ 一組軟體、工具、系統和社區,其原始程式碼是開放的,任何人都可以查看、修改、增強和分發,並且 OO 保護完全取決於託管和操作該模型的人。.
Apura 指出,網路犯罪分子非常關注這些事實。Apura Cyber Intelligence 專家解釋說,「如今,專門小組利用一切手段,從企業模型中的配置失敗到日誌、儲存庫和內部實例中的無意洩露」。.
技術例如 模型反演, 成員資格推論 和 及時注射 它們允許您提取敏感模式、重新識別用戶、操縱模型行為並重建最初敏感的資料。 “換句話說,罪犯不再需要入侵網路”。他只需要存取人工智慧提示洩漏的內容,波琳強調。.
如何保護自己
專家強調:「IA 不是你的日記。這不是您的相關記者機密電子郵件信箱。在貼上任何內容之前,問題應該是:如果洩露了,我會安靜嗎?」。.
主要指導方針包括:
切勿輸入敏感的個人或公司資料;
嚴格遵守內部網路安全政策;
優先考慮貴公司技術和安全團隊批准的人工智慧工具;
採用本地模式和在公司自己的基礎設施內運作的自治代理。.
“本地”LLM 消除向第三方發送的數據,並促進遵守 LGPD 和 GDPR 等隱私法。此外,它們還可以透過獨立瀏覽器實現高級自動化、資料擷取和報告,而不會損害隱私,」他解釋道。.
Apura 是網路威脅情報 (CTI) 中的參考資料,它一直在密切關注該風險生態系統的演變,並繪製犯罪分子如何在攻擊的每個階段納入人工智慧。.
“「我們監控開源、社區和基礎設施,犯罪分子在這些地方共享洩漏的企業提示、敏感工件和利用新技術」模型,pollyne Zunino 說。”這項工作可以識別意外暴露,以及惡意團體如何使用人工智慧來自動化社會工程、漏洞掃描和其他漏洞利用, 魚叉式網路釣魚 並產生更複雜的惡意工件」。.
專家最後說:「人工智慧一直在學習,如果你不注意,它可以學到的東西比應有的多得多“
