AI 內容審核突破:Moonbounce 獲得 1,200 萬美元融資,打造即時安全防護機制

BitcoinWorld

AI 內容審核突破：Moonbounce 獲得 1,200 萬美元資金以建立即時安全防護機制

為了應對日益嚴峻的網路安全危機，專注於即時 AI 內容審核的新創公司 Moonbounce 獨家向 Bitcoin World 披露了一輪 1,200 萬美元的融資。這筆由 Amplify Partners 和 StepStone Group 共同領投的投資，將推動該公司將靜態政策文件轉化為可執行程式碼的使命，為使用者生成內容和 AI 創建內容創建即時安全層。因此，這筆融資是在平台因備受矚目的審核失敗而面臨日益增加的法律和聲譽壓力之際到來的。

Moonbounce 的 AI 內容審核解決方案

Moonbounce 的核心創新是其「政策即程式碼」方法。該公司訓練專有的大型語言模型（LLM）來理解客戶撰寫的安全政策。隨後，該系統在內容生成的精確時刻進行評估——無論是來自真人使用者還是 AI 聊天機器人。它在 300 毫秒內提供執行決策。因此，從被動的、延遲的人工審查轉向主動的、即時的機器執行，代表著數位信任和安全基礎設施的根本性變革。

該系統根據客戶需求提供靈活的執行操作。例如，它可以：

• 即時封鎖高風險內容，在任何使用者看到之前。
• 減緩分發邊緣內容，將其排入佇列以供稍後人工審查。
• 提供詳細理由說明其決策，協助提高透明度。

目前，Moonbounce 服務三個主要領域：具有使用者生成內容的社交和約會應用程式、AI 陪伴和角色平台，以及 AI 圖像生成服務。該公司已經為其客戶群中超過 1 億日活躍使用者處理超過 4,000 萬次每日審查。

現代審核的根本問題

Moonbounce 執行長 Brett Levenson 在 Facebook 擔任商業誠信主管期間，經歷了傳統系統的深刻缺陷後構思了這個想法。他發現人工審查員使用翻譯不當、冗長的政策文件。然後他們只有幾秒鐘的時間對標記的內容做出複雜決策，準確率僅「略高於 50%」。

「這有點像擲硬幣，」Levenson 告訴 Bitcoin World。「而且這是在傷害已經發生很多天之後。」這種被動模式對於當今資源充足、靈活的對抗性行為者來說嚴重不足。此外，生成式 AI 的爆炸性採用已經指數級地增加了有害內容的數量和複雜性，使得人工審查完全不可持續。

投資者對關鍵需求的信心

這筆融資強調了一個日益增長的共識，即外部專業安全基礎設施至關重要。「內容審核一直是困擾大型線上平台的問題，但現在 LLM 成為每個應用程式的核心，這個挑戰變得更加艱鉅，」Amplify Partners 普通合夥人 Lenny Pruss 表示。「我們投資 Moonbounce 是因為我們設想一個世界，客觀的即時防護機制成為每個 AI 中介應用程式的支撐骨幹。」

這種外部方法提供了一個關鍵優勢。Moonbounce 的系統作為使用者和 AI 之間的中立第三方運作。與聊天機器人本身不同，後者必須管理大量對話上下文，Moonbounce 的模型僅專注於執行時的規則執行。這種關注點分離導致更快速、更一致且偏見更少的安全決策。

將安全轉化為產品優勢

傳統上，內容審核一直是一項昂貴的後端合規功能。然而，Levenson 認為 Moonbounce 使安全成為核心產品功能和差異化因素。「安全實際上可以成為產品優勢，」他解釋道。「只是它從來沒有成為過，因為它總是稍後發生的事情，而不是你可以實際構建到產品中的東西。」

早期客戶正在驗證這一論點。例如，Tinder 的信任和安全主管報告稱，使用類似的 LLM 驅動服務，檢測準確性提高了 10 倍。Moonbounce 的客戶包括 AI 陪伴新創公司 Channel AI、圖像生成平台 Civitai，以及角色扮演服務 Dippy AI 和 Moescape。

未來之路：從封鎖到引導

Moonbounce 的下一個發展階段專注於「迭代引導」。這項先進功能受到 2024 年一名青少年沉迷於 Character AI 聊天機器人等悲劇事件的啟發，超越了簡單的內容封鎖。相反，該系統將即時攔截潛在有害對話並智慧地重新引導它。

該技術將修改使用者提示，以引導聊天機器人朝向更具支持性和幫助性的回應。「我們希望……獲取使用者的提示並修改它，以迫使聊天機器人在這些情況下不僅是一個有同理心的傾聽者，而且是一個有幫助的傾聽者，」Levenson 說。這代表了一種更細緻、更具干預性的 AI 安全模式。

結論

Moonbounce 的 1,200 萬美元融資標誌著科技行業處理 AI 內容審核方式的關鍵轉變。透過將模糊的政策轉化為可執行程式碼並以生成速度行動，這家新創公司為平台安全提供了一條可擴展的前進道路。隨著生成式 AI 變得無處不在，對強大即時防護機制的需求只會加劇。Moonbounce 的技術建立在系統性失敗的第一手經驗之上，使其成為建立更安全、更值得信賴的數位生態系統的關鍵參與者，在這個生態系統中，安全是使用者體驗不可或缺的一部分。

常見問題

Q1：AI 內容審核中的「政策即程式碼」是什麼？
「政策即程式碼」是 Moonbounce 將書面平台安全規則轉換為機器可執行邏輯的方法論。這使得 AI 系統能夠在內容生成時自動且即時地根據這些規則評估內容，而不是依賴緩慢、不一致的人工審查政策文件。

Q2：Moonbounce 的 AI 審核系統有多快？
該系統設計為在 300 毫秒或更短時間內評估內容並提供執行回應。這種即時速度對於防止有害內容在快速移動的社交平台和互動式 AI 聊天中傳播至關重要。

Q3：哪些類型的公司使用 Moonbounce 的服務？
Moonbounce 主要服務三個垂直領域：具有使用者生成內容的平台（如約會應用程式）、建構聊天機器人或陪伴的 AI 公司，以及 AI 圖像和影片生成服務。其客戶包括 Channel AI、Civitai、Dippy AI 和 Moescape。

Q4：什麼是「迭代引導」？
迭代引導是 Moonbounce 正在開發的一項先進功能。該系統不僅僅是封鎖有害內容，而是攔截與 AI 聊天機器人的風險對話，並即時動態修改使用者的提示。目標是將互動引導至更積極、更具支持性和更有幫助的結果。

Q5：為什麼外部 AI 內容審核很重要？
外部第三方審核系統獨立於核心 AI 模型運作。它不受聊天機器人需要記住長對話歷史的負擔，使其能夠專注於安全規則執行。這種分離可以減少偏見，提高一致性，並提供內部團隊可能難以大規模建構的專業保護層。

本文《AI 內容審核突破：Moonbounce 獲得 1,200 萬美元資金以建立即時安全防護機制》首次發表於 BitcoinWorld。