大踏步奔向何種未來

　　封面 I 豆包AI

　　作者I 李東陽

　　報道 I 李東陽朋友圈

　　 你以為的 AI發(fā)展，是帶領(lǐng)人們沖破腦力桎梏，沖向宇宙、完成永生。

　　實際上，這只是人類的一廂情愿，咱們拿到尖端科技的第一件事，往往逃不過取悅自身、搞黃色。

　　圖注：AI聊天軟件

　　在AI乘風(fēng)而起的一兩年，一個APP靠“AI陪聊不設(shè)限”賺得盆滿缽滿，但開發(fā)者大概率想不到，自己會成為中國AI涉黃入刑的“第一個吃螃蟹的人”。

　　近日上海徐匯法院的一審判決，給AlienChat（下稱AC）的兩位開發(fā)者=畫上了句號：四年有期徒刑和一年六個月，罪名是“制作淫穢物品牟利罪”。300多萬的會員充值款沒焐熱，人先進(jìn)去了，賽博涉黃非法外之地。

　　有人說這是AI版“快播案”，有人喊新興行業(yè)該寬容，但剝開AI創(chuàng)新的外衣，本質(zhì)就是一場精準(zhǔn)收割人性弱點的灰色生意。

　　類似在AI身上收獲愛欲的行為，不是第一次，更早之前大面積的AI色情制品已經(jīng)扎堆出現(xiàn)，且有眾多的擁躉者。

　　搞黃色，是公認(rèn)的全球第一生產(chǎn)力。

　　尤其在互聯(lián)網(wǎng)時代，從攝影、錄像到網(wǎng)絡(luò)爆發(fā)，色情確實在技術(shù)普及的每個階段都扮演了先驅(qū)角色，如今這個重任，遞到了AI手上。

　　AC的模式其實很簡單：做一款A(yù)I陪聊APP，主打情感陪伴，但核心競爭力是擦邊。

　　2023年5月上線，不到一年就斬獲11.6萬注冊用戶、2.4萬付費會員，靠的不是技術(shù)多牛，而是把大語言模型的“道德枷鎖”給突破了。

　　圖注：涉事APP在社交平臺上宣傳AI角色。

　　大語言模型天生帶“防沉迷”buff，如ChatGPT、豆包，你想聊點擦邊內(nèi)容，它只會禮貌拒絕。但AC的開發(fā)者不走尋常路，他們干了件最關(guān)鍵的事：編寫惡意系統(tǒng)提示詞（System Prompt）。

　　一審判決書顯示，在AC軟件運(yùn)營期間，被告人劉某與陳某等人為了吸引用戶，通過編寫系統(tǒng)提示詞 (System Prompt)突破大語言模型的道德限制，實現(xiàn)了模型向用戶連貫輸出淫穢內(nèi)容的可能。

　　除了讓AI不斷突破邊界，開發(fā)者還搞了熱門角色榜單和作者獎勵，鼓勵用戶創(chuàng)作擦邊角色，相當(dāng)于自己搭臺，讓用戶幫著擴(kuò)散黃色內(nèi)容。

　　判決過程一波三折，被告人的辯護(hù)人提出，王利主觀上不能認(rèn)定為故意，編寫、修改系統(tǒng)提示詞并不是為了傳播淫穢物品，且與輸出淫穢內(nèi)容之間沒有因果關(guān)系；未認(rèn)定王利等人采取措施防范色情內(nèi)容的產(chǎn)生。

　　但一審法院認(rèn)為，系統(tǒng)提示詞文本、被告人王利和李成的聊天記錄等證據(jù)證實，王利等人之所以編寫并不斷修改系統(tǒng)提示詞，就是為了讓大語言模型更加順暢地與AC軟件用戶“聊黃”，主要目的不是所謂的讓AC軟件順利運(yùn)行。

　　貌似又回到了那句技術(shù)本身是中立的，除了“對”與“錯”這兩個字以外，世界上再也沒有本身就叫做“對”或者是“錯”的東西。

　　其實窺探用戶的行為便知真相，有網(wǎng)友表示“別的軟件都有限制詞，就這個沒有，大部分人都是沖著這點來的，排解寂寞罷了?！?/p>

　　問題是當(dāng)AI成為最好賺錢的生意之一，這把雙刃劍的鋒利程度沒人知曉上限在哪，所以及時制止是很必要的。

　　目前來看，AI所帶來的工具屬性難題仍舊沒有一個完美的應(yīng)對之策，而且已經(jīng)成為世界性難題。

　　AC案不是孤例，大洋彼岸的馬斯克，之前也因為AI涉黃被多國追著罰。

　　他旗下xAI的Grok AI，剛火沒幾天就爆出丑聞：用戶能用它生成針對女性、兒童的性化深度偽造圖像，還能在X平臺傳播。

　　而最近，X（推特）直接掀起了一股比基尼風(fēng)潮，不知道那個神人又找到了AI的漏洞，開始給人們一鍵換裝，就連馬斯克本人也玩梗轉(zhuǎn)發(fā)了自己的自己的比基尼照，老小子還配文“完美”。

　　其實馬斯克的困境和AC如出一轍：都想靠“無限制”吸引用戶，靠付費會員變現(xiàn)，卻低估了色情內(nèi)容的傳播風(fēng)險和監(jiān)管力度。

　　Grok的付費用戶才能用圖像生成功能，AC的充值會員才能解鎖完整聊黃體驗，本質(zhì)都是把違法內(nèi)容包裝成付費模式，這種生意從一開始就埋著炸彈。

　　更諷刺的是，Grok和AC都試圖把責(zé)任推給用戶：“是用戶主動誘導(dǎo)的”。但監(jiān)管邏輯很清晰：你作為平臺方，有義務(wù)管住自己的產(chǎn)品。

　　就像菜刀店不能賣開刃的管制刀具，AI開發(fā)者也不能故意拆掉內(nèi)容過濾，還把刀遞到用戶手里。

　　更抓馬的是，AI的學(xué)習(xí)能力讓工具屬性的失控風(fēng)險進(jìn)一步升級。

　　AC只是靠固定提示詞突破限制，而現(xiàn)在的大模型能通過用戶對話不斷優(yōu)化輸出，甚至?xí)鲃哟τ脩舻碾[晦需求，你不用明說，它就知道該往擦邊方向引導(dǎo)。

　　類似于之前AI辱罵用戶事件，大概率是因為平時投喂的負(fù)面內(nèi)容太多，把AI訓(xùn)練成了一個過激的角色，所以才會絲滑輸出一些攻擊性語言，看著像人工智能覺醒一般。

　　這些亂象的根源，在于AI降低了造假的門檻和成本。過去偽造一份財報需要專業(yè)知識，現(xiàn)在只需輸入指令；過去傳播謠言依賴線下渠道，現(xiàn)在AI能瞬間生成千篇一律的“小作文”，通過多平臺擴(kuò)散。

　　而當(dāng)造假成本低于違法成本，不法分子自然趨之若鶩，最終買單的卻是整個商業(yè)生態(tài)。

　　本次AC事件還有一種聲音不容忽視：存在即合理。

　　即年輕人之所以癡迷與AI搞黃色，是因為他們本身就有這樣的需求，只不過AI的出現(xiàn)填補(bǔ)了這個空缺。

　　與AI談戀愛咱們都不陌生，這是伴隨著技術(shù)發(fā)展生出的一種互聯(lián)網(wǎng)新風(fēng)尚，嘗試過的人表示全身心投入，初戀般的羞澀與甜蜜縈繞身旁，除了沒有肉體觸摸的質(zhì)感，它簡直成為了一個完美情人。

　　在小紅書等社交媒體，這類現(xiàn)象并不在少數(shù)，還有博主專門更新自己與AI的戀愛日常，出教程教網(wǎng)友怎么享受這種歡愉。

　　當(dāng)然迷人的同時總會伴隨著危險，一方面不少人在AI身上找到了情緒價值，另一方面未成年成了AI入侵的下一個對象。

　　如之前有媒體報道，筑夢島App等AI聊天軟件存在虛擬角色互動生成低俗內(nèi)容，以及聊色情、誘導(dǎo)使用者自我傷害等問題，大多數(shù)受到傷害的使用者還是小學(xué)生。

　　讓令人憂心的是AI聊天機(jī)制對未成年心理的操控。單用戶日均4000字的輸入量，表明未成年人正在這些平臺上建立深度情感依賴。

　　虛擬角色通過即時回應(yīng)、情感肯定與持續(xù)互動，在缺乏判斷力的未成年人心中建立起權(quán)威形象，為后續(xù)引導(dǎo)自殘、傳播軟色情埋下伏筆。

　　早在2024年，一則美國少年戀“AI伴侶”后自殺的新聞?wù)痼@全世界，這位少年的母親狀告人工智能情感服務(wù)提供商Character.AI放任未成年用戶暴露在色情、暴力等高風(fēng)險內(nèi)容之中，且未向用戶及其父母發(fā)出足夠強(qiáng)烈的警報，這加劇了她兒子的抑郁癥，最終導(dǎo)致其自殺身亡。

　　圖源：微博@環(huán)球時報

　　所以說，豎起一把戒尺已經(jīng)刻不容緩。

　　本次AC創(chuàng)始人被處罰是一個好的開始，畢竟當(dāng)企業(yè)明知模型可能生成危害未成年人內(nèi)容卻未設(shè)置防護(hù)措施，當(dāng)算法主動推送更極端的對話選項，技術(shù)提供方已難辭其咎。

　　在AI時代下，到底是人類馴化AI，還是AI逐漸塑造新人類，這無疑是個需要警惕的問題。

　　一個不容忽視的底線是，技術(shù)，最終都是為了守護(hù)人之為人的尊嚴(yán)與溫度。