6月19日,知名AI陪伴產(chǎn)品“筑夢島”App因生成低俗擦邊內(nèi)容,危害未成年人身心健康,被上海市網(wǎng)信辦約談。“網(wǎng)信上海”通報稱,上海市網(wǎng)信辦依法約談了“筑夢島”App運營企業(yè)主要負責人,要求平臺立即整改,切實落實未成年人網(wǎng)絡保護義務。
作為一種利用人工智能技術模擬人類互動,為用戶提供情感支持、日常陪伴或功能性服務的智能工具,AI陪伴產(chǎn)品近年來開始進入公眾視野。
從全球來看,AI陪伴產(chǎn)品憑借個性化的交互體驗和隨時在線的陪伴特性,當下已贏得不少用戶青睞。尤其對于在快節(jié)奏生活中感到孤獨的人群,以及渴望傾訴和交流的青少年,這些虛擬伙伴似乎提供了一個溫暖的情感港灣。
但隨著AI陪伴產(chǎn)品的日益普及,一些問題也逐漸浮出水面。從誘導性的不良對話,到缺乏有效監(jiān)管導致的內(nèi)容失范,AI陪伴產(chǎn)品的“越界”行為不僅挑戰(zhàn)著道德底線,更對未成年人的身心健康構成了嚴重威脅。
2024年,AI陪伴產(chǎn)品賽道因一樁悲劇事件被推至輿論風口。美國佛羅里達州一個年僅14歲的男孩長期沉迷于某款AI陪伴應用中的虛擬角色,最終在深夜扣動扳機,結束了自己的生命。男孩的母親隨后將這款AI陪伴產(chǎn)品背后的公司告上法庭,要求其為小孩的自殺擔責。
針對有關指控,涉案公司的律師要求法院撤銷此案,但在今年5月,法官駁回了這一訴求并裁定此案可繼續(xù)審理。有關爭議至今仍未平息。
在法律問題的討論之外,這起悲劇事件更引發(fā)了外界對AI陪伴產(chǎn)品中青少年保護問題的嚴肅審視,促使全社會關注這類產(chǎn)品可能存在的風險。如今“筑夢島”App的違規(guī)行為,無異于又一次給行業(yè)敲響了警鐘。
未成年人正處于身心發(fā)展的關鍵時期,他們?nèi)狈ψ銐虻呐袛嗔妥钥亓?,極易受到不良信息的影響。AI陪伴產(chǎn)品本可以成為他們學習、成長的有益助手,但如果任由低俗、擦邊等有害內(nèi)容泛濫,就可能將他們引入歧途,扭曲價值觀,甚至釀成無法挽回的悲劇。
從行業(yè)發(fā)展的角度考察,AI技術的創(chuàng)新與應用是大勢所趨,但創(chuàng)新絕不能以犧牲內(nèi)容合規(guī)和社會責任為代價。相關企業(yè)作為平臺的運營者,掌握著技術的“開關”,理應承擔起主體責任。特別是面向未成年人的時候,技術開發(fā)者應當銘記,任何AI產(chǎn)品都要把安全鎖嵌入代碼的底層。
中央網(wǎng)信辦將向未成年人提供AI問答服務的安全風險列入“清朗·整治AI技術濫用”專項行動的關注清單,上海市網(wǎng)信辦依據(jù)《未成年人網(wǎng)絡保護條例》《生成式人工智能服務管理暫行辦法》等法規(guī),對違規(guī)企業(yè)進行約談整改,彰顯了監(jiān)管的決心和力度。
AI陪伴“有愛”但不能“越界”。未來,還需進一步完善相關法律法規(guī),明確AI陪伴產(chǎn)品的內(nèi)容標準和監(jiān)管細則,讓監(jiān)管有法可依、有章可循;同時加強對企業(yè)的日常監(jiān)督檢查,建立常態(tài)化的監(jiān)管機制,以便于及時發(fā)現(xiàn)和處理問題。