網信辦深化整治AI應用亂象 打擊魔改名著及假冒公眾人物行為

中央網絡安全和信息化委員會辦公室（中央網信辦）近日公佈，已組織開展「清朗·整治AI應用亂象」專項行動的第二階段工作。是次行動聚焦利用人工智能（AI）製作發布虛假信息、傳播暴力低俗內容、假冒仿冒他人以及侵害未成年人權益等突出問題，旨在督促網站平台集中清理AI生成的各類違法不良信息，並依法查處違規賬號和移動應用程式，以有效遏制AI生成合成內容的亂象，推動AI應用服務健康有序發展。 據悉，截至目前，該專項行動累計清理了逾561萬條違法違規信息，查處了約4.9萬個賬號，並處置了逾2400個違規網站及應用程式。各大網絡平台亦積極響應專項行動的部署安排，持續健全AI內容的常態化治理機制。 其中，抖音、快手、微博、騰訊、百度、嗶哩嗶哩、小紅書、知乎、豆瓣、淘寶等平台，已進一步強化技術賦能，優化多模態識別模型，加大對違規賬號和信息的處置力度，並暢通線索舉報渠道。這些平台累計發布了46期各類治理公告，展現了對AI內容規管的積極態度。 為加強警示教育，網信辦特別通報了部分典型案例。例如，有微博賬號濫用AI技術「魔改」《三國演義》、《西遊記》等經典名著，顛覆重要人物人設，虛構低質獵奇劇情以博取流量。另有快手賬號利用AI生成合成虛假災害現場及救援畫面，編造不實社會熱點信息，誤導老年人，並製造社會恐慌情緒。 在假冒仿冒他人方面，有抖音賬號利用AI「換臉」、「換聲」等技術，假冒仿冒公眾人物形象，生成合成低俗舞蹈、擁抱接吻等圖片或視頻，藉機營銷牟利。此外，部分賬號批量發布AI生成合成的含有恐怖詭異、暴力低俗等畫面內容。更有賬號發布AI生成合成未成年人懷孕、打架等與其年齡特點不符的內容，傷害及惡搞未成年人形象，嚴重影響其身心健康。 網信部門強調，下一步將在總結專項行動治理成效的基礎上，進一步把握人工智能的發展趨勢和規律，密切關注AI生成合成內容可能出現的新情況和新風險。同時，將及時採取有效措施，防範AI技術的濫用和惡用，持續為人工智能的創新發展營造良好環境，以應對人工智能技術發展帶來的挑戰與機遇。