精准识别、积极引导：AI成为治理网络暴力新利器

精准识别、积极引导：AI成为治理网络暴力新利器

近年来，网络暴力事件频发，不仅严重伤害了当事人的身心健康，也对社会和谐稳定造成了威胁。面对这一挑战，人工智能技术正成为打击网络暴力的重要利器。通过自然语言处理和大数据分析，AI能够精准识别和过滤暴力信息，同时还能生成积极内容，维护健康的网络环境。

网络暴力信息通常以自然语言文本的形式传播，语言处理技术以及语言大模型技术迅速发展，使得平台对网络暴力信息进行自动化精准识别成为可能。该技术也是人工智能在治理网络暴力信息方面运用最为广泛的技术，已经为大部分主流平台运用。在这些平台上，用户所发送的每一条帖子、评论以及私信等，都会被人工智能模型自动识别。如果信息涉及网络暴力，平台会自动向用户发出提示，建议用户修改表述或不要发送。对于部分难以识别的信息，平台采用“人工智能预判+真人核实”的模式，兼顾效率与准确性。然而，模型的识别能力受限于以往的案例和数据，且部分模型过于依赖“敏感词识别技术”，不仅难以招架层出不穷的网暴形式，还可能造成错误打击，损害公民的表达权。

除了对平台信息进行普遍性监控外，平台还会采用危险账号监测技术对高危账号重点关注。在互联网空间，用户的行为偏好、群组关系、违规记录、言论发表等都会被平台获取。平台在这些信息的基础上构建起用户画像，评估用户的危险等级，降低高危账号言论的曝光度，对其言论进行严格审核，限制该类账号的部分功能甚至进行封号处理。其中，违规记录是判断账号危险等级的一大重要因素，大部分平台会对多次违规的账户进行更严厉的处罚。然而，该项技术却有着较高的运用门槛。首先在数据获取方面，为构建准确的用户画像，平台必须得到足够的用户数据，而中小平台往往难以在短期内获得足够的数据。其次在建立模型方面，如何为各类信息附加合理权重尚未形成共识，模型建立存在较大难度。

韩国曾举行“善意回帖”运动，号召网民为他人写下“肯定的、鼓励的、给予勇气和希望的善意留言”。根据群体极化理论，防止情绪极端化的有效方法是引入对立的观点，需要有人提出新颖且具有说服力的论据，挑战群体成员最初的偏好。该运动本质上是想用良性信息与有害信息对抗，消除“群体极化”，削弱网络暴力信息的影响。在良性信息生成效率、数量、质量等方面，人工智能具有极大的应用潜力。此外，基于“沉默的螺旋”理论，一般网民容易受到已有情绪的影响。一旦网络暴力形成，原本善意的声音往往不敢表达，反而会加入网暴大军。而人工智能不会受到情绪氛围的影响，能够持续提供积极的、建设性的内容来平衡网络生态，打破“沉默的螺旋”，减少负面情绪的传播。然而，科技是把双刃剑，也要警惕不法分子反向运用该技术，批量生成恶意信息，发起、扩大网络暴力。

美国传播学家艾伯特梅拉比曾提出一个著名的信息传播表达式，即信息的全部表达=7%的语言文字+38%的声音+55%的表情。一方面绝大多数互联网信息都是依靠语言文字传播，而语言文字仅能传播少量信息。另一方面网络节奏不断加快，网民习惯于用更加简洁的语言，大量语气词、礼貌用语被省略，语言表达显得较为生硬。声音、表情的缺失使得人们的真实意思在传播过程中逐渐失真。一句简单的玩笑可能被误认为冷嘲热讽、抬杠，导致正常的表达在拉扯中上升为冲突甚至引发网络暴力。语言风格转化技术的核心在于“识别——转化”。当人工智能发现用户发表的内容包含不友好信息时，可以通过替换词汇、增添礼貌用语以及加入表情符号等手段，使表达变得温和。从技术的角度来说，语言风格转化技术所需的情感词典、语言处理以及语言大模型技术都已经较为成熟，具有实施的可能性。从运用的角度来说，该技术已经在Reddit和Twitter等平台运用过，并取得良好成效，在国内具有广阔的运用空间。

在美国社交新闻站点Reddit上，AI系统通过分析用户的历史发帖和评论，识别出潜在的网络暴力行为，并及时提醒用户。这种预防性措施有效减少了网络暴力事件的发生。在国内，政法机关也积极运用AI技术打击网络谣言。例如，2024年4月，公安部公布10起打击整治网络谣言违法犯罪典型案例，其中4起涉及使用AI技术编造虚假信息。这些案例表明，AI技术在识别和打击网络暴力方面已经取得了显著成效。

尽管AI技术在打击网络暴力方面展现出巨大潜力，但仍面临一些挑战。首先，自然语言处理技术虽然先进，但仍然难以完全理解复杂的语境和情感，容易出现误判。其次，数据隐私和算法偏见等问题也引发了公众对AI技术应用的担忧。此外，AI系统的开发和维护需要大量资源，对于一些小型平台来说，这可能是一大负担。

随着技术的不断进步，AI在打击网络暴力中的应用将更加广泛和深入。未来，我们可能会看到更多跨平台合作，实现信息共享和联动治理。同时，法律和政策的完善也将为AI技术的应用提供更好的保障。要实现这一目标，需要政府、平台、技术开发者和公众共同努力，建立一个多方参与的治理体系。

人工智能技术为打击网络暴力提供了新的解决方案，但技术本身并非万能。在利用AI技术的同时，我们还需要加强网络素养教育，培养理性和包容的网络文化。只有这样，我们才能真正构建一个健康、和谐的网络环境，让每个人都能在其中自由、安全地表达和交流。