AI 内容生成去重：相似不是抄袭，重复也不一定可用

AI 内容生成去重：相似不是抄袭，重复也不一定可用

一、内容生成要防重复

AI 内容生成系统在批量生产标题、摘要、商品描述、客服话术时，很容易生成相似内容。相似内容不一定是抄袭，但会降低用户体验和搜索质量。更麻烦的是，有些重复看起来换了词，信息结构却完全一样。

去重不是简单算字符串相似度。比如两个商品标题"新款无线蓝牙耳机 Pro"和"2024 蓝牙耳机 Pro 无线版"，字面差异大但信息内容几乎重复；反过来两个"安装说明"文档，字面可能高度重合却是不同产品。内容要从语义、事实字段、模板结构和目标场景多个角度判断。

二、去重要分层

flowchart TD
  A[生成内容] --> B[字面相似]
  A --> C[语义相似]
  A --> D[事实字段]
  A --> E[模板结构]
  B --> F[去重决策]
  C --> F
  D --> F
  E --> F

字面相似适合发现直接重复，语义相似适合发现换词重复，事实字段适合判断是否描述了同一对象，模板结构适合发现批量内容千篇一律。

不同场景阈值不同。文章标题需要更严格的差异化，因为用户会浏览多个标题；客服话术允许结构相似但需要事实准确，因为错误回答远比重复回答严重；商品描述则要在避免千篇一律和保持规格准确之间找均衡。

三、向量相似要结合规则

type DedupResult = {
  textId: string
  nearestId: string
  semanticScore: number
  lexicalScore: number
  decision: "allow" | "rewrite" | "block"
  reason: string
}

向量相似度很有用，但不能单独决定。两个技术文档都讲“安装步骤”，语义相似很高，但如果面向不同版本，不能直接判重复。反过来，两段话字面不同，却可能复用了同一组事实。

content_dedup_policy:
  semantic_rewrite_threshold: 0.86
  lexical_block_threshold: 0.92
  require_fact_diff_for_batch: true
  keep_decision_reason: true

保存决策原因很重要。编辑或运营需要知道为什么被要求重写，是语义太近、标题重复，还是事实字段没有差异。

四、去重后要能重写

发现重复不是终点。系统应给出重写方向：换角度、补充差异字段、调整受众、减少模板句。只提示“内容重复”会让用户不知道怎么改。

还要避免过度去重。技术规范、法律说明、错误提示这类内容本来就需要一致，不应该强行追求变化。去重策略要按内容类型配置。

去重系统还要考虑生成前和生成后两个阶段。生成前可以提供差异化约束，比如不同受众、不同场景、不同事实字段；生成后再做相似度检查和重写。只在生成后拦截，会浪费模型调用，也容易让用户反复等待。

dedup_generation_context:
  require_unique_angle: true
  include_existing_titles: true
  include_fact_table: true
  rewrite_with_reason: true

对于批量内容，还要看整体多样性。单篇文章不重复，但十篇放在一起结构完全一样，也会显得机械。可以统计开头方式、段落结构、关键词分布和信息增量，帮助生成系统避免模板化。

去重记录也要可审计。某段内容为什么被阻塞、和哪段相似、相似度多少、是否允许人工放行，都应该保存。否则编辑团队很难相信系统判断。

上线后还要观察去重带来的副作用。如果重写率过高，说明生成前约束不够；如果阻塞率很低但用户反馈内容雷同，说明阈值过松或检测维度不足。

五、总结

AI 内容生成去重要同时看字面、语义、事实字段和模板结构，并按内容场景设置阈值。

相似不一定有问题，但无意义重复一定会消耗信任。去重系统要能判断，也要能指导重写。