ROUGE：解码机器生成文字的质量

想象一下，人工智能可以写诗、起草法律文件或总结复杂的研究论文，但我们如何才能真正衡量其有效性呢？随着大型语言模型 （LLM）模糊了人类和机器生成内容之间的界限，寻求可靠的评估指标变得比以往任何时候都更加重要。

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一款功能强大的工具包，可作为机器生成文本的语言显微镜。ROUGE 诞生于文本摘要领域，现已发展成为评估大型语言模型在自然语言处理（NLP）任务中性能的基石指标。它不仅是一种测量工具，还是人工智能系统的原始输出与人类交流的细微期望之间的桥梁。

Source: Evaluation Metric

大型语言模型背景下的指标描述

在大型语言模型领域，ROUGE 是一种以精确度为重点的评估指标，可将生成的模型输出与参考文本或预期响应进行比较。与传统的精确度指标相比，ROUGE 提供了一种更复杂的评估方法，即 LLM 如何有效地保留预期输出的结构完整性、语义和重要内容。

ROUGE 使用跳格、n 格和最长公共子序列来评估生成文本（假设）与参考文本（基本事实）之间的重叠程度。在摘要等工作中，回忆比准确更重要，而 ROUGE 则非常有用。ROUGE 优先捕捉参考文本中的所有相关信息，而 BLEU 则以精确度为重点。不过，ROUGE 并不能完全捕捉语义，因此，即使它能提供有价值的见解，也需要 BERTScore 和 METEOR 等补充指标。

为什么ROUGE对LLM评估很重要？

对于 LLM，ROUGE 有助于确定生成的回复与预期的人工撰写文本的吻合程度。它在以下方面尤其有用

• 文本摘要：检查摘要在多大程度上保留了原文的关键细节。
• 文本生成任务：将聊天机器人或人工智能助手的回复与参考答案进行比较。
• 机器翻译评估：衡量译文与参考译文的匹配程度。
• 问题解答系统：评估生成的答案是否包含相关信息。

用于LLM评估的ROUGE类型

ROUGE 针对文本相似性评估的不同方面提供了多种变体。每种类型都可用于评估不同的语言模型输出，如摘要、回答或翻译。以下是 LLM 评估中常用的主要 ROUGE 变体：

Source: Rouge Types

ROUGE-N（N-gram 重叠）

ROUGE-N 衡量生成文本与参考文本之间的 n-gram（连续词序）重叠度。它被广泛应用于摘要和翻译评估。

计算公式：

Source: ROUGE-N

代码示例：

from rouge import Rouge  
generated_text = "The cat is sitting on the mat."  
reference_text = "A cat sat on the mat."  
rouge = Rouge()  
scores = rouge.get_scores(generated_text, reference_text)  
print(scores[0]['rouge-1'])  # ROUGE-1 score (unigram overlap)
print(scores[0]['rouge-2'])  # ROUGE-2 score (bigram overlap)

输出：

{
"rouge-1": {"r": 0.75, "p": 0.6, "f": 0.66},
"rouge-2": {"r": 0.33, "p": 0.25, "f": 0.28}
}

ROUGE-S（Skip-Bigram重叠）

ROUGE-S（Skip-Bigram）测量的是出现顺序相同但不一定相邻的词对的重叠度。与严格的 n-gram 匹配相比，它能更好地捕捉语义相似性。

计算公式：

代码示例：

print(scores[0]['rouge-s'])

输出：

{
    "rouge-s": {"r": 0.55, "p": 0.4, "f": 0.46}
}

ROUGE-W（加权LCS）

ROUGE-W 是 ROUGE-L 的加权版本，对较长的连续匹配序列赋予较高权重。它适用于评估 LLM 生成文本的流畅性和连贯性。

计算公式：

代码示例：

print(scores[0]['rouge-w'])

输出：

{
"rouge-w": {"r": 0.72, "p": 0.58, "f": 0.64}
}

ROUGE-L（最长共同后序列 – LCS）

ROUGE-L 测量参考文本和生成文本之间的最长公共子序列 (LCS)。它有助于衡量句子的流畅性和句法的正确性。

计算公式：

代码示例：

print(scores[0]['rouge-l'])

输出：

{
    "rouge-l": {"r": 0.75, "p": 0.6, "f": 0.66}
}

ROUGE-SU（带单字词的Skip-Bigram）

ROUGE-SU 是 ROUGE-S 的扩展，它也考虑了单字，使其在评估 LLM 生成的回复时更加灵活，因为单个单词的匹配非常重要。

计算公式：

代码示例：

print(scores[0]['rouge-su'])

输出：

{
    "rouge-su": {"r": 0.68, "p": 0.52, "f": 0.59}
}

ROUGE-Lsum（用于总结的LCS）

ROUGE-Lsum 是 ROUGE-L 的一个变体，专门用于评估摘要模型。它计算的是整个文档-摘要对的 LCS，而不是逐句比较。

计算公式：

代码示例：

print(scores[0]['rouge-lsum'])

输出：

{
    "rouge-lsum": {"r": 0.72, "p": 0.59, "f": 0.65}
}

如何使用ROUGE进行LLM评估？

输入：ROUGE 需要三个主要输入。

生成文本（假设）

这是模型生成的文本输出，例如 LLM 生成的摘要或回复。生成的文本要对照参考文本进行评估，以确定其对关键信息的捕捉程度。假设的质量会直接影响 ROUGE 分数，因为更长、更详细的回复可能会获得更高的召回率，但精确度较低。

参考文本（地面实况）

参考文本是理想或正确的回复，通常由人类撰写。它是评估生成文本准确性的基准。在许多情况下，会使用多个参考文本来考虑措辞和用词的变化。使用多个参考文本可以提供更平衡的评估，因为不同的人工撰写文本可能会以不同的方式表达相同的意思。

评估参数

ROUGE 允许用户根据自己的需要指定不同的评估设置。主要参数包括

• N-gram 大小：定义序列中用于重叠比较的单词数（例如，ROUGE-1 用于单字词，ROUGE-2 用于双字词）。
• LCS（最长共同后缀）权重 ：在 ROUGE-L 计算中调整较长共享词序列的影响。
• 聚合方法：决定在有多个参考文献时如何对分数进行平均。常见的方法包括宏观平均法（对所有参考文献进行平均）和微观平均法（在所有实例中按比例考虑出现次数）。

输出

ROUGE 提供数字分数，显示生成文本和参考文本之间的相似性。这些分数是根据不同的 ROUGE 变体计算得出的，包括三个主要部分：

• 召回率 (r)– 衡量生成文本中出现了多少参考文本。
• 精确度 (p)– 衡量生成文本与参考文本的匹配程度。
• F1 分数(f)-召回率和精确率的调和平均值，平衡两个指标。

ROUGE 的典型输出（Python）如下：

{
    "rouge-1": {"r": 0.75, "p": 0.6, "f": 0.66},
    "rouge-2": {"r": 0.2, "p": 0.16, "f": 0.18},
    "rouge-l": {"r": 0.75, "p": 0.6, "f": 0.66},
    "rouge-s": {"r": 0.55, "p": 0.4, "f": 0.46}
}

其中，ROUGE-L 和 ROUGE-S 为文本相似性提供了更多见解。ROUGE-L 侧重于最长共同子序列（LCS），因此有助于评估流畅性和句子结构。另一方面，ROUGE-S（Skip-Bigram）即使在词对不相邻的情况下也能测量词对重叠，从而捕捉到更灵活的措辞。

当有多个参考文本时，计算出的分数会有所不同。在这种情况下，ROUGE 允许使用两种方法对多个参考文献进行汇总：

• 宏观平均法：分别计算每个参考文献的 ROUGE 分数，然后求平均值。
• 微观平均法：合并所有参考文献并对其进行集体评估，给予篇幅较长的参考文献更多权重。

例如，将多个参考文献的 ROUGE 分数汇总后，我们可以得到：

Macro-Averaged Scores:
ROUGE-1 F1-score: 0.71  
ROUGE-2 F1-score: 0.21  
ROUGE-L F1-score: 0.67  
ROUGE-S F1-score: 0.51
  
Micro-Averaged Scores:
ROUGE-1 F1-score: 0.72  
ROUGE-2 F1-score: 0.24  
ROUGE-L F1-score: 0.69  
ROUGE-S F1-score: 0.53

在存在多个参考文献的情况下，这些综合分数可对模型性能进行更可靠的评估。通过考虑对每个参考文献一视同仁的宏观平均值和考虑参考文献长度变化的微观平均值，ROUGE 可确保对文本生成质量进行更均衡的评估。

用Python实现ROUGE

现在我们将在 Python 中实现 ROUGE。

步骤 1：导入库

from rouge import Rouge

步骤 2：实施示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
class LLMEvaluator:
def __init__(self, model_name):
self.rouge = Rouge()
self.model = AutoModelForCausalLM.from_pretrained(model_name)
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
def evaluate_model_response(self, prompt, reference_response):
# Generate model response
inputs = self.tokenizer(prompt, return_tensors="pt")
output = self.model.generate(**inputs, max_length=100)
generated_response = self.tokenizer.decode(output[0])
# Compute ROUGE scores
rouge_scores = self.rouge.get_scores(generated_response, reference_response)[0]
return {
'generated_response': generated_response,
'rouge_scores': rouge_scores
}

有聚合和无聚合的ROUGE实现

步骤 1：导入库

我们首先从 Rouge 软件包中导入 Rouge 类，以计算生成文本和参考文本之间的相似性得分。

from rouge import Rouge

步骤 2：示例实现

我们定义了一个 LLMEvaluator 类，用于加载预先训练好的因果语言模型和标记符。该类可针对给定提示生成回复，并通过与参考回复进行比较来计算 ROUGE 分数。

# Example: Single reference text vs. generated text
generated_text = "A cat was sitting on a mat."
reference_text = "The cat sat on the mat."
rouge = Rouge()
# Compute ROUGE scores without aggregation (single reference)
scores = rouge.get_scores(generated_text, reference_text)
print("ROUGE Scores (Without Aggregation):")
print(scores)
# Example with multiple references
reference_texts = [
"The cat sat on the mat.",
"A small cat rested on the mat.",
"A feline was sitting quietly on a rug."
]
# Compute ROUGE scores with aggregation
aggregated_scores = rouge.get_scores(generated_text, reference_texts, avg=True)
print("\nROUGE Scores (With Aggregation across Multiple References):")
print(aggregated_scores)

步骤 3：输出

无汇总（单一参考）

[
{
"rouge-1": {"r": 0.75, "p": 0.6, "f": 0.66},
"rouge-2": {"r": 0.2, "p": 0.16, "f": 0.18},
"rouge-l": {"r": 0.75, "p": 0.6, "f": 0.66}
}
]
With aggregation (Multiple References)
{
"rouge-1": {"r": 0.78, "p": 0.65, "f": 0.71},
"rouge-2": {"r": 0.25, "p": 0.20, "f": 0.22},
"rouge-l": {"r": 0.80, "p": 0.67, "f": 0.73}
}

ROUGE：度量衡的脱口秀喜剧演员

ROUGE Would Appreciate 的三大翻译笑话：

• Why did the translator go to therapy? Too many unresolved references!
• What’s a language model’s favorite dance? The N-gram Shuffle!
• How does ROUGE tell a joke? With perfect recall and precision!

除了幽默之外，《ROUGE》在理解机器如何理解语言方面也取得了重大突破。它不仅仅是计算字数，而是捕捉交流的灵魂。

ROUGE的使用案例

• 评估语法总结模型：ROUGE 是总结任务的标准指标。
• 评估 LLM 性能：用于比较 LLM 生成的内容与人类撰写的参考文献。
• 机器翻译评估：有助于衡量与参考译文的相似性。
• 对话生成：评估聊天机器人和人工智能对话回复。
• 自动内容评分：用于教育平台，评估学生生成的答案。
• 基于文本的问题解答：帮助衡量人工智能生成的答案与预期答案的一致性。

翻译轮盘赌挑战

def translation_detective_game():
translations = [
"The cat sat on the mat.",
"A feline occupied a floor covering.",
"Whiskers found horizontal support on the textile surface."
]    
print("🕵️ ROUGE DETECTIVE CHALLENGE 🕵️")
print("Guess which translation is closest to the original!")
# Simulated ROUGE scoring (with a twist of humor)
def rouge_score(text):
# Totally scientific detective method
return random.uniform(0.5, 0.9)
for translation in translations:
score = rouge_score(translation)
print(f"Translation: '{translation}'")
print(f"Mystery Score: {score:.2f} 🕵️‍♀️")
print("\nCan you crack the ROUGE code?")
translation_detective_game()

ROUGE的局限性和偏差

现在我们来看看 ROUGE 的局限性和偏差。

• 表层比较：ROUGE 侧重于 n-gram 的重叠，忽略了意义和上下文。
• 同义词和转述问题：即使变化保留了意义，也会受到惩罚。
• 偏向长文本：较高的召回率可能会提高分数，却无法真正提高质量。
• 不能衡量流畅性或语法：不能反映句子的连贯性和可读性。
• 无法处理事实的正确性：ROUGE 无法验证生成的内容是否与事实相符。

小结

ROUGE 就像语言模型的 GPS，对导航有用，但无法真正理解旅程。随着人工智能不断推陈出新，我们的评估指标必须从单纯的数字计算发展到真正的理解。未来的语言学硕士评估不是计算单词匹配度，而是捕捉人类交流的本质–意义、创造力和含义。

虽然 ROUGE 为量化文本相似性迈出了关键的第一步，但它仍然只是第一步。真正的难点在于创建评估措施，以区分技术上合理的回复和真正智能的回复。随着语言模型的进步，我们的评估技术也必须进步，从简单的测量工具发展为复杂的机器文本解释器。

• ROUGE 是评估大型语言模型 (LLM) 在摘要、翻译和文本生成任务中输出结果的关键指标。
• 不同的 ROUGE 变体（ROUGE-N、ROUGE-L、ROUGE-S）使用 n-grams、longest common subence 和 skip-bigrams 测量文本相似性。
• ROUGE 优先考虑的是召回率而不是精确度，因此在评估关键信息的保留程度时特别有用。
• 但它也有局限性，因为它不能完全捕捉语义，需要 BERTScore 和 METEOR 等补充指标。
• ROUGE 的 Python 实现允许开发人员根据人类撰写的参考文献对模型生成的文本进行有效评估。