构建知识图谱的双重方法：传统NLP技术或大型语言模型

构建知识图谱的双重方法：传统NLP技术或大型语言模型

引用

CSDN

1.

https://blog.csdn.net/m0_59164304/article/details/142730957

知识图谱是组织和利用大量数据的强大工具，而构建知识图谱的关键在于从文本中准确提取实体及其关系。传统上，命名实体识别（NER）技术被广泛应用于这一过程，但随着大型语言模型（LLM）的兴起，构建知识图谱的方法正在发生变革。本文将深入探讨传统NER和LLM在知识图谱构建中的应用，分析它们的优缺点，并提供具体的实现方法。

什么是知识图谱？

知识图谱是由互连实体及其关系组成的网络。它将信息组织成机器可以解释的结构化形式。该图包括：

• 节点（实体）：表示人员、地点、组织、概念等。
• Edges（Relationships）：定义实体之间的连接（例如，‘works at’、‘is located in’）。

知识图谱在AI、数据集成和自然语言处理（NLP）等领域特别有用，这些领域的目标是从非结构化数据中提取有意义的信息。

传统命名实体识别（NER）

命名实体识别（NER）是信息提取的一个子任务，旨在识别和分类文本中的命名实体（例如人员、组织、位置等）。它是最早用于提取信息以构建知识图谱的技术之一。

传统NER的工作原理

传统的NER模型依赖于预定义的字典和基于规则的系统，或者在标记数据集上训练的机器学习算法来检测实体。

1. 基于规则的NER：使用一组规则或正则表达式来标识实体。例如，所有大写的单词都可能被视为专有名词，因此也被视为实体。这速度很快，但灵活性有限。
2. 机器学习NER：基于机器学习的NER模型在带注释的数据集上进行训练。这些模型采用决策树、条件随机字段（CRF）或支持向量机（SVM）等技术从文本数据中学习。
3. 深度学习NER：现代NER系统使用深度学习模型，如递归神经网络（RNN）、长短期记忆（LSTM）网络或变压器。这些模型可以捕获单词的上下文，并在看不见的数据上表现得更好。

使用传统NER构建知识图谱的步骤

1. 数据预处理：清理并规范化输入文本（删除特殊字符、小写字母等）。
2. 实体提取：使用经过训练的NER模型从文本中提取实体。
3. 关系提取：使用依赖关系解析或共现分析等技术识别实体之间的关系。
4. 图谱构造：将提取的实体表示为图形数据库（例如Neo4j）中的节点，将关系表示为边缘。
5. 图谱融合：通过集成来自多个来源的数据来添加其他实体和关系。
6. 查询图形：使用Cypher等图形查询语言来搜索或遍历知识图谱。

其中一种方法是使用GLiNER等神经模型，它通过利用深度学习技术简化了NER。GLiNER模型针对命名实体识别（NER）进行了预训练，并在此处使用特定于域的实体标签进行初始化。然后，该模型根据文本中的上下文预测实体。

from gliner import GLiNER

# Model Initialization
model = GLiNER.from_pretrained("numind/NuNerZero")

# Merging and Displaying Entities
# NuZero requires labels to be lower-cased!
labels = [
    "people",
    "organizations",
    "concepts/terms",
    "principles",
    "documents",
    "dates"
]
labels = [l.lower() for l in labels]
text = content_process
entities = model.predict_entities(text, labels)
entities = merge_entities(entities)
for entity in entities:
    print(entity["text"], "=>", entity["label"])

传统NER的挑战

1. 有限范围：传统的NER模型通常仅限于预定义的实体类型，如人员、位置或组织。自定义实体（例如，“品牌名称”或“化合物”）需要特定于领域的训练数据。
2. 手动特征工程：NER模型通常依赖于手动特征工程，例如词性标记或标记化，这可能非常耗时且容易出错。
3. 缺乏上下文理解：NER系统可能难以理解复杂或模棱两可的句子中的上下文。例如，“Apple”一词可以指代水果或公司，具体取决于上下文。

大型语言模型（LLM）

大型语言模型（LLM），例如GPT-4、LLaMA和OpenAI模型，通过利用大量数据和先进的深度学习技术以更细致和上下文化的方式理解语言，改变了NLP。与传统的NER不同，LLM可以捕捉到对语言和关系的更广泛理解。

LLM在知识图谱构建中的工作原理

LLM可以直接从非结构化文本中提取实体和关系，而无需预定义标签。它们具有很强的适应性，可以通过及时的工程设计或微调来识别各种实体类型和复杂的关系。

1. 上下文实体识别：LLM根据上下文而不是固定规则识别实体，使其对于各种和看不见的数据更加健壮。
2. 关系推理：LLM可以通过理解自然语言上下文和语义来推断实体之间的隐式关系。
3. 动态知识更新：LLM可以动态处理新的、看不见的数据，从而在获得新信息时更轻松地更新知识图谱。

使用LLM构建知识图谱的步骤

1. Text Collection：收集大量非结构化文本，从中提取实体和关系。
2. 使用LLM进行实体和关系提取：

• 使用LLM从文本中提取实体和关系。
• 使用特定查询提示模型，例如“从以下文本中提取实体及其关系”。

3. 特定于域的实体的微调（可选）：

• 在特定于域的数据集上微调LLM以提高专用实体的准确性。

4. 图谱构建：使用Neo4j等图形数据库或自定义构建的解决方案将实体和关系构建到知识图谱中。
5. 图查询与分析：使用图遍历算法查询关系或从知识图谱中发现新的见解。

像GPT这样的大型语言模型（LLM）提供了一种灵活的方法来提取实体和关系。通过最少的设置，系统会提示模型直接从文本中识别实体（例如，人员、组织）并推断关系（例如，works for、located in）。与传统模型不同，LLM可以理解上下文并返回结构化的JSON数据，因此非常适合动态、实时的知识图谱构建。

import openai
import json

# Function to generate entities and relationships from the given text using OpenAI's API
def generate_entities_and_relationships(text, api_key):
    # Set the OpenAI API key
    openai.api_key = api_key

    # Create the prompt that will be sent to the OpenAI API.
    # The prompt asks the model to identify entities and relationships within the provided text
    # and format the response in JSON format.
    prompt = f"""
    Given the following text, identify the main entities and their relationships:
    Text: {text}
    Please provide the output in the following JSON format:
    {{
        "entities": [
            {{"name": "Entity1", "type": "PersonType"}},
            {{"name": "Entity2", "type": "OrganizationType"}},
            ...
        ],
        "relationships": [
            {{"subject": "Entity1", "predicate": "works_for", "object": "Entity2"}},
            {{"subject": "Entity2", "predicate": "located_in", "object": "Entity3"}},
            ...
        ]
    }}
    """

    # Send the request to the OpenAI API using the 'gpt-3.5-turbo' model.
    # The API call is structured as a chat completion with system and user messages.
    response = openai.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": "You are a helpful assistant that identifies entities and relationships in text."},
            {"role": "user", "content": prompt}
        ]
    )

    # Extract and clean up the response by removing extra characters or code format markers
    result = response.choices[0].message.content.strip().strip('```json').strip().strip('```')
    return json.loads(result)

使用LLM构建知识图谱的最佳实践

1. 利用预先训练的模型：使用预先训练的LLM提取实体和关系，而无需大量标记的数据集。
2. 针对特定领域的需求进行定制：针对特定行业（例如医疗保健、金融）微调LLM，以提高基准任务的性能。
3. 利用知识蒸馏：应用知识蒸馏技术将复杂的LLM输出转换为结构化知识图谱数据。
4. 评估准确性：使用人机协同或自动评估技术持续评估提取的实体和关系的准确性。
5. 优化性能：由于LLM的计算成本可能很高，因此请通过为实时应用程序部署更轻量级的版本来优化模型的性能。

结论

传统的NER和基于LLM的方法在构建知识图谱中都有其一席之地。传统NER对于结构化的预定义实体类型是可靠的，并且在具有已建立分类法的域中运行良好。但是，LLM提供了一种更灵活、上下文感知和可扩展的解决方案，用于从庞大的非结构化数据源中提取实体和关系。

对于上下文、细微差别和可扩展性至关重要的项目，LLM是更好的选择。通过利用他们对自然语言的理解，LLM可以更轻松地构建动态且高度上下文相关的知识图谱，这些知识图谱会随着新信息的出现而发展。

知识图谱的未来在于两种方法的混合，将传统NER模型的精度与LLM的适应性和强大功能相结合，以创建能够处理日益复杂的数据环境的强大系统。