资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

构建知识图谱的双重方法：传统NLP技术或大型语言模型

创作时间:

作者:

@小白创作中心

构建知识图谱的双重方法：传统NLP技术或大型语言模型

引用

CSDN

https://blog.csdn.net/m0_59164304/article/details/142730957

知识图谱是组织和理解大量数据的强大工具，广泛应用于医疗保健、金融、电子商务等领域。构建知识图谱需要从原始文本中提取相关实体及其关系，这可以通过传统命名实体识别（NER）或大型语言模型（LLM）来实现。本文将深入探讨这两种方法的区别，并提供具体的技术实现细节。

什么是知识图谱？

知识图谱是由互连实体及其关系组成的网络。它将信息组织成机器可以解释的结构化形式。该图包括：

节点（实体）：表示人员、地点、组织、概念等。
Edges（Relationships）：定义实体之间的连接（例如，‘works at’、‘is located in’）。

知识图谱在AI、数据集成和自然语言处理（NLP）等领域特别有用，这些领域的目标是从非结构化数据中提取有意义的信息。

传统命名实体识别（NER）

命名实体识别（NER）是信息提取的一个子任务，旨在识别和分类文本中的命名实体（例如人员、组织、位置等）。它是最早用于提取信息以构建知识图谱的技术之一。

传统 NER 的工作原理：

传统的 NER 模型依赖于预定义的字典和基于规则的系统，或者在标记数据集上训练的机器学习算法来检测实体。

基于规则的 NER：使用一组规则或正则表达式来标识实体。例如，所有大写的单词都可能被视为专有名词，因此也被视为实体。这速度很快，但灵活性有限。
机器学习 NER：基于机器学习的 NER 模型在带注释的数据集上进行训练。这些模型采用决策树、条件随机字段（CRF）或支持向量机（SVM）等技术从文本数据中学习。
深度学习 NER：现代 NER 系统使用深度学习模型，如递归神经网络（RNN）、长短期记忆（LSTM）网络或变压器。这些模型可以捕获单词的上下文，并在看不见的数据上表现得更好。

使用传统 NER 构建知识图谱的步骤：

数据预处理：清理并规范化输入文本（删除特殊字符、小写字母等）。
实体提取：使用经过训练的 NER 模型从文本中提取实体。
关系提取：使用依赖关系解析或共现分析等技术识别实体之间的关系。
图谱构造：将提取的实体表示为图形数据库（例如 Neo4j）中的节点，将关系表示为边缘。
图谱融合：通过集成来自多个来源的数据来添加其他实体和关系。
查询图形：使用 Cypher 等图形查询语言来搜索或遍历知识图谱。

其中一种方法是使用 GLiNER 等神经模型，它通过利用深度学习技术简化了 NER。GLiNER 模型针对命名实体识别（NER）进行了预训练，并在此处使用特定于域的实体标签进行初始化。然后，该模型根据文本中的上下文预测实体。

模型初始化：GLiNER 使用 GLiNER.from_pretrained（）加载。定义了标签列表（例如，“人员”、“组织”等）以指导模型识别特定实体类型。
实体提取：模型扫描文本以查找与提供的标签匹配的实体。这就是 GLiNER 的亮点，因为它可以检测实体，而无需预定义的字典或严格的规则。

from gliner import GLiNER

# Model Initialization
model = GLiNER.from_pretrained("numind/NuNerZero")

# Merging and Displaying Entities
# NuZero requires labels to be lower-cased!
labels = [
    "people",
    "organizations",
    "concepts/terms",
    "principles",
    "documents",
    "dates"
]
labels = [l.lower() for l in labels]
text = content_process
entities = model.predict_entities(text, labels)
entities = merge_entities(entities)
for entity in entities:
    print(entity["text"], "=>", entity["label"])

传统 NER 的挑战

有限范围：传统的 NER 模型通常仅限于预定义的实体类型，如人员、位置或组织。自定义实体（例如，“品牌名称”或“化合物”）需要特定于领域的训练数据。
手动特征工程：NER 模型通常依赖于手动特征工程，例如词性标记或标记化，这可能非常耗时且容易出错。
缺乏上下文理解：NER 系统可能难以理解复杂或模棱两可的句子中的上下文。例如，“Apple”一词可以指代水果或公司，具体取决于上下文。

大型语言模型（LLM）

大型语言模型（LLM），例如 GPT-4、LLaMA 和 OpenAI 模型，通过利用大量数据和先进的深度学习技术以更细致和上下文化的方式理解语言，改变了 NLP。与传统的 NER 不同，LLM 可以捕捉到对语言和关系的更广泛理解。

LLM 在知识图谱构建中的工作原理：

LLM 可以直接从非结构化文本中提取实体和关系，而无需预定义标签。它们具有很强的适应性，可以通过及时的工程设计或微调来识别各种实体类型和复杂的关系。

上下文实体识别：LLM 根据上下文而不是固定规则识别实体，使其对于各种和看不见的数据更加健壮。
关系推理：LLM 可以通过理解自然语言上下文和语义来推断实体之间的隐式关系。
动态知识更新：LLM 可以动态处理新的、看不见的数据，从而在获得新信息时更轻松地更新知识图谱。

使用 LLM 构建知识图谱的步骤：

Text Collection：收集大量非结构化文本，从中提取实体和关系。
使用 LLM 进行实体和关系提取：

使用 LLM 从文本中提取实体和关系。
使用特定查询提示模型，例如“从以下文本中提取实体及其关系”。

特定于域的实体的微调（可选）：

在特定于域的数据集上微调 LLM 以提高专用实体的准确性。

图谱构建：使用 Neo4j 等图形数据库或自定义构建的解决方案将实体和关系构建到知识图谱中。
图查询与分析：使用图遍历算法查询关系或从知识图谱中发现新的见解。

像 GPT 这样的大型语言模型（LLM）提供了一种灵活的方法来提取实体和关系。通过最少的设置，系统会提示模型直接从文本中识别实体（例如，人员、组织）并推断关系（例如，works for、located in）。与传统模型不同，LLM 可以理解上下文并返回结构化的 JSON 数据，因此非常适合动态、实时的知识图谱构建。

import openai
import json

# Function to generate entities and relationships from the given text using OpenAI's API
def generate_entities_and_relationships(text, api_key):
    # Set the OpenAI API key
    openai.api_key = api_key

    # Create the prompt that will be sent to the OpenAI API.
    # The prompt asks the model to identify entities and relationships within the provided text
    # and format the response in JSON format.
    prompt = f"""
    Given the following text, identify the main entities and their relationships:
    Text: {text}
    Please provide the output in the following JSON format:
    {{
        "entities": [
            {{"name": "Entity1", "type": "PersonType"}},
            {{"name": "Entity2", "type": "OrganizationType"}},
            ...
        ],
        "relationships": [
            {{"subject": "Entity1", "predicate": "works_for", "object": "Entity2"}},
            {{"subject": "Entity2", "predicate": "located_in", "object": "Entity3"}},
            ...
        ]
    }}
    """

    # Send the request to the OpenAI API using the 'gpt-3.5-turbo' model.
    # The API call is structured as a chat completion with system and user messages.
    response = openai.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": "You are a helpful assistant that identifies entities and relationships in text."},
            {"role": "user", "content": prompt}
        ]
    )

    # Extract and clean up the response by removing extra characters or code format markers
    result = response.choices[0].message.content.strip().strip('```json').strip().strip('```')
    return json.loads(result)