Diffbot
Diffbot 是一套基于机器学习的产品,可以轻松地构建网络数据结构。
Diffbot 的自然语言处理 API 可以从非结构化文本数据中提取实体、关系和语义信息。
用例
文本数据通常包含丰富的关系和洞察,可用于各种分析、推荐引擎或知识管理应用。
通过将 Diffbot 的 NLP API
与图数据库 Neo4j
结合,您可以根据从文本中提取的信息创建强大、动态的图结构。这些图结构完全可查询,并可集成到各种应用程序中。
这种组合支持以下用例:
- 从文本文档、网站或社交媒体动态构建知识图谱(如 Diffbot 的知识图谱)。
- 根据数据中的语义关系生成推荐。
- 创建理解实体之间关系的高级搜索功能。
- 构建分析仪表板,让用户能够探索数据中隐藏的关系。
概述
LangChain 提供与图数据库交互的工具
- 使用图转换器和存储集成
从文本构建知识图谱
- 使用链进行查询创建和执行,
查询图数据库
- 使用代理进行健壮和灵活的查询,
与图数据库交互
设置
首先,获取所需的包并设置环境变量
%pip install --upgrade --quiet langchain langchain-experimental langchain-openai langchain-neo4j neo4j wikipedia
Diffbot NLP API
Diffbot 的 NLP API
是一种从非结构化文本数据中提取实体、关系和语义上下文的工具。这些提取的信息可用于构建知识图谱。要使用该 API,您需要从 Diffbot 获取一个免费的 API 令牌。
from langchain_experimental.graph_transformers.diffbot import DiffbotGraphTransformer
diffbot_api_key = "DIFFBOT_KEY"
diffbot_nlp = DiffbotGraphTransformer(diffbot_api_key=diffbot_api_key)
此代码获取关于“沃伦·巴菲特”的维基百科文章,然后使用 DiffbotGraphTransformer
提取实体和关系。DiffbotGraphTransformer
输出结构化数据 GraphDocument
,可用于填充图数据库。请注意,由于 Diffbot 的每个 API 请求的字符限制,因此避免了文本分块。
from langchain_community.document_loaders import WikipediaLoader
query = "Warren Buffett"
raw_documents = WikipediaLoader(query=query).load()
graph_documents = diffbot_nlp.convert_to_graph_documents(raw_documents)
将数据加载到知识图谱中
您需要有一个正在运行的 Neo4j 实例。一种选择是在其 Aura 云服务中创建一个免费的 Neo4j 数据库实例。您也可以使用Neo4j Desktop 应用程序在本地运行数据库,或者运行一个 Docker 容器。您可以通过执行以下脚本来运行本地 Docker 容器:
docker run \
--name neo4j \
-p 7474:7474 -p 7687:7687 \
-d \
-e NEO4J_AUTH=neo4j/password \
-e NEO4J_PLUGINS=\[\"apoc\"\] \
neo4j:latest
如果您正在使用 Docker 容器,您需要等待几秒钟,直到数据库启动。
from langchain_neo4j import Neo4jGraph
url = "bolt://:7687"
username = "neo4j"
password = "password"
graph = Neo4jGraph(url=url, username=username, password=password)
GraphDocuments
可以使用 add_graph_documents
方法加载到知识图谱中。
graph.add_graph_documents(graph_documents)
刷新图模式信息
如果数据库架构发生变化,您可以刷新生成 Cypher 语句所需的架构信息。
graph.refresh_schema()
查询图
我们现在可以使用图 Cypher QA 链来向图提出问题。建议使用 gpt-4 来构建 Cypher 查询以获得最佳体验。
from langchain_neo4j import GraphCypherQAChain
from langchain_openai import ChatOpenAI
chain = GraphCypherQAChain.from_llm(
cypher_llm=ChatOpenAI(temperature=0, model_name="gpt-4"),
qa_llm=ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo"),
graph=graph,
verbose=True,
allow_dangerous_requests=True,
)
chain.run("Which university did Warren Buffett attend?")
[1m> Entering new GraphCypherQAChain chain...[0m
Generated Cypher:
[32;1m[1;3mMATCH (p:Person {name: "Warren Buffett"})-[:EDUCATED_AT]->(o:Organization)
RETURN o.name[0m
Full Context:
[32;1m[1;3m[{'o.name': 'New York Institute of Finance'}, {'o.name': 'Alice Deal Junior High School'}, {'o.name': 'Woodrow Wilson High School'}, {'o.name': 'University of Nebraska'}][0m
[1m> Finished chain.[0m
'Warren Buffett attended the University of Nebraska.'
chain.run("Who is or was working at Berkshire Hathaway?")
[1m> Entering new GraphCypherQAChain chain...[0m
Generated Cypher:
[32;1m[1;3mMATCH (p:Person)-[r:EMPLOYEE_OR_MEMBER_OF]->(o:Organization) WHERE o.name = 'Berkshire Hathaway' RETURN p.name[0m
Full Context:
[32;1m[1;3m[{'p.name': 'Charlie Munger'}, {'p.name': 'Oliver Chace'}, {'p.name': 'Howard Buffett'}, {'p.name': 'Howard'}, {'p.name': 'Susan Buffett'}, {'p.name': 'Warren Buffett'}][0m
[1m> Finished chain.[0m
'Charlie Munger, Oliver Chace, Howard Buffett, Susan Buffett, and Warren Buffett are or were working at Berkshire Hathaway.'