跳到主要内容
Open In ColabOpen on GitHub

Arxiv检索器

arXiv 是一个开放存取档案库,收录了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程与系统科学以及经济学领域的200万篇学术文章。

本笔记本展示了如何将 Arxiv.org 上的学术文章检索为下游使用的 Document 格式。

有关所有 ArxivRetriever 功能和配置的详细文档,请前往 API 参考

集成详情

检索器来源
Arxiv检索器arxiv.org 上的学术文章langchain_community

设置

如果您想获取单个查询的自动化追踪,您还可以通过取消注释下方内容来设置您的 LangSmith API 密钥。

# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"

安装

该检索器位于 langchain-community 包中。我们还需要 arxiv 依赖。

%pip install -qU langchain-community arxiv

实例化

ArxivRetriever 参数包括

  • 可选 load_max_docs: 默认值=100。用于限制下载文档的数量。下载全部 100 份文档需要时间,因此在实验时请使用较小的数字。目前硬限制为 300。
  • 可选 load_all_available_meta: 默认值=False。默认情况下,只下载最重要的字段:Published(文档发布/最后更新日期)、Title(标题)、Authors(作者)、Summary(摘要)。如果设置为 True,其他字段也会被下载。
  • get_full_documents: 布尔值,默认值 False。决定是否获取文档的全文。

有关更多详细信息,请参阅 API 参考

from langchain_community.retrievers import ArxivRetriever

retriever = ArxivRetriever(
load_max_docs=2,
get_ful_documents=True,
)
API 参考:ArxivRetriever

使用

ArxivRetriever 支持通过文章标识符进行检索

docs = retriever.invoke("1605.08386")
docs[0].metadata  # meta-information of the Document
{'Entry ID': 'http://arxiv.org/abs/1605.08386v1',
'Published': datetime.date(2016, 5, 26),
'Title': 'Heat-bath random walks with Markov bases',
'Authors': 'Caprice Stanley, Tobias Windisch'}
docs[0].page_content[:400]  # a content of the Document
'Graphs on lattice points are studied whose edges come from a finite set of\nallowed moves of arbitrary length. We show that the diameter of these graphs on\nfibers of a fixed integer matrix can be bounded from above by a constant. We\nthen study the mixing behaviour of heat-bath random walks on these graphs. We\nalso state explicit conditions on the set of moves so that the heat-bath random\nwalk, a ge'

ArxivRetriever 也支持基于自然语言文本的检索

docs = retriever.invoke("What is the ImageBind model?")
docs[0].metadata
{'Entry ID': 'http://arxiv.org/abs/2305.05665v2',
'Published': datetime.date(2023, 5, 31),
'Title': 'ImageBind: One Embedding Space To Bind Them All',
'Authors': 'Rohit Girdhar, Alaaeldin El-Nouby, Zhuang Liu, Mannat Singh, Kalyan Vasudev Alwala, Armand Joulin, Ishan Misra'}

在链中使用

与其他检索器一样,ArxivRetriever 可以通过 集成到 LLM 应用程序中。

我们需要一个 LLM 或聊天模型

pip install -qU "langchain[google-genai]"
import getpass
import os

if not os.environ.get("GOOGLE_API_KEY"):
os.environ["GOOGLE_API_KEY"] = getpass.getpass("Enter API key for Google Gemini: ")

from langchain.chat_models import init_chat_model

llm = init_chat_model("gemini-2.0-flash", model_provider="google_genai")
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

prompt = ChatPromptTemplate.from_template(
"""Answer the question based only on the context provided.

Context: {context}

Question: {question}"""
)


def format_docs(docs):
return "\n\n".join(doc.page_content for doc in docs)


chain = (
{"context": retriever | format_docs, "question": RunnablePassthrough()}
| prompt
| llm
| StrOutputParser()
)
chain.invoke("What is the ImageBind model?")
'The ImageBind model is an approach to learn a joint embedding across six different modalities - images, text, audio, depth, thermal, and IMU data. It shows that only image-paired data is sufficient to bind the modalities together and can leverage large scale vision-language models for zero-shot capabilities and emergent applications such as cross-modal retrieval, composing modalities with arithmetic, cross-modal detection and generation.'

API 参考

有关所有 ArxivRetriever 功能和配置的详细文档,请前往 API 参考