GitHub
此笔记本展示了如何加载给定存储库的 issue 和 pull request（PR），并在 GitHub 上进行操作。也展示了如何加载给定存储库的 Github 文件，并在 GitHub 上进行操作。我们将使用 LangChain Python 存储库作为示例。
设置访问令牌
要访问 GitHub API，您需要一个个人访问令牌 - 您可以在此处设置您的令牌：https://github.com/settings/tokens?type=beta。您可以将此令牌设置为环境变量 GITHUB_PERSONAL_ACCESS_TOKEN，它将自动被拉取，或者您可以在初始化时将其直接作为 access_token 命名参数传递。
# If you haven't set your access token as an environment variable, pass it in here.
from getpass import getpass
ACCESS_TOKEN = getpass()
加载 Issues 和 PRs
from langchain_community.document_loaders import GitHubIssuesLoader
API 参考：GitHubIssuesLoader
loader = GitHubIssuesLoader(
repo="langchain-ai/langchain",
access_token=ACCESS_TOKEN, # delete/comment out this argument if you've set the access token as an env var.
creator="UmerHA",
)
让我们加载所有由“UmerHA”创建的 Issues 和 PRs。
以下是您可以使用的所有过滤器的列表
- include_prs
- milestone
- state
- assignee
- creator
- mentioned
- labels
- sort
- direction
- since
有关更多信息，请参见 https://githubdocs.cn/en/rest/issues/issues?apiVersion=2022-11-28#list-repository-issues。
docs = loader.load()
print(docs[0].page_content)
print(docs[0].metadata)
仅加载 Issues
默认情况下，GitHub API 会将 pull request 也视为 issues。要仅获取“纯”issues（即，不包括 pull request），请使用 include_prs=False
loader = GitHubIssuesLoader(
repo="langchain-ai/langchain",
access_token=ACCESS_TOKEN, # delete/comment out this argument if you've set the access token as an env var.
creator="UmerHA",
include_prs=False,
)
docs = loader.load()
print(docs[0].page_content)
print(docs[0].metadata)
加载 Github 文件内容
对于以下代码，加载 rpeo langchain-ai/langchain 中的所有 markdown 文件
from langchain_community.document_loaders import GithubFileLoader
API 参考：GithubFileLoader
loader = GithubFileLoader(
repo="langchain-ai/langchain", # the repo name
branch="master", # the branch name
access_token=ACCESS_TOKEN,
github_api_url="https://api.github.com",
file_filter=lambda file_path: file_path.endswith(
".md"
), # load all markdowns files.
)
documents = loader.load()
示例文档输出
document.metadata:
{
"path": "README.md",
"sha": "82f1c4ea88ecf8d2dfsfx06a700e84be4",
"source": "https://github.com/langchain-ai/langchain/blob/master/README.md"
}
document.content:
mock content