MediaWikiDump
MediaWiki XML 转储包含维基的内容(维基页面及其所有修订版本),不包含站点相关数据。XML 转储不会创建维基数据库的完整备份,转储不包含用户帐户、图像、编辑日志等。
安装和设置
我们需要安装几个 Python 包。
mediawiki-utilities
在未合并的分支中支持 XML 模式 0.11。
pip install -qU git+https://github.com/mediawiki-utilities/python-mwtypes@updates_schema_0.11
mediawiki-utilities mwxml
有一个错误,修复 PR 正在等待中。
pip install -qU git+https://github.com/gdedrouas/python-mwxml@xml_format_0.11
pip install -qU mwparserfromhell
文档加载器
请参阅使用示例。
from langchain_community.document_loaders import MWDumpLoader
API 参考:MWDumpLoader