并发加载器
功能与 GenericLoader 完全相同,但对于希望优化工作流程的用户来说,可以并发执行。
from langchain_community.document_loaders import ConcurrentLoader
API 参考:ConcurrentLoader
loader = ConcurrentLoader.from_filesystem("example_data/", glob="**/*.txt")
files = loader.load()
len(files)
2