并发加载器
与GenericLoader的工作方式相同,但对于那些选择优化其工作流程的人来说是并发的。
from langchain_community.document_loaders import ConcurrentLoader
API参考:ConcurrentLoader
loader = ConcurrentLoader.from_filesystem("example_data/", glob="**/*.txt")
files = loader.load()
len(files)
2