跳到主要内容
Open on GitHub

Johnsnowlabs

通过开源 johnsnowlabs 库,您可以访问 johnsnowlabs 企业级 NLP 库生态系统,其中包含200多种语言的21,000多个企业级 NLP 模型。有关所有24,000多个模型,请参阅 John Snow Labs 模型中心

安装与设置

pip install johnsnowlabs

安装企业功能,请运行

# for more details see https://nlp.johnsnowlabs.com/docs/en/jsl/install_licensed_quick
nlp.install()

您可以使用基于 gpucpuapple_siliconaarch 优化的二进制文件来嵌入您的查询和文档。默认使用 CPU 二进制文件。会话启动后,您必须重新启动 Notebook 才能在 GPU 或 CPU 之间切换,否则更改将不生效。

使用 CPU 嵌入查询:

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert')
output = embedding.embed_query(document)

使用 GPU 嵌入查询:

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_query(document)

使用 Apple Silicon (M1, M2 等) 嵌入查询:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_query(document)

使用 AARCH 嵌入查询:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_query(document)

使用 CPU 嵌入文档:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

使用 GPU 嵌入文档:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

使用 Apple Silicon (M1, M2 等) 嵌入文档:


```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_documents(documents)

使用 AARCH 嵌入文档:


```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_documents(documents)

模型通过 nlp.load 加载,Spark 会话则通过 nlp.start() 在后台启动。