John Snow Labs
John Snow Labs NLP 和 LLM 生态系统包含用于大规模尖端 AI、负责任的 AI、无代码 AI 以及访问 20,000 多个医疗保健、法律、金融等领域的模型的软件库。
模型使用nlp.load加载，并且 Spark 会话在后台使用nlp.start()启动。有关所有 24,000 多个模型，请参阅John Snow Labs 模型模型中心
设置
%pip install --upgrade --quiet johnsnowlabs
# If you have a enterprise license, you can run this to install enterprise features
# from johnsnowlabs import nlp
# nlp.install()
示例
from langchain_community.embeddings.johnsnowlabs import JohnSnowLabsEmbeddings
API 参考：JohnSnowLabsEmbeddings
初始化 Johnsnowlabs 嵌入和 Spark 会话
embedder = JohnSnowLabsEmbeddings("en.embed_sentence.biobert.clinical_base_cased")
定义一些示例文本。这些可以是您想要分析的任何文档——例如，新闻文章、社交媒体帖子或产品评论。
texts = ["Cancer is caused by smoking", "Antibiotics aren't painkiller"]
为文本生成并打印嵌入。JohnSnowLabsEmbeddings 类为每个文档生成一个嵌入，它是文档内容的数值表示。这些嵌入可用于各种自然语言处理任务，例如文档相似性比较或文本分类。
embeddings = embedder.embed_documents(texts)
for i, embedding in enumerate(embeddings):
print(f"Embedding for document {i+1}: {embedding}")
为单个文本片段生成并打印嵌入。您还可以为单个文本片段（例如搜索查询）生成嵌入。这对于信息检索等任务很有用，在这些任务中，您希望找到与给定查询类似的文档。
query = "Cancer is caused by smoking"
query_embedding = embedder.embed_query(query)
print(f"Embedding for query: {query_embedding}")