如何从 LLM 流式传输响应
所有 LLM
都实现了 Runnable 接口,该接口自带标准 runnable 方法的默认实现(例如 ainvoke
、batch
、abatch
、stream
、astream
、astream_events
)。
默认的流式实现提供一个 Iterator
(对于异步流式处理,则为 AsyncIterator
),该迭代器会产生一个单一值:底层聊天模型提供商的最终输出。
逐个令牌地流式输出的能力取决于提供商是否实现了正确的流式支持。
请在此处查看哪些集成支持逐令牌流式传输。
注意
默认实现不提供逐个令牌流式传输的支持,但它确保该模型可以替换任何其他模型,因为它支持相同的标准接口。
同步流
下面我们使用 |
来帮助可视化令牌之间的分隔符。
from langchain_openai import OpenAI
llm = OpenAI(model="gpt-3.5-turbo-instruct", temperature=0, max_tokens=512)
for chunk in llm.stream("Write me a 1 verse song about sparkling water."):
print(chunk, end="|", flush=True)
API 参考:OpenAI
|Spark|ling| water|,| oh| so clear|
|Bubbles dancing|,| without| fear|
|Refreshing| taste|,| a| pure| delight|
|Spark|ling| water|,| my| thirst|'s| delight||
异步流
让我们看看如何在异步设置中使用 astream
进行流式传输。
from langchain_openai import OpenAI
llm = OpenAI(model="gpt-3.5-turbo-instruct", temperature=0, max_tokens=512)
async for chunk in llm.astream("Write me a 1 verse song about sparkling water."):
print(chunk, end="|", flush=True)
API 参考:OpenAI
|Spark|ling| water|,| oh| so clear|
|Bubbles dancing|,| without| fear|
|Refreshing| taste|,| a| pure| delight|
|Spark|ling| water|,| my| thirst|'s| delight||
异步事件流
LLM 还支持标准的 astream events 方法。
提示
当在包含多个步骤(例如,包含 agent
的应用程序)的更大的 LLM 应用程序中实现流式传输时,astream_events
最有用。
from langchain_openai import OpenAI
llm = OpenAI(model="gpt-3.5-turbo-instruct", temperature=0, max_tokens=512)
idx = 0
async for event in llm.astream_events(
"Write me a 1 verse song about goldfish on the moon", version="v1"
):
idx += 1
if idx >= 5: # Truncate the output
print("...Truncated")
break
print(event)
API 参考:OpenAI