跳到主要内容

对话前缀续写（Beta）

对话前缀续写沿用 Chat Completion API，用户提供 assistant 开头的消息，来让模型补全其余的消息。

使用方法​

要使用对话前缀续写，需要：

  1. 用户需要设置 base_url="https://yuansuo.top/beta" 来开启 Beta 功能
  2. 在最后的 assistant 消息中，设置 prefix: true 参数

样例代码​

下面给出了对话前缀续写的完整 Python 代码样例。在这个例子中，我们设置 assistant 开头的消息为 "```python\n" 来强制模型输出 python 代码，并设置 stop 参数为 ['```'] 来避免模型的额外解释。

from openai import OpenAI

client = OpenAI(
    api_key="<your api key>",
    base_url="https://yuansuo.top/beta",
)

messages = [
    {"role": "user", "content": "Please write quick sort code"},
    {"role": "assistant", "content": "```python\n", "prefix": True}
]
response = client.chat.completions.create(
    model="SpAk-Aster-V1-MOE",
    messages=messages,
    stop=["```"],
)
print(response.choices[0].message.content)