跳到主要内容

创建补全

POST /completion

创建 FIM(Fill In the Middle)补全。用户可以提供前缀(prompt)和后缀(suffix,可选),模型来补全中间的内容。

注意事项​

  1. 该接口为 Beta 功能,用户需要设置 base_url="https://yuansuo.top/beta"。
  2. 仅非思考模式支持 FIM 补全。
  3. 模型的最大补全长度为 4K。

Request​

  • application/json

Body​

model string · required

Possible values: [SpAk-Aster-V1-MOE]

使用的模型的 ID。FIM 补全仅非思考模式支持。

prompt string · required

用于生成补全的前缀,即正在编写的内容。

suffix string · nullable

用于生成补全的后缀,即正在编写的内容之后的内容。

max_tokens integer · nullable

限制一次请求中模型生成 completion 的最大 token 数。模型的最大补全长度为 4K。

temperature number · nullable

Possible values: <= 2

Default value: 1

采样温度,介于 0 和 2 之间。更高的值,如 0.8,会使输出更随机,而更低的值,如 0.2,会使其更加集中和确定。

top_p number · nullable

Possible values: <= 1

Default value: 1

作为调节采样温度的替代方案,模型会考虑前 top_p 概率的 token 的结果。

stop

object · nullable

一个 string 或最多包含 16 个 string 的 list,在遇到这些词时,API 将停止生成更多的 token。

stream boolean · nullable

如果设置为 True,将会以 SSE(server-sent events)的形式以流式发送消息增量。消息流以 data: [DONE] 结尾。

Responses​

  • 200

OK, 返回 completion 对象。

  • application/json

Schema

id string · required

该补全的唯一标识符。

choices

object[] · required

模型生成的 completion 的选择列表。

  • Array [

finish_reason string · required

Possible values: [stop, length, content_filter, insufficient_system_resource]

模型停止生成 token 的原因。

index integer · required

该 completion 在模型生成的 completion 的选择列表中的索引。

logprobs object · nullable

该 choice 的对数概率信息。

text string · required

模型生成的补全内容。

  • ]

created integer · required

创建补全时的 Unix 时间戳(以秒为单位)。

model string · required

生成该 completion 的模型名。

system_fingerprint string · required

This fingerprint represents the backend configuration that the model runs with.

object string · required

Possible values: [completion]

对象的类型, 其值为 completion。

usage

object

该补全请求的用量信息。

completion_tokens integer · required

模型 completion 产生的 token 数。

prompt_tokens integer · required

用户 prompt 所包含的 token 数。

total_tokens integer · required

该请求中,所有 token 的数量(prompt + completion)。