Completion

• model: 模型名称。

• prompt:模型的输入,越好的提示就能越好的输入，示例中提示模型"one apple a day,",模型回答"keeps the doctor away.".

• max_tokens:模型生成的最大token数，一些模型最大是4096，一般是2048

• temperature:取值在0-2之间，数值越大输出越随机，反之输出越集中和固定。

• top_p:取值在0-1之间，这个参数定义了一个累计概率阈值。具体来说，模型首先会按照概率值对所有可能的词进行排序，然后从最可能的词开始，累积其概率，直到总和达到top_p为止。然后，模型将从这个"nucleus"或"top p"的词的集合中随机选择一个词作为下一个词。如果你设定一个较高的top_p值，那么模型的输出会包含更多的随机性；如果设定一个较低的top_p值，那么模型的输出将更加确定和一致。temperature和top_p用一个就行。

• n:模型生成n个回答，这个会大量消耗token。

• logprobs：此参数用于指定模型返回的可能性最高的n个选项及其对数概率

参数说明

候选token

• 贪心策略：选择概率最高的事件。

• top-k Top-k采样是对前面“贪心策略”的优化，它从排名前k的token种进行抽样，允许其他分数或概率较高的token也有机会被选中。top_k=3

• top-p 将可能性之和不超过特定值的top tokens列入候选名单。例如top_p=0.15

采样率

llama的实现方式

chat

1. system（系统提示）:
• 用途：通常用于设置聊天的上下文或者提供系统级别的指示和配置信息。
• 场景：比如在对话开始前，系统可以发送一条消息来设定对话的规则或者说明助手的功能。

2. user（用户）:
• 用途：代表实际的用户输入，即用户向聊天系统提出的问题或者发起的对话内容。
• 场景：用户的任何提问、命令或者交流都通过这个角色来表达，这是聊天流程中最常见的角色。

3. assistant（智能助手）:
• 用途：代表智能助手的回复或者动作，是模型根据用户输入给出的响应。
• 场景：在接收到用户的消息后，助手根据用户的需求提供信息、答案或者执行特定的任务。

embedding

images

Audio

FineTune