虽然通过调整启动大模型的参数,对生成效果的提升是有限的,但适当的调整,还是能满足一些常用的场景的~

一. 【max_length】 令牌生成最大数

用于控制生成文本的最大长度,默认为 20。它的值对应于输入提示的长度加上max_new_tokens。
如果同时设置了max_new_tokens,则它的效果将被覆盖。
例如,在使用ChatGLM3大模型的时候,如果设置这个参数为2048,一旦你请求的上下文长度超过这个数值,
服务会直接抛出如下图的异常。

在这里插入图片描述

二.【min_length】令牌生成最小数

控制生成序列的最小长度,具体使用方式跟max_length类似

三.【repetition_penalty】 重复处罚的参数

1.0意味着没有惩罚

四.【temperature】输出答案的创造力发散程度

temperature 介于 0 和 1 之间,用于决定模型输出的 "创造力"。值越高,对相似问题的回答越多样化。
值越低,输出越确定性。
Logo

欢迎加入 MCP 技术社区!与志同道合者携手前行,一同解锁 MCP 技术的无限可能!

更多推荐