lmdeploy serve api_server /dockerdata/Intern-S1/ --reasoning-parser intern-s1 --tool-call-parser intern-s1 --tp 8 启动服务
在api请求中设置
for item in api_client.chat_completions_v1(model=model_name,
max_tokens=length,
do_sample=True,
temperature=0.7,
top_p=0.8,
extra_body={
"enable_thinking": True,
},
messages=messages):
outputs = item['choices'][0]['message']['content']
但是无法生成带think的回答，回答只有答案。
lmdeploy serve api_server /dockerdata/Intern-S1/ --reasoning-parser intern-s1 --tool-call-parser intern-s1 --tp 8 启动服务
在api请求中设置
for item in api_client.chat_completions_v1(model=model_name,
max_tokens=length,
do_sample=True,
temperature=0.7,
top_p=0.8,
extra_body={
"enable_thinking": True,
},
messages=messages):
outputs = item['choices'][0]['message']['content']
但是无法生成带think的回答，回答只有答案。