Skip to content

vllm部署自己模型之后不能在claude code里面正常发起工具调用 #351

@zzzsizeli

Description

@zzzsizeli

我部署了Qwen的开源模型,我发现它不能按照Anthropic tool-calling的格式输出内容,哪怕我修改了多轮提示词,它也只是假装写了一个文本类型的json,完全无法发起工具使用,这相当于目前可以在claude code中用openai协议连接自己本地的模型,但是因为本地开源模型没有做Anthropic tool-calling格式的训练微调,不支持这套协议,没办法调用工具?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions