LLM路由工具 Wayfinder Router 可以把「简单提示词」拦在本地模型,省下云端调用费。整个判断在本地完成,不需要调用任何模型,也不需要联网。
它的原理是分析提示词的「结构复杂度」和「词汇难度」:结构看长度、标题、列表、代码块;词汇看是否包含证明、数学符号或硬约束。这些特征被量化成分数,超过阈值就送云端,低于阈值留在本地。默认只看结构,因为开发者在独立语料上的盲测显示,词汇特征对未见过的提示词提升有限,容易误判。
Wayfinder 不会给出「准确率最高」的路由方案,它的定位是提供确定性、可离线、毫秒级完成的决策入口。用户可以针对自己的实际流量重新调参。路由本身通过 OpenAI 风格的 /chat/completions 接口转发,所以本地支持 Ollama、vLLM、LM Studio,云端支持 OpenAI、Anthropic、Groq、DeepSeek 等主流 provider。配置只需写一个 toml 文件,密钥从环境变量读取,不落地存储。
工具提供终端对话和网页界面两种调试入口,用 --dry-run 模式可以纯看路由决策不实际调用模型,适合用来摸清它在自己业务场景下的表现。
编注:信源为 GitHub 项目主页,侧重产品设计思路与实现机制;未涉及实际部署成本对比或与同类路由产品的 Benchmark 数据。