IQ Routing

IQ Routing 是一个即插即用的网关。我们会对每个请求进行分类，从缓存中提供服务，并将请求路由到能够满足质量标准且成本最低的模型。其他人忽视的一个关键点是：代理（Agent）是一个过程，而不是一系列独立的调用。我们根据每个步骤在执行过程中的位置来进行路由：在处理常规内容时选择便宜的模型，而在关键任务上则使用最强的模型。