LLMCompiler

LLMCompiler 是一个用于并行函数调用的编译器框架，能够自动识别哪些任务可以并行执行，哪些是相互依赖的。它解决了当前多函数调用方法中因顺序推理和执行导致的高延迟、高成本及不准确行为问题。用户只需指定工具及相关示例，LLMCompiler 就能自动计算出优化后的函数调用方案。适用于开源模型如 LLaMA 和闭源模型如 OpenAI 的 GPT 系列。