###任意のモデルのための普遍的なLM最適化POC

Programmatic Tool Calling は、従来のマルチ・ラウンド・トリップ・ツールをコード生成とサンドボックスされた実行と交換することにより、LM の推論コストと遅延を大幅に削減するための新しいアプローチです。

2025年11月発表のAnthropicのベータ機能に触発された。 このプロジェクトは、AIゲートウェイを介して100以上のモデルを含むVercel AI SDKを通じて、any LLMで動作するようにパラダイムを拡張します。

お問い合わせ

問題

従来の LLM ツールコールは、特に MCP では、非効率** です。

✨ ソリューション

PTC は、ツールのオーケストレーションを単一のコード生成 + 実行に変換します。

お問い合わせ

信頼できる効率の利益

| メトリック | 伝統的 | PTC | 改善 | お問い合わせ |LLM 往復 | N(工具) | 2(固定) | 90% 削減 | | コンテキスト成長 | 指数関数 | 定数 | 85% 効率 | |トークン使用時 | 〜70,000(工具) | 〜14,000 | 80% 削減 | | ※レイテンシ** | シーケンシャル | 並列 | 3-5倍 | |MCPツールコール | N 往復 | 1 コード実行 | 60-80% 削減 |

お問い合わせ

️️ 建築

お問い合わせ

✔ キー機能

###**** ユニバーサルモデルのサポート

🚀 Programmatic Tool Calling with AI SDK

A Universal LLM Optimization POC for Any Model

Programmatic Tool Calling is a novel approach to dramatically reduce LLM inference costs and latency by replacing traditional multi-round-trip tool calling with code generation and sandboxed execution.

💡 Inspired by Anthropic’s beta capabilities announced November 2025. This project extends that paradigm to work with any LLM through the Vercel AI SDK, including 100+ models via the AI Gateway.

---

🎯 The Problem

Traditional LLM tool calling is inherently inefficient, especially with MCP:

User: "Get data for users 1-5 and find the highest scorer"

Traditional Approach (N round-trips):
┌─────────────────────────────────────────────────────────────┐
│ Round 1: LLM → getUser(1) → result → LLM (context grows)    │
│ Round 2: LLM → getUser(2) → result → LLM (context grows)    │
│ Round 3: LLM → getUser(3) → result → LLM (context grows)    │
│ Round 4: LLM → getUser(4) → result → LLM (context grows)    │
│ Round 5: LLM → getUser(5) → result → LLM (context grows)    │
│ Round 6: LLM → final answer                                  │
└─────────────────────────────────────────────────────────────┘
                         ⬇️
            6 LLM calls × full context each
            Accumulated results pollute context
            High latency, high token cost

✨ The Solution

PTC transforms tool orchestration into a single code generation + execution:

Programmatic Approach (1 round-trip):
┌─────────────────────────────────────────────────────────────┐
│ Round 1: LLM generates JavaScript:                          │
│   const users = await Promise.all([                         │
│     getUser({ id: '1' }), getUser({ id: '2' }),             │
│     getUser({ id: '3' }), getUser({ id: '4' }),             │
│     getUser({ id: '5' })                                    │
│   ]);                                                        │
│   return users.sort((a,b) => b.score - a.score)[0];         │
│                                                              │
│ → Execute in Sandbox → Return final result only             │
│                                                              │
│ Round 2: LLM receives final answer, responds to user        │
└─────────────────────────────────────────────────────────────┘
                         ⬇️
            2 LLM calls total
            Intermediate results never enter context