어떤 모형을 위한 보편적인 LLM 최적화 POC

Programmatic Tool Calling는 코드 생성 및 샌드박스 실행을 호출하는 기존의 멀티 라운드 스트립 도구를 대체함으로써 LLM 인워싱 비용과 대기 시간을 극적으로 줄일 수있는 새로운 방법입니다.

Áthropic의 베타 기능은 11월 2025일 발표되었습니다. 이 프로젝트는 Vercel AI SDK를 통해 ** 어떤 LLM**와 함께 작동하기 위해 paradigm을 확장합니다.

---

문제

전통적인 LLM 도구 호출은 **가장 효율적으로 **, 특히 MCP :

✨ 해결책

PTC는 단일 코드 생성 + 실행으로 툴 오케스트라를 변환합니다.

---

Pro Proven 효율성 이익

---

️ 건축

---

! 키 기능

☸ 모형 지원

🚀 Programmatic Tool Calling with AI SDK

A Universal LLM Optimization POC for Any Model

Programmatic Tool Calling is a novel approach to dramatically reduce LLM inference costs and latency by replacing traditional multi-round-trip tool calling with code generation and sandboxed execution.

💡 Inspired by Anthropic’s beta capabilities announced November 2025. This project extends that paradigm to work with any LLM through the Vercel AI SDK, including 100+ models via the AI Gateway.

---

🎯 The Problem

Traditional LLM tool calling is inherently inefficient, especially with MCP:

User: "Get data for users 1-5 and find the highest scorer"

Traditional Approach (N round-trips):
┌─────────────────────────────────────────────────────────────┐
│ Round 1: LLM → getUser(1) → result → LLM (context grows)    │
│ Round 2: LLM → getUser(2) → result → LLM (context grows)    │
│ Round 3: LLM → getUser(3) → result → LLM (context grows)    │
│ Round 4: LLM → getUser(4) → result → LLM (context grows)    │
│ Round 5: LLM → getUser(5) → result → LLM (context grows)    │
│ Round 6: LLM → final answer                                  │
└─────────────────────────────────────────────────────────────┘
                         ⬇️
            6 LLM calls × full context each
            Accumulated results pollute context
            High latency, high token cost

✨ The Solution

PTC transforms tool orchestration into a single code generation + execution:

Programmatic Approach (1 round-trip):
┌─────────────────────────────────────────────────────────────┐
│ Round 1: LLM generates JavaScript:                          │
│   const users = await Promise.all([                         │
│     getUser({ id: '1' }), getUser({ id: '2' }),             │
│     getUser({ id: '3' }), getUser({ id: '4' }),             │
│     getUser({ id: '5' })                                    │
│   ]);                                                        │
│   return users.sort((a,b) => b.score - a.score)[0];         │
│                                                              │
│ → Execute in Sandbox → Return final result only             │
│                                                              │
│ Round 2: LLM receives final answer, responds to user        │
└─────────────────────────────────────────────────────────────┘
                         ⬇️
            2 LLM calls total
            Intermediate results never enter context