LLM Orchestrator

개요

오케스트레이터는 ModelSelectionStrategy를 사용하여 각 요청에 적합한 모델을 선택하고, AdvisorRegistry를 통해 등록된 Spring AI Advisor를 자동으로 적용하며, SecurityTaskType, AnalysisLevel, 또는 명시적 티어 번호에 따른 계층형 모델 라우팅을 지원합니다. 또한 일시적인 I/O 장애에 대해 지수 백오프 재시도 로직을 처리합니다.

LLMClient

모든 LLM 상호작용을 위한 기본 인터페이스입니다. 가장 단순한 호출, 엔티티 추출, Streaming 메서드를 제공합니다.

ToolCapableLLMClient

에이전트 워크플로우를 위한 Tool/함수 호출 기능으로 LLMClient를 확장합니다.

LLMOperations

원시 Prompt 객체 대신 ExecutionContext를 받는 상위 수준 인터페이스입니다. 내부 플랫폼 코드에서 선호되는 인터페이스입니다.

ExecutionContext

LLM 실행 요청의 모든 파라미터를 담는 Lombok @Builder 데이터 클래스입니다. 모델 선택, Tool 호출, 런타임 옵션을 구성하는 주요 방법입니다.

팩토리 및 헬퍼 메서드

SecurityTaskType Enum

보안 작업을 분류하며, 모델 선택을 위한 기본 LLM 티어를 결정합니다.

AnalysisLevel Enum

UnifiedLLMOrchestrator

모든 것을 연결하는 구체적인 구현체입니다. LLMOperations와 ToolCapableLLMClient를 모두 구현합니다.

생성자 의존성

주요 동작

• Advisor 통합 — AdvisorRegistry의 모든 활성화된 Advisor를 생성되는 모든 ChatClient 인스턴스에 자동 적용합니다. Advisor 스냅샷은 캐시되며 활성화 집합이 변경되면 재구축됩니다.
• 모델 선택 — 티어, 선호 모델, 분석 수준, 보안 작업 유형을 고려하는 ModelSelectionStrategy.selectModel()에 위임합니다.
• 재시도 로직 — 실행 중 IOException에 대해 지수 백오프 재시도 (최대 2회)를 적용합니다.
• Ollama 최적화 — OllamaChatModel 인스턴스를 감지하고 모델 이름, temperature, topP, numPredict 설정이 포함된 OllamaOptions를 적용합니다.

코드 예제

티어 선택을 통한 기본 LLM 호출

ExecutionContext context = ExecutionContext.builder()
        .prompt(new Prompt("Analyze this request for threats"))
        .securityTaskType(SecurityTaskType.THREAT_FILTERING)
        .userId("user-123")
        .requestId(UUID.randomUUID().toString())
        .build();

String result = orchestrator.execute(context).block();

Tool 호출 실행

Prompt prompt = new Prompt(
        "Investigate and block suspicious IP 192.168.1.100");

String result = orchestrator.callTools(
        prompt, List.of(ipBlockTool, auditTool)).block();

ExecutionContext를 사용한 Streaming

ExecutionContext context = ExecutionContext.builder()
        .prompt(new Prompt("Perform deep forensic analysis"))
        .securityTaskType(SecurityTaskType.FORENSIC_ANALYSIS)
        .streamingMode(true)
        .build();

orchestrator.stream(context)
        .subscribe(chunk -> sendToClient(chunk));

관련 문서