Spring AI Ops 개발기 — Grafana Alerting과 GitHub Repository에 Push된 Code를 AI로 분석하는 실시간 대시보드

Grafana Alert 발생
        │
        ▼
POST /webhook/grafana/{application}
  └─ CompletableFuture.runAsync (Virtual Thread)
            │
            ├─ 1. GrafanaAlert에서 Loki 스트림 셀렉터 구성
            │       {job="my-app", namespace="prod", pod="api-xyz"}
            │
            ├─ 2. 시간 범위 계산
            │       start = startsAt − 5분 버퍼 (Unix nanoseconds)
            │       end   = endsAt (zero-value "0001-..." 이면 현재 시각)
            │
            ├─ 3. Loki query_range API 호출
            │
            ├─ 4. LLM에 분석 요청
            │       System: "expert in application errors and logs"
            │       User:   Alert 컨텍스트 + 로그 라인
            │               → 근본 원인 / 영향 범위 / 조치 방법 (markdown)
            │
            ├─ 5. Redis에 AnalyzeFiringRecord 저장 (TTL: 5일)
            │
            └─ 6. /topic/firing 으로 WebSocket push

@PostMapping(value = ["/grafana", "/grafana/{application}"])
fun grafanaAlert(
    @RequestBody request: GrafanaAlertingRequest,
    @PathVariable application: String?
): GrafanaAlertingResponse {
    if (request.isResolved()) {
        return GrafanaAlertingResponse.of(AlertingStatus.RESOLVED)
    }
    CompletableFuture.runAsync({ analyzeFacade.analyzeFiring(request, application) }, executor)
    return GrafanaAlertingResponse.of(AlertingStatus.ACCEPTED)
}

@Bean(TaskExecutionAutoConfiguration.APPLICATION_TASK_EXECUTOR_BEAN_NAME)
fun applicationTaskExecutor(): AsyncTaskExecutor =
    TaskExecutorAdapter(Executors.newVirtualThreadPerTaskExecutor())

private val LOKI_LABEL_KEYS = setOf(
    "job", "instance", "namespace", "pod", "container",
    "service_name", "app", "cluster", "env", "environment", "application"
)

fun lokiLabels(): Map<String, String> = labels.filterKeys { it in LOKI_LABEL_KEYS }

git push 이벤트
        │
        ▼
POST /webhook/github/{application}
  └─ CompletableFuture.runAsync (Virtual Thread)
            │
            ├─ 1. before/after SHA 추출
            │       before == "0000...0000" (첫 push) → GET /commits/{sha}
            │       otherwise                          → GET /compare/{base}...{head}
            │
            ├─ 2. 변경 파일별 diff(patch) 수집
            │
            ├─ 3. LLM에 코드 리뷰 요청
            │       System: "expert code reviewer"
            │       User:   파일별 diff
            │               → 변경 요약 / 잠재 이슈 / 보안 / 개선 제안 (markdown)
            │
            ├─ 4. Redis에 CodeReviewRecord 저장 (TTL: 5일)
            │
            └─ 5. /topic/commit 으로 WebSocket push

private fun createGithubUrl(request: GithubPushRequest): String =
    when {
        request.isNewBranch() -> "${request.repository.htmlUrl}/commit/${request.after}"
        else -> "${request.repository.htmlUrl}/compare/${request.before}...${request.after}"
    }

private fun buildChatModel(llm: String, apiKey: String): ChatModel {
    val toolCallingManager = ToolCallingManager.builder().build()
    val retryTemplate = RetryUtils.DEFAULT_RETRY_TEMPLATE
    val observationRegistry = ObservationRegistry.NOOP

    return when (llm) {
        "openai" -> {
            val api = OpenAiApi.builder().apiKey(apiKey).build()
            val options = OpenAiChatOptions.builder().model(openAiModel).build()
            OpenAiChatModel(api, options, toolCallingManager, retryTemplate, observationRegistry)
        }
        "anthropic" -> {
            val api = AnthropicApi.builder().apiKey(apiKey).build()
            val options = AnthropicChatOptions.builder().model(anthropicModel).maxTokens(1024).build()
            AnthropicChatModel(api, options, toolCallingManager, retryTemplate, observationRegistry)
        }
        else -> throw IllegalArgumentException("Unknown LLM provider: $llm")
    }
}

fun listPushWithTtl(key: String, value: String, ttlHours: Long) {
    opsForList().leftPush(key, value)
    expire(key, ttlHours, TimeUnit.HOURS)
}

async function handleFiringRecord(record) {
    const appName = record.application;
    // 로컬 unshift 제거 → API에서 최신 목록 전체를 가져옴
    await loadFiringList(appName);
    appSelectedFiringIdx[appName] = 0;
    // ...렌더링
}