🏟️ Agent Arena 기반 MCO 에이전트 채점

도입일: 2026-06-27 · 출처: arena.ai/leaderboard/agent · 방법론

왜 추가했나

기존 MCO 평가자(mco-eval --grade)의 4축(correctness/completeness/safety/quality)은 "코드·산출물 품질" 을 본다. 그러나 Agent Arena 리더보드(2026-06, 773,605 세션·28모델)는 "에이전트가 도구를 얼마나 잘 오케스트레이션했는가" 라는 다른 차원을 측정한다 — 실제 에이전트 실패의 대부분은 여기서 난다.

리더보드 1위는 Claude Fable 5(High, +14.0%), 2위 Claude Opus 4.8(Thinking, +8.89%). 평가 방식은 pairwise 투표가 아닌 causal tracing(multi-intervention RCT + inverse-probability weighting + time-decay).

5개 신호 (각 0~20점, 총 100)

신호	측정 내용
`tool_reliability`	도구 환각·잘못된 호출 문법·CoT 토큰의 도구 인자 누출 없음
`bash_recovery`	명령/도구 오류에서 자율 복구(원인 파악·재시도). 포기·방치는 큰 감점
`steerability`	사용자 중도 정정 수용. 고집·허세(bluster)로 무시하면 감점
`completeness`	다부분 요청 전부 처리. 조용한 누락("bluffing")·미완을 완료로 위장하면 큰 감점
`task_success`	검증 가능한 실제 완료. 근거 없는 "완료했다" 주장은 감점

결정적 위생 린터 (LLM 불필요·항상 ON·비용 0)

Arena 권고를 코드로 직접 구현. LLM 채점 전에 정규식으로 선검출하여 거짓 통과를 차단한다:

placeholder/bluffing 마커: ...이하 생략, TODO, (생략), <여기에…> → hard flag
도구 호출 누출: <tool_call>, functions.foo(, 직렬화된 tool call → hard flag
CoT 누출: <thinking>, 생각: → soft flag
오류 방치: 에러 보고 후 복구 시도 없이 종료 → soft flag

hard flag 는 LLM 점수와 무관하게 must_fix 에 합류 + 점수 차감 → 거짓 완료(false completion) 통과 불가.

사용법

# CLI: 에이전트 트랜스크립트 채점
mco-eval --arena "사용자: … 에이전트: …"
#  → {"pass":bool,"score":0-100,"signals":{…5신호},"must_fix":[…],"lint":{…}}

# 오케스트레이터를 arena rubric 으로 (도구오케스트레이션 작업)
mco-orchestrate --arena "큰 작업 설명"

# HTTP API (api.star365.site)
curl -X POST https://api.star365.site/api/mco/arena-grade \
  -H 'content-type: application/json' \
  -d '{"transcript":"…에이전트 세션…","threshold":80}'

curl https://api.star365.site/api/mco/arena-info   # 방법론·신호 정의

GAN 분리 유지

이 채점은 eval chain(groq70→glm→…→claude-cli 폴백)으로만 돌며 생성에 미관여. 평가자는 코드를 수정하지 않고 verdict 만 반환한다. 채점 실패 시 fail-safe(통과 보류).

구현 위치

/opt/star365-hq/api/arena-rubric.mjs — 공유 모듈(프롬프트·파서·린터·메타)
/opt/star365-hq/api/mco-eval.mjs --arena — CLI 채점
/opt/star365-hq/api/mco-orchestrate.mjs --arena — fan-out grader rubric 전환
/opt/star365-hq/api/server.mjs — POST /api/mco/arena-grade, GET /api/mco/arena-info