blog: Prompt-Dump: LLM의 메타인지 벤치마크 평가를 위한, 수만대 규모의 AI NPC 자율 트레이딩 시

[hank-kim97]

Summary

수만 대 AI NPC가 실제 주식·암호화폐 데이터로 자율 거래하는 대규모 시뮬레이션에서, 초기 버전은 LLM 환각으로 30분 만에 전원 파산했으나 Brave Search 기반 실시간 팩트체크를 통한 메타인지 파이프라인 도입 후 안정화되었습니다. 가장 중요한 발견은 메타인지가 개별 환각은 차단하지만 집단 군집 행동은 방지하지 못한다는 점으로, 개별 AI의 합리성이 시스템 전체의 합리성을 보장하지 못함을 실증했습니다. 부속 산출물인 FINAL Bench는 MA(인지 능력) 0.694 vs ER(수행 능력) 0.302의 격차를 측정하며, 자기 오류를 인정하지만 행동은 수정하지 않는 AI가 가장 위험함을 보여줍니다. 다중 에이전트 시스템 운영 시 개별 정렬과 집단 정렬은 분리된 문제이므로, 개별 에이전트 안전성 검증만으로는 전체 시스템 안전성을 보장할 수 없다는 운영적 시사점을 제시합니다.

Meta

Category	knowledge-sharing
Tags
Author	hank
Reading time	~12min
Notion	원본 보기

Review Checklist

• TL;DR이 글 내용을 정확히 요약하는가 (AI 생성)
• 본문이 Notion 원문과 일치하는가
• 태그가 적절한가
• 이미지가 정상 표시되는가
• 민감 정보가 포함되어 있지 않은가

🔐 머지 정책: Sung(@seongyeon1) + Jaehun(@ash-hun) 두 명의 승인이 모두 필요합니다.

---

notion_page_id: 344adc4b-2553-8065-aa6c-e743eab5e5d9