앤스로픽, AI '개념 추론' 지수 CRI 공개

앤스로픽(Anthropic)과 레드우드 리서치(Redwood Research)가 인공지능의 '개념 추론' 능력을 재는 벤치마크 3종과 이를 종합한 지표 '개념 추론 지수(Conceptual Reasoning Index, CRI)'를 8월 12일 공개했다. 개념 추론이란 실험이나 계산으로 정답을 확인할 수 없어 오직 논증의 질로만 승부해야 하는 사고를 말한다. 철학, AI의 미래 예측, 거버넌스 판단 같은 영역이 여기에 속한다.

무슨 일인가 — 왜 '검증 불가능한 사고력'을 재나

현재의 AI 학습은 풍부한 데이터와 성과에 대한 신뢰할 만한 피드백에 크게 의존한다. 그래서 수학·코딩처럼 정답 확인이 되는 과제에서는 빠르게 강해졌지만, 경험적으로 검증할 수 없는 과제에서는 상대적으로 약하다. 문제는 AI 위험을 줄이는 작업 상당수가 바로 그런 과제라는 점이다. 어떤 연구를 우선할지, 어떤 규제가 통할지는 피드백이 아주 늦게 오거나 아예 오지 않는다. 연구진은 이 능력을 측정할 수 있어야 개선도 가능하다는 판단에서 벤치마크를 만들었다고 설명한다.

핵심 짚어보기 — 세 가지 측정 도구

첫째 LMCA는 결정이론·철학·AI 위험 등 다양한 주제의 입장문 560개와 그에 대한 반론 1,461개를 전문가가 평가한 데이터셋이다(평가 총 2,140건). 모델에게 같은 반론을 평가하게 한 뒤 전문가 평점과 얼마나 일치하는지를 본다. 둘째 ACCoRD는 논리적 일관성을 잰다. 예컨대 한 인스턴스에 사건 A의 확률을, 다른 인스턴스에 A와 B가 동시에 일어날 확률을 물었을 때 앞의 값이 뒤보다 작게 나오면 논리 위반이다. 모델이 생성한 일관성 제약 약 1만4,000개 가운데 사람이 검수해 승인한 567개가 지수에 반영된다. 특정 주제에서 일관성이 무너진다는 것은 그 주제에 대한 모델의 추론을 기본값으로 신뢰하면 안 된다는 신호다. 셋째 DTBench는 의사결정 이론 역량을 측정한다. 세 결과를 종합한 CRI는 전용 사이트(conceptualreasoning.ai)에 모델별로 공개되며 새 모델이 나올 때마다 갱신될 예정이다.

1인기업 실전 적용 포인트

• AI에게 맡기는 일을 두 종류로 나눠라. 결과 검증이 되는 일(코드·계산·요약)과 안 되는 일(가격 전략·포지셔닝 판단)은 신뢰 수준을 다르게 잡아야 한다. 후자는 AI의 결론이 아니라 논증을 받아서 사람이 검토하는 편이 안전하다.
• ACCoRD식 일관성 검사를 흉내 내라. 중요한 판단은 같은 질문을 각도만 바꿔 두세 번 묻고, 답이 서로 모순되면 그 주제에서는 모델의 의견을 참고 수준으로 강등하라.
• 결론 대신 반론을 시켜라. LMCA가 논증 평가 능력을 재는 이유와 같은 맥락이다. '이 전략에 대한 가장 강한 반론 3개'를 요구하는 쪽이 '이 전략 어때?'보다 훨씬 쓸모 있는 출력을 준다.
• 모델 고를 때 참고 지표로. 전략 상담 용도의 모델을 고른다면 코딩 벤치마크 대신 볼 수 있는 드문 지표다.

전망

검증 가능한 과제의 벤치마크는 포화 상태에 가깝지만 논증의 질을 재려는 시도는 이제 시작이다. 평가자 주관성이라는 근본 한계는 남아 있으나, 연구진은 다인 교차 평가에서 사람 간 일치도가 사람과 모델 사이 일치도보다 높았다고 밝혔다. 정답 없는 문제에서 AI를 어디까지 믿을 수 있는가는 앞으로 모델을 고르는 핵심 질문이 될 것이다.

출처: Anthropic Alignment Science Blog (https://alignment.anthropic.com/2026/conceptual-reasoning-index/)