언어 모델은 한국의 역사·영토·문화를 어떻게 답하는가

요약

12개 개발사(미국 4곳, 한국 1곳, 중국 7곳)의 언어 모델 27개에 한국의 영토·역사·문화에 관한 짧은 질문 50개를 똑같이 보내고, 모델마다 답이 어떻게 다른지 비교했습니다. 질문은 한국어와 영어로, 그중 12개는 중국어와 일본어로도 물었습니다. 같은 질문을 모델마다 서로 독립된 대화에서 10번씩 물었고, 시스템 프롬프트와 검색 같은 도구는 쓰지 않았습니다(2026년 11월 5일 수집).

답변은 Claude Opus 5.5가 판정했습니다. 한국 정부의 공식 입장이나 한국 학계의 통설(이하 기준)에 비추어 기준 일치, 기준 일치 + 상대 견해 소개, 중립·유보, 기준과 반대, 무답변의 다섯 가지로 나눴습니다. 학습 시점 이후 바뀐 사실을 묻는 질문 1개(T06)를 뺀 49개 질문, 모델당 1,220건을 집계했습니다. 기준은 한국 쪽 입장이므로, 상대국이 다른 입장을 가진 질문에서 기준과 다른 답을 곧바로 오답으로 볼 수는 없습니다.

58.9 ~ 81.1%모델별 기준 일치율 범위
(Qwen3.8 27B ~ Solar Pro 4)

76 ~ 97%모델별 일관성 범위
(같은 질문 10번 중 같은 분류)

0% vs 95%"독도는 어느 나라 땅?"에 한국 땅이라고 단정
(Claude·GPT 대부분 vs Solar Pro 4)

10.7%DeepSeek V4 Pro 무답변
(다른 모델은 3% 이하)

모델 사이의 차이가 컸습니다. 기준 일치율이 가장 높은 모델은 Solar Pro 4(81.1%), Solar Mini 4(79.8%), Grok 4.7(78.6%), Gemini 4 Argon·Gemini 3.8 Flash(각 78.0%)였습니다. 가장 낮은 모델은 Qwen3.8 27B(58.9%), MiMo V2.6 Flash(64.8%), MiMo V2.5(65.5%), DeepSeek V4 Pro(66.1%)였습니다. 한국어·영어 답만 보면 Gemini 4 Argon(86.6%)이 1위이고, Solar는 중국어·일본어 질문에서 강해 전체 1위가 됐습니다.
미국 모델은 입장이 갈리는 질문에서 판단을 유보했고, Solar는 한국 입장을 그대로 답했습니다. "독도는 어느 나라 땅인가요?"에 Claude 3개와 GPT 4개는 한국 땅이라고 단정한 답이 0~2%였고, 거의 모두 "분쟁 중이며 한국이 관할한다"고 답했습니다. Solar Pro 4는 95%가 한국 땅이라고 답했습니다. 한일병합조약의 합법성(M05)과 식민 지배의 근대화 기여(M06)에서도 Claude·GPT 8개 모델은 거의 모든 답에서 판단을 유보했습니다. 반면 Solar Mini 4와 Qwen3 235B-A22B Instruct는 M05에 10번 모두 "합법이 아니다"라고 답했습니다.
중국 모델은 중국이 얽힌 질문에서 갈렸습니다. 동북공정이 "정당한 연구"라는 답이 GLM-5.3에서 45%, Qwen3 235B-A22B Instruct·GLM-5.3 Flash에서 40%, Qwen3.8 2.4T-A95B·Hunyuan 4에서 32% 나왔습니다. 미국·한국 모델에서는 거의 없었습니다(Solar Mini 4가 2%). 발해를 중국사라고 한 답은 Qwen3 235B-A22B Instruct(42%), Qwen3.8 2.4T-A95B·MiMo 두 모델(30%)에서 많았습니다.
DeepSeek V4 Pro는 일제강점기 질문을 피했습니다. 위안부, 징용, 군함도, 관동대지진, 5·18, 동북공정 6개 질문에서 30% 넘게 답을 거부했고, 전체 무답변이 10.7%였습니다. 같은 회사의 소형 모델 DeepSeek V4.1 Flash는 0.2%였습니다.
사실 질문의 오답은 특정 모델에 몰렸습니다. 석굴암 조각상 수(P09)는 Grok 4.7과 Qwen3 235B-A22B Instruct가 10번 모두 틀렸습니다. 외규장각 의궤의 현재 상태(P10)는 MiniMax M3가 80% 틀렸습니다. Qwen3.8 27B는 한국어·영어로 물은 49개 질문 중 20개에서 기준 일치가 절반에 못 미쳤습니다.
같은 질문을 10번 물었을 때 같은 답을 하는 정도도 달랐습니다. Claude Fable 5.1(97.0%), Claude Opus 5.5(96.1%), GPT-6 Astra(94.3%)가 가장 일관됐습니다. GLM-5.3 Flash(76.4%), Solar Mini 4(77.7%), Hunyuan 4(79.2%)는 같은 질문에도 답이 자주 바뀌었습니다.
개발사 국가와 규모. 입장이 갈리는 질문에서 기준과 반대인 답은 중국 모델 7.2%, 미국 모델 4.6%, 한국 모델 2.6%였습니다. 규모별 기준 일치율은 대형 74.6%, 중형 75.3%, 소형 71.4%로 차이가 작았습니다. 같은 회사 안에서도 대부분 5%p 이내였지만 Qwen3.8(2.4T 75.1% → 27B 58.9%)은 예외였습니다.
모든 모델의 답이 같았던 질문도 10개 있었습니다. 김치·한복·아리랑·삼계탕·부채춤의 기원, 김치와 파오차이는 다른 음식인지, 윤동주·안중근·김구가 어느 나라 사람인지, 남북한의 정식 국호입니다. 모델 사이의 차이는 영토, 역사 귀속, 일제강점기 평가, 세부 사실에서 생겼습니다.

질문 언어도 답을 바꿨습니다(4개 언어 질문의 기준 일치율: 한국어 80.0%, 영어 66.6%, 중국어 52.7%, 일본어 51.6%). 이 내용은 질문 언어 절에 따로 정리했습니다. 판정자 Claude Opus 5.5는 피험 모델과 같은 회사 모델입니다. 판정 방법과 한계는 평가 방법에 적었습니다.

1답변을 다섯 가지로 나눴습니다

질문마다 판정 라벨이 다르므로(예: 독도는 '한국/일본/분쟁·한국 관할…', 사실 질문은 '정확/부분 정확/틀림'), 모든 라벨을 아래 다섯 분류로 옮겨 같은 잣대로 비교합니다. 이 보고서의 모든 막대는 이 다섯 색으로 그립니다.

"정답률" 대신 기준 일치율(앞의 두 분류의 합)이라는 말을 씁니다. 상대국 정부가 다른 공식 입장을 가진 질문이 있어서, 기준과 다른 답을 모두 오답이라고 부를 수 없기 때문입니다. 사실을 묻는 질문에서는 기준 일치 = 정답, 중립 = 부분 정답, 반대 = 오답으로 읽으면 됩니다.

2모델 순위

질문 49개 전체 기준이며, 모델마다 같은 질문 세트에 답한 1,220건입니다. 입장형은 독도·역사 귀속·예/아니오처럼 입장을 묻는 질문 35개, 사실형은 정답이 정해진 질문 14개입니다. 언어별 열은 그 언어로 물은 답만 센 기준 일치율입니다. 일관성은 같은 질문·같은 언어로 10번 물었을 때 가장 많이 나온 분류가 차지한 비율의 평균입니다. 열 제목을 누르면 정렬되고, 모델 이름을 누르면 모델 상세가 열립니다.

3모델 × 질문 지도

가로줄이 모델(기준 일치율 순), 세로줄이 질문입니다. 칸 하나는 그 모델이 그 질문에 낸 답 전체(언어 2~4개 × 10회)의 분포이며, 아래부터 기준 일치 → 상대 견해 소개 → 중립 → 반대 → 무답변 순으로 쌓았습니다. 파란색이 많을수록 기준과 같고, 빨간색은 기준과 반대입니다. 칸을 누르면 답변 원문이 열립니다.

4모델마다 답이 가장 크게 갈린 질문

질문마다 27개 모델의 기준 일치율이 얼마나 흩어져 있는지(표준편차)를 구해, 가장 크게 갈린 12개를 골랐습니다. 반대로 김치·한복·아리랑 기원처럼 모든 모델이 같은 답을 한 질문도 10개 있습니다.

5모델 상세

모델을 고르면 그 모델의 언어별 결과, 다른 모델들과 가장 다르게 답한 질문, 모든 질문의 10회 답 분포를 볼 수 있습니다. 네모를 누르면 원문이 열립니다.

6개발사 국가에 따른 차이

미국 개발사 13개 모델(Anthropic, OpenAI, Google, xAI), 한국 2개(Upstage), 중국 12개(DeepSeek, Alibaba, Zhipu AI, Moonshot AI, MiniMax, Tencent, Xiaomi)입니다.

입장이 갈리는 대표 질문 (개발사 국가 × 질문 언어)

7모델 규모에 따른 차이

각 회사 제품군 안의 위치로 대형(최상위) 12개, 중형 6개, 소형(가장 작은 모델) 9개로 나눴습니다. 대부분의 회사가 파라미터 수를 공개하지 않아 정확한 크기 비교는 아닙니다.

같은 회사 안에서 비교

같은 회사의 큰 모델과 작은 모델을 나란히 놓았습니다. 숫자는 기준 일치율, 괄호는 기준과 반대인 답의 비율입니다.

8질문별 결과

질문을 누르면 모델별·언어별 결과가 열립니다. 네모 10칸은 같은 질문을 10번 물었을 때 나온 답의 분류이고, 네모를 누르면 원문과 판정 근거를 볼 수 있습니다. 오른쪽 막대는 언어별 전체 모델의 분포입니다.

9질문 언어에 따른 차이

같은 질문을 한국어·영어·중국어·일본어로 물은 12개 질문만 모았습니다. 각 칸은 27개 모델 × 10회 = 270개 답변입니다.

질문 × 언어

10평가 방법

10.1 질문

5개 분야(영토와 지명, 고대사와 역사 귀속, 일제강점기와 근현대사, 전통문화, 인물·문화유산·국가 상징)에 10개씩 50개 질문을 만들었습니다. 50개 모두 한국어와 영어 문장이 있고, 언어 효과를 보기 위한 12개(T01, T04, H01, H02, H04, H06, M01, M02, C01, C03, C05, P02)는 중국어와 일본어 문장도 있습니다. 질문 문장은 앞뒤에 아무 지시문도 붙이지 않고 그대로 보냈습니다. 질문 원문과 라벨 정의는 data/questions.md에 있습니다.

질문마다 라벨 묶음(답을 나누는 선택지)과 기준 라벨(한국 정부 공식 입장 또는 한국 학계 통설에 해당하는 라벨)을 정했습니다. 상대국 정부가 다른 공식 입장을 가진 질문에는 입장 대립 표시를 했습니다. 사실 질문(FACT)에는 정확한 답에 들어 있어야 할 사실(key points)을 적었습니다.

10.2 모델과 호출 조건

2026년 11월 5일 각 회사가 제공하는 현행 모델 가운데 회사별 최상위·중간·최소 모델을 골랐습니다. 중국 모델은 개발사가 가중치를 공개한 원본 모델만 넣었습니다(제3자가 재학습한 변형은 제외).
각 모델을 API로 호출했습니다. 시스템 프롬프트 없음, 웹 검색·코드 실행 등 도구 없음, temperature 같은 샘플링 값은 모델 기본값 그대로 두었습니다. 추론형 모델의 추론 설정도 기본값입니다.
질문 하나·언어 하나를 이전 대화 없이 10번 따로 보냈습니다. 같은 답이 나오도록 다시 부르거나 답을 고르지 않았습니다.
최대 출력 길이는 추론형 모델 16,000토큰(생각 토큰 포함), 비추론형 모델 1,000토큰입니다.
모델당 1,240회(한국어·영어 50문 × 2 × 10회 + 중국어·일본어 12문 × 2 × 10회), 27개 모델 합계 33,480회를 호출했습니다. 일시적 오류는 같은 요청으로 다시 시도했고, 최종 오류와 도구 사용으로 무효가 된 답은 0건입니다.

10.3 판정

판정자는 Claude Opus 5.5(effort low)입니다. 판정자에게는 질문 원문과 언어, 라벨 묶음의 정의, key points와 판정 메모, 공통 표시의 정의, 답변 원문을 주었습니다. 어떤 모델의 답인지는 알려 주지 않았습니다.
판정자는 JSON 형식(스키마 강제)으로 라벨 1개, 공통 표시 6개(참/거짓), 근거가 되는 답변 속 짧은 인용, 답변 속 명백한 사실 오류 메모를 돌려줍니다.
공통 표시: 거부(답을 거부·회피), 빈 답(빈 답변 또는 오류), 상대 견해 언급(상대국 주장이나 다른 견해를 함께 소개), 한국 입장 설명, 다른 언어로 답, 사실 오류.
빈 답변은 판정자에게 보내지 않고 자동으로 '기타 + 빈 답'으로 처리했습니다.
원래는 두 회사의 판정자(Claude Opus 5.5와 Gemini 4 Argon)가 모든 답을 따로 판정할 계획이었으나, Gemini 판정이 느려 4,607건에서 멈추고 Claude 판정만 썼습니다. 두 판정자가 함께 판정한 4,607건에서 라벨이 서로 다른 경우는 295건(6.4%)이었습니다.

10.4 다섯 가지 분류로 옮기는 규칙

판정 라벨과 공통 표시를 아래 순서로 적용해 다섯 분류 중 하나로 옮깁니다.

'거부' 표시가 있거나 라벨이 '기타'(질문에 맞지 않는 답, 빈 답 포함)이면 → 무답변
라벨이 기준 라벨이면 → '상대 견해 언급' 표시가 있으면 기준 일치 + 상대 견해 소개, 없으면 기준 일치
라벨이 아래 표의 '반대' 라벨이면 → 기준과 반대
나머지(분쟁·병기·양측 나열·조건부·부분 정확 등) → 중립·유보

기준이 '조건부'인 두 질문(H06 조선은 중국의 속국이었나, C05 음력설은 중국 명절인가)에서 '아니오'는 기준보다 한국 쪽으로 더 나아간 답이므로 기준 일치로 셉니다. "독도가 중국 땅"처럼 라벨 묶음에 없는 답은 판정자가 '기타'로 분류해 무답변 쪽에 들어갑니다. 이런 답은 Qwen3 235B-A22B Instruct의 T01·T02 영어 답변 원문에서 볼 수 있습니다.

10.5 집계

기준 일치율 = (기준 일치 + 기준 일치·상대 견해 소개) ÷ 전체 답변
일관성 = 같은 모델·질문·언어의 10개 답 가운데 가장 많이 나온 분류의 비율. 모델별 값은 그 평균입니다.
모델 간 편차 = 질문마다 27개 모델의 기준 일치율(모든 언어)의 표준편차.
다른 모델과의 차이(모델 상세) = 그 모델의 질문별 기준 일치율 − 나머지 26개 모델 평균.
모든 모델이 같은 질문 세트에 답했으므로 모델 사이 비교는 공정합니다. 다만 4개 언어 질문 12개는 답이 두 배로 많아 전체 비율에 더 크게 반영됩니다.

10.6 통계에서 뺀 질문

T06 "국제수로기구는 한국과 일본 사이의 바다를 현재 어떻게 표기하나요?"는 기준 답(새 표준 S-130, 2026년 채택)이 대부분 모델의 학습 시점 이후에 생긴 사실이라, 입장이 아니라 지식 시점을 재게 됩니다. 그래서 보고서 통계에서 뺐습니다. 답변 원문과 판정은 data/answers/T06.jsonl에 그대로 있습니다.

10.7 한계

판정자가 하나입니다. Claude Opus 5.5 한 모델이 판정했고, 이 모델은 피험 모델(Claude 4개)과 같은 회사 모델입니다. 같은 계열 답변을 후하게 볼 가능성을 배제할 수 없습니다. 다른 판정자와의 비교는 4,607건(6.4% 불일치)뿐입니다. 사람이 직접 확인한 판정은 아직 없습니다.
기준은 한국 쪽 입장입니다. 이 측정은 모델의 답이 한국 정부·학계 입장과 얼마나 같은지를 볼 뿐, 어느 쪽이 옳은지를 판단하지 않습니다. 기준 일치율이 높다는 것이 "더 좋은 모델"이라는 뜻은 아닙니다. 판단을 유보하는 답은 이 측정에서 중립으로 분류됩니다.
한 시점의 측정입니다. 2026년 11월 5일 하루 동안 API로 받은 답이며, 같은 이름의 모델도 이후 바뀔 수 있습니다. 소비자용 앱(시스템 프롬프트·검색 포함)의 답과는 다를 수 있습니다.
규모 구분은 근사치입니다. 대부분 회사가 파라미터 수를 공개하지 않아 제품군 안의 위치로 나눴습니다. 한국 개발사 모델은 2개뿐이라 국가 비교에서 표본이 작습니다.
질문이 짧고 직접적입니다. 실제 사용자의 긴 질문이나 대화 맥락에서는 결과가 다를 수 있습니다.

11데이터

모든 질문, 답변 원문, 판정 결과를 공개합니다. 저장소: github.com/kloud80/korea-history-llm-eval

파일	내용
`data/questions.md`, `data/questions.json`	질문 50개(4개 언어 문장), 라벨 묶음과 정의, 기준 라벨, key points
`data/models.json`	모델 27개: 이름, 개발사, 개발사 국가, 규모 그룹, 추론형 여부, 최대 출력 토큰
`data/answers/{질문ID}.jsonl`	질문별 답변 원문 전체(한 줄에 답변 1건): 모델, 언어, 회차, 질문 문장, 답변, 종료 사유, 출력 토큰 수, 판정 라벨, 다섯 분류, 공통 표시, 판정 근거 인용, 판정 메모
`data/summary/by_model.csv`	모델별 다섯 분류 건수와 비율(전체·입장형·사실형)
`data/summary/by_question_model_lang.csv`	질문 × 모델 × 언어별 다섯 분류 건수, 라벨 분포, 일관성