PeruMedQA: 페루 의료 시험 데이터를 활용한 대규모 언어 모델(LLM) 벤치마킹 - 데이터셋 구축 및 평가

https://arxiv.org/pdf/2509.11517?

PeruMedQA: Benchmarking Large Language Models (LLMs) on Peruvian Medical Exams - Dataset Construction and Evaluation 

Rodrigo M. Carrillo-Larco1,2 Jesus Lovón Melgarejo3 Manuel Castillo-Cara4,5 Gusseppe Bravo-Rocca6 1. Hubert Department of Global Health, Rollins School of Public Health, Emory University, Atlanta, GA, USA. 2. Emory Global Diabetes Research Center of Woodruff Health Sciences Center, Emory University, Atlanta, USA. 3. Institut de Recherche en Informatique de Toulouse, Toulouse, France. 4. Universidad Nacional de Educación a Distancia, Madrid, Spain. 5. Instituto de Investigación Científica, Universidad de Lima, Lima, Peru. 6. Barcelona Supercomputing Center, Barcelona, Spain. Corresponding author Rodrigo M Carrillo-Larco, MD, PhD Rollins School of Public Health, Emory University, Atlanta, GA, USA. 

rmcarri@emory.edu

이 연구는 페루의 전문의 자격 시험인 PeruMedQA 데이터셋을 구축하여 대규모 언어 모델(LLM)의 의학적 역량을 체계적으로 검증한 보고서입니다. 연구진은 스페인어로 구성된 8,380개의 다지선다형 문항을 활용해 다양한 모델의 성능을 비교하였으며, 그 결과 medgemma-27b-text-it이 여러 시험에서 90% 이상의 정답률을 기록하며 가장 탁월한 성적을 거두었습니다. 특히 상대적으로 크기가 작은 모델인 medgemma-4b-it를 **미세 조정(Fine-tuning)**할 경우, 훨씬 거대한 모델인 Llama3-70B와 대등한 수준까지 효율적으로 성능을 끌어올릴 수 있음을 입증했습니다. 결론적으로 이 논문은 라틴 아메리카의 특수한 역학적 특성과 스페인어권의 의학 지식을 정확히 이해하기 위해서는 지역 맞춤형 데이터 기반의 모델 평가와 최적화가 필수적임을 강조하고 있습니다.

1. 연구 내용 분석 및 요약

이 연구는 페루의 전문의 수련을 위한 의료 시험 데이터를 활용하여 스페인어 기반 의료 LLM의 성능을 평가하고 최적화하는 것을 목적으로 합니다.

• 데이터셋 구축 (PeruMedQA): 2018년부터 2025년까지 페루 국가의료레지던트협의회(CONAREME)에서 시행한 12개 의료 분야의 객관식 문제 8,380개를 수집하여 스페인어 기반의 PeruMedQA 데이터셋을 구축했습니다.

• 모델 평가: medgemma-4b-it, medgemma-27b-text-it, Llama3-OpenBioLLM-70B 등 8개의 의료 특화 모델을 대상으로 제로샷(Zero-shot) 성능을 비교했습니다.

• 주요 결과:

    ◦ medgemma-27b-text-it가 가장 우수한 성능을 보였으며, 일부 시험에서는 90% 이상의 정답률을 기록했습니다.

    ◦ 100억 개(10B) 미만의 파라미터를 가진 소형 모델들은 대체로 60% 미만의 낮은 성능을 보였습니다.

    ◦ 미세 조정의 효과: medgemma-4b-it 모델을 PEFT/LoRA 방식으로 미세 조정한 결과, 성능이 비약적으로 향상되어 700억 개 파라미터 모델(Llama3-70B)과 대등하거나 일부 시험에서는 이를 능가하는 결과를 얻었습니다.

• 결론: 스페인어권 및 페루와 유사한 역학적 특성을 가진 지역의 의료 AI 응용을 위해서는 medgemma-27b-text-it이나 미세 조정된 medgemma-4b-it을 사용할 것을 권장합니다.

--------------------------------------------------------------------------------

2. 연구 결과 재현을 위한 상세 절차

본 연구의 결과를 그대로 재현(Reproduce)하기 위한 단계별 실행 절차는 다음과 같습니다.

1단계: 데이터셋 구축 및 전처리

1. 데이터 수집: CONAREME 공식 웹사이트에서 2018~2025년 의료 시험 PDF 파일과 정답지를 다운로드합니다.

2. 데이터 추출: Python 프로그램을 사용하여 PDF에서 문제, 선택지, 정답을 추출하고 CSV 파일로 저장합니다.

3. 데이터 정제: 추출된 데이터 중 오류가 있는 항목(연구에서는 16개 문항 수정됨)을 수동으로 검증하고 수정합니다.

4. 형식 통일: 4지 선다형 문제는 5번째 선택지에 "NA(해당 없음)"를 추가하여 모든 문제를 5지 선다형으로 통일합니다. 스페인어 특수 문자를 보존하기 위해 최종 데이터는 pickle 파일로 저장합니다.

2단계: 실험 환경 설정

1. 모델 준비: Hugging Face의 Transformers 라이브러리를 통해 평가 대상 모델들을 로드합니다.

2. 프롬프트 설정: 시스템 메시지에 "당신은 페루에서 훈련받은 전문가 의료 보조원입니다"라는 역할을 부여하고, 스페인어로 된 제로샷 프롬프트를 구성합니다.

    ◦ 형식 예시: "문제와 5개 선택지를 제공한 뒤, '최종 답변:X' 형식으로만 대답하게 함".

3단계: 미세 조정 (Fine-tuning) 실행

1. 데이터 분할: 2025년 시험 문항(1,400개)은 테스트 세트로 분리하고, 나머지 데이터의 90%는 학습, 10%는 검증 세트로 사용합니다.

2. 학습 파라미터 설정 (LoRA):

    ◦ 기본 모델: medgemma-4b-it.

    ◦ 설정: 10 Epoch, 학습률 $5\times 10^{-5}$, LoRA $R=16,\alpha =16$, 드롭아웃 0.05.

    ◦ 타겟 모듈: 모든 선형 레이어(all-linear).

4단계: 평가 및 분석

1. 평가 지표: 정답을 맞힌 문항 수를 유효한 답변 수로 나눈 **정확도(Accuracy)**를 측정합니다.

2. 환각(Hallucination) 처리: 모델이 제시된 선택지 외의 답을 하거나 형식을 지키지 않은 경우를 분석하여 기록합니다.

--------------------------------------------------------------------------------

3. 새로운 연구 주제 제안

본 연구의 한계점과 시사점을 바탕으로 제안하는 향후 연구 주제입니다.

1. 진단 근거 및 추론 과정(Rationale) 평가: 모델이 단순히 정답 알파벳을 맞히는 것을 넘어, 왜 그 답을 선택했는지에 대한 의학적 근거의 논리성과 정확성을 평가하는 연구 (소스 자료에서 향후 과제로 언급됨).

2. 임상 사례(Clinical Case)와 단순 지식 문제의 비교: 개념적 사실을 묻는 질문과 복잡한 추론이 필요한 임상 사례 기반 질문에서 LLM의 성능 차이와 논리 전개 방식을 분석하는 연구.

3. 고급 프롬프팅 기법 적용: 제로샷 외에 Chain-of-Thought(CoT) 또는 Tree-of-Thoughts와 같은 고급 프롬프트 기법이 스페인어 의료 시험 성능 향상에 미치는 영향 비교 연구.

4. 카타스트로피 망각(Catastrophic Forgetting) 분석: 특정 지역(페루) 데이터로 미세 조정한 모델이 기존에 학습된 일반적인 의학 지식을 얼마나 유지하고 있는지, 혹은 범용 성능이 저하되었는지를 측정하는 연구.