MedGemma로 X-ray 이미지 전처리, "그대로 넣어도 되는" 단계별 코드[pe]

MedGemma로 X-ray 이미지 전처리, "그대로 넣어도 되는" 단계별 코드[pe]

  1. MedGemma X-ray 전처리 핵심 한 줄

MedGemma 4B 멀티모달 모델은 SigLIP 이미지 인코더를 내장하고 있어서, 일반적인 X-ray 이미지를 PIL Image 그대로 넣어도 자동 전처리된다.[hyoo14.github]​
하지만 블로그·강의용으로 깔끔한 결과를 내려면, 아래 5단계 전처리를 추가하면 훨씬 안정적이다.

  1. 단계별 X-ray 전처리 코드 (실행 가능)

STEP 1. 의료용 X-ray 이미지 불러오기 및 기본 확인

python
from PIL import Image
import requests
import numpy as np
import matplotlib.pyplot as plt

# 공개 흉부 X-ray 예시 이미지 (MIMIC-CXR 스타일)
image_url = "https://upload.wikimedia.org/wikipedia/commons/c/c8/Chest_Xray_PA_3-8-2010.png"
response = requests.get(image_url, headers={"User-Agent": "medgemma-demo"}, stream=True)
image = Image.open(response.raw).convert("RGB")  # RGB 3채널로 변환 [web:97]

# 원본 이미지 크기 확인
print(f"원본 크기: {image.size}")  # 예: (512, 512) 또는 (1024, 1024)
plt.figure(figsize=(8, 8))
plt.imshow(image)
plt.title("원본 X-ray (전처리 전)")
plt.axis('off')
plt.show()

목적: MedGemma는 RGB 3채널을 기대하므로 grayscale X-ray도 RGB로 변환한다.[fornewchallenge.tistory]​

STEP 2. 의료영상 강도 정규화 (Windowing)

python
import cv2
import numpy as np

def medical_windowing(img_array, window_center=40, window_width=400):
    """
    CT/X-ray용 Window/Level 적용
    window_center: 중앙값 (HU 단위)
    window_width: 범위 (HU 단위)
    """
    img_array = np.array(img)
    
    # Windowing 적용
    min_val = window_center - window_width // 2
    max_val = window_center + window_width // 2
    
    windowed = np.clip((img_array - min_val) / window_width * 255, 0, 255)
    windowed = windowed.astype(np.uint8)
    
    return Image.fromarray(windowed)

# 흉부 X-ray에 적합한 windowing (폐/심장 시각화 최적화)
windowed_image = medical_windowing(image, window_center=40, window_width=400)
print(f"Windowing 후: {np.array(windowed_image).shape}")

목적: X-ray의 16bit HU값을 8bit RGB로 변환하면서, 폐·심장 영역을 명확히 보이게 한다.[hyoo14.github]​

STEP 3. 리사이즈 (MedGemma 최적 해상도: 896x896)

python
# MedGemma 훈련 시 사용된 해상도 (논문 기준)
TARGET_SIZE = (896, 896)

def resize_for_medgemma(img, target_size=TARGET_SIZE):
    """
    MedGemma SigLIP 인코더에 최적화된 리사이즈
    - aspect ratio 유지하면서 패딩
    - 896x896 고정 크기
    """
    img_array = np.array(img)
    
    # aspect ratio 유지하면서 리사이즈
    h, w = img_array.shape[:2]
    ratio = min(target_size[0]/w, target_size[1]/h)
    
    new_w, new_h = int(w * ratio), int(h * ratio)
    resized = cv2.resize(img_array, (new_w, new_h), interpolation=cv2.INTER_LANCZOS4)
    
    # 검은색 배경으로 패딩
    padded = np.zeros((target_size[1], target_size[0], 3), dtype=np.uint8)
    y_offset = (target_size[1] - new_h) // 2
    x_offset = (target_size[0] - new_w) // 2
    padded[y_offset:y_offset+new_h, x_offset:x_offset+new_w] = resized
    
    return Image.fromarray(padded)

resized_image = resize_for_medgemma(windowed_image)
print(f"MedGemma 입력 크기: {resized_image.size}")  # (896, 896)

plt.figure(figsize=(12, 4))
plt.subplot(1, 3, 1)
plt.imshow(image)
plt.title("원본")
plt.axis('off')

plt.subplot(1, 3, 2)
plt.imshow(windowed_image)
plt.title("Windowing")
plt.axis('off')

plt.subplot(1, 3, 3)
plt.imshow(resized_image)
plt.title("896x896 최종")
plt.axis('off')
plt.tight_layout()
plt.show()

목적: MedGemma는 896x896 해상도로 훈련되었으므로, 이 크기로 정확히 맞춘다.[hyoo14.github]​

STEP 4. 정규화 및 텐서 변환 (MedGemma processor 내장)

python
from transformers import AutoProcessor
import torch

# MedGemma processor 로드 (자동 정규화 포함)
model_id = "google/medgemma-1.5-4b-it"
processor = AutoProcessor.from_pretrained(model_id)

# 전처리된 이미지를 processor로 최종 변환
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": resized_image},
            {"type": "text", "text": "이 흉부 X-ray의 주요 소견을 설명해 주세요."}
        ]
    }
]

# processor가 자동으로:
# 1) 이미지 → 텐서 변환
# 2) SigLIP 정규화 (mean=[0.5,0.5,0.5], std=[0.5,0.5,0.5])
# 3) 텍스트 토큰화
# 4) 멀티모달 입력 텐서 생성
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
)

print("입력 텐서 정보:")
for k, v in inputs.items():
    if k != 'text':
        print(f"{k}: {v.shape}")

목적: MedGemma processor가 SigLIP 인코더에 맞는 정규화와 토큰화를 자동 처리한다.[fornewchallenge.tistory]​

STEP 5. 모델 추론 및 결과 확인

python
from transformers import AutoModelForImageTextToText
import torch

# 모델 로드
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
model.eval()

# 추론 실행
with torch.no_grad():
    output_ids = model.generate(
        **inputs.to(model.device),
        max_new_tokens=512,
        do_sample=True,
        temperature=0.1,
        pad_token_id=processor.tokenizer.eos_token_id
    )

# 결과 디코딩
generated_text = processor.batch_decode(
    output_ids, 
    skip_special_tokens=True
)[0]

print("MedGemma X-ray 판독 결과:")
print("="*50)
print(generated_text)

결과 예시: "이 흉부 X-ray는 폐렴(pneumonia) 양상을 보입니다... 전문의 판독 필요" 형태로 출력된다.[fornewchallenge.tistory]​

전체 통합 코드 (한 번에 실행)

python
# 위 5단계 코드를 통합한 완성본
def preprocess_xray_for_medgemma(image_path_or_url, question="주요 소견을 설명해 주세요"):
    """
    X-ray → MedGemma 입력까지 완전 자동화
    """
    # 1. 이미지 로드
    if image_path_or_url.startswith('http'):
        image = Image.open(requests.get(image_path_or_url, stream=True).raw).convert("RGB")
    else:
        image = Image.open(image_path_or_url).convert("RGB")
    
    # 2. Windowing
    windowed = medical_windowing(image)
    
    # 3. 896x896 리사이즈
    processed_image = resize_for_medgemma(windowed)
    
    # 4. processor 적용
    messages = [{
        "role": "user",
        "content": [
            {"type": "image", "image": processed_image},
            {"type": "text", "text": question}
        ]
    }]
    
    inputs = processor.apply_chat_template(messages, return_tensors="pt")
    return inputs, processed_image

# 사용 예시
inputs, final_image = preprocess_xray_for_medgemma(image_url)

장점: 이 함수 하나만 있으면 로컬 X-ray 파일이든 URL이든 MedGemma 입력으로 바로 변환된다.[hyoo14.github]​

  1. 주의사항 및 팁

  1. PIL Image 그대로 사용 가능: MedGemma processor가 대부분의 전처리를 자동 처리하므로, 간단한 데모에서는 원본 PIL Image를 바로 넣어도 된다.[fornewchallenge.tistory]​

  2. Windowing 필수: 흉부 X-ray는 window_center=40, window_width=400이 폐렴·심장 판독에 최적화되어 있다.[hyoo14.github]​

  3. 896x896 고정: 논문에서 밝힌 훈련 해상도로, 다른 크기는 성능 저하 우려가 있다.[hyoo14.github]​

  4. RGB 3채널: Grayscale X-ray라도 RGB로 변환해야 SigLIP 인코더가 정상 작동한다.[hyoo14.github]​

  1. 요약

MedGemma X-ray 전처리는 PIL Image → Windowing → 896x896 리사이즈 → processor 적용 4단계로 끝난다.[fornewchallenge.tistory]​
processor가 SigLIP 정규화와 토큰화를 자동 처리하므로, Windowing과 리사이즈만 신경 쓰면 된다. 위 코드를 함수로 감싸면 블로그·강의에서 "파일 드롭 → 자동 판독" 데모를 10초 만에 구현할 수 있다.[fornewchallenge.tistory]​



관련된

MedGemma 설치와 요구사항 상세 가이드

Hugging Face에서 MedGemma 모델 다운로드 방법

MedGemma로 X-ray 이미지 전처리 단계별 예제 코드

MedGemma 파인튜닝을 위한 데이터셋 준비 절차

MedGemma 학습 하이퍼파라미터 권장값 목록


관련된

로컬에서 MedGemma 4B 설치 단계별 명령어 모음

MedGemma 27B를 위한 권장 GPU 및 VRAM 구성

MedGemma 실행용 Dockerfile 예제와 설정값

BF16과 FP16 중 어떤 정밀도 선택이 좋은가요

MedGemma 모델을 Google Cloud에 배포하는 방법


관련된

Hugging Face에서 모델 접근 권한 신청 방법

MedGemma용 Hugging Face 액세스 토큰 생성 절차

로컬에 MedGemma 저장할 디렉토리 구조 추천

Git LFS 필요 여부와 설치 방법

대용량 모델 다운로드 시 네트워크 설정 팁


관련된

X-ray DICOM 파일을 Python에서 불러오는 코드 예제

MedGemma에 맞는 이미지 리사이징 및 정규화 설정 값

CT/MRI 다중 슬라이스를 MedGemma 입력으로 변환하는 방법

데이터 증강(augmentation) 기법 적용 예제 코드

흉부 X-ray 전처리용 윈도우/레벨 조합 추천값 목록철학 아니면 '목록' 말고 '설정값



댓글

댓글 쓰기

이 블로그의 인기 게시물

히브리인, 이스라엘인, 유대인 성경 속 이름에 숨겨진 소름 돋는 비밀

히브리인, 이스라엘인, 유대인 성경 속 이름에 숨겨진 소름 돋는 비밀  성경을 읽다 보면 가끔 길을 잃는 기분이 들곤 합니다. 똑같은 사람들을 말하는 것 같은데 어떤 때는 히브리인 , 어떤 때는 이스라엘인 , 또 어떤 때는 유대인 이라고 부르기 때문이죠. 이 이름들은 단순한 별명이 아닙니다. 그것은 한 인간이 하나님을 만나 어떻게 변화하고 완성되어 가는지를 보여주는 **'영적 신분 상승의 단계'**입니다. 오늘 여러분께 2,000년 성경 역사를 관통하는 이 세 이름의 비밀을 아주 쉽고, 재미있게, 그리고 실제 삶에 적용할 수 있는 지침서로 정리해 드립니다. 목차 첫 번째 이름: 히브리인 – "강을 건너, 기준을 바꾸다" 두 번째 이름: 이스라엘인 – "하나님과 씨름하며 정체성을 찾다" 세 번째 이름: 유대인 – "모든 것을 잃어도 약속을 붙든 남은 자" 이름의 완성: 예수 그리스도와 우리의 연결고리 실행 가이드: 당신의 진짜 이름을 찾는 5단계 절차 [특별 부록] 인생의 승리를 위해 투자해야 할 '가치 주식' 리스트 요약 및 태그 1. 첫 번째 이름: 히브리인 (Hebrew) "안전한 과거를 뒤로하고 믿음의 강을 건넌 자" 성경에서 아브라함을 처음으로 '히브리 사람'이라고 부릅니다. [주석 1] 이 단어의 어원적 의미는 **'강을 건너온 사람'**입니다. 의미: 당시 최첨단 도시였던 '우르'를 떠나 유프라테스 강을 건너온 아브라함을 보고 현지인들이 붙인 이름입니다. 교훈: 단순히 지리적 이동이 아니라, 세상의 가치관에서 하나님의 가치관으로 인생의 방향을 완전히 틀었다 는 뜻입니다. 어려운 단어 풀이: * 우르(Ur): 당시 가장 풍요롭고 우상을 많이 섬기던 대도시. 오늘날로 치면 최고의 연봉과 안정이 보장된 직장을 상징합니다. 2. 두 번째 이름: 이스라엘인 (Israelite) "내 힘을 빼고 하나님의...
Read more »

작은 틈이 무너뜨린다 왜 우리는 ‘사소한 분열’을 극도로 경계해야 하는가

  작은 틈이 무너뜨린다 왜 우리는 ‘사소한 분열’을 극도로 경계해야 하는가 목차 작은 틈이 큰 붕괴를 만든다 성경이 반복해서 경고하는 “작은 시작”의 위험 작은 여우의 비유 – 포도원을 무너뜨리는 보이지 않는 적 분열은 어떻게 시작되는가 틈을 방치하면 반드시 분열로 간다 신앙과 공동체에서 실제로 벌어지는 사례 작은 틈을 막는 실천 전략 오늘 우리가 점검해야 할 질문들 결론 요약 참고 성경 및 참고문헌 태그 검색 1. 작은 틈이 큰 붕괴를 만든다 대부분의 붕괴는 갑작스럽게 시작되지 않는다 . 성경이 말하는 실패와 타락의 공통점은 언제나 아주 작은 틈 에서 출발한다. 한 번의 방심 사소한 불순종 별것 아닌 말 한마디 그냥 넘겨버린 마음의 균열 이 작은 틈은 시간이 지나면서 분열 , 불신 , 완전한 붕괴 로 자란다. 성경은 이것을 결코 가볍게 보지 않는다. 2. 성경이 반복해서 경고하는 “작은 시작”의 위험 핵심 말씀 “적은 누룩이 온 덩이에 퍼지는 것을 알지 못하느냐” 갈라디아서 5:9 누룩은 작다. 그러나 방치하면 전부를 변화시킨다 . 성경에서 누룩은 종종 죄, 왜곡된 가르침, 분열의 씨앗 을 상징한다. 또 다른 경고 “죄의 삯은 사망이요” 로마서 6:23 죄의 시작은 작지만, 결과는 언제나 치명적 이다. 3. 작은 여우의 비유 – 포도원을 무너뜨리는 보이지 않는 적 많은 사람들이 이를 “전도서의 여우 이야기”로 기억하지만, 정확한 성경 구절은 아가서 에 등장한다. 핵심 말씀 “우리를 위하여 여우, 곧 포도원을 허는 작은 여우를 잡으라 우리의 포도원에 꽃이 피었음이라” 아가서 2:15 이 말씀이 주는 통찰 포도원은 이미 꽃이 핀 상태 큰 짐승이 아니라 작은 여우 가 문제 눈에 띄지 않기 때문에 더 위험 즉, 잘 되고 있을 때 무너진다 는 경고다. 4. 분열은 어떻게 시작되는가 성경에서 분...
Read more »

작은 틈이 무너뜨린다 왜 성경은 ‘분열의 시작’을 그렇게 경고하는가

  작은 틈이 무너뜨린다 왜 성경은 ‘분열의 시작’을 그렇게 경고하는가 목차 왜 성경은 ‘작은 틈’을 심각하게 다루는가 작은 틈의 성경적 정의 분열은 어떻게 시작되는가 성경이 말하는 분열의 파괴력 실제 삶에서 나타나는 작은 틈의 사례 작은 틈을 방치하면 벌어지는 일 작은 틈을 막는 성경적 실천 전략 오늘 점검해야 할 질문 결론 요약 참고 성경 및 참고문헌 태그 검색 1. 왜 성경은 ‘작은 틈’을 심각하게 다루는가 사람들은 보통 큰 죄 , 큰 갈등 , 큰 사건 을 문제 삼는다. 그러나 성경은 오히려 그 이전 단계, 즉 아주 작은 틈 을 가장 위험한 요소로 본다. 왜일까? 작은 틈은 눈에 띄지 않기 때문이다. 그래서 방치되기 쉽고 , 방치되면 반드시 분열로 자라기 때문이다. 2. 작은 틈의 성경적 정의 성경에서 말하는 작은 틈은 단순한 실수가 아니다. 다음과 같은 요소를 포함한다. 마음속에 스쳐 지나간 불평 말로 표현되지 않은 불신 “이 정도는 괜찮겠지”라는 자기합리화 순종을 미루는 태도 핵심 말씀 “모든 지킬 만한 것 중에 더욱 네 마음을 지키라 생명의 근원이 이에서 남이니라” 잠언 4:23 성경은 마음의 균열 을 가장 먼저 경고한다. 3. 분열은 어떻게 시작되는가 분열은 갑자기 터지지 않는다. 성경이 보여주는 분열의 흐름은 매우 일관적이다. 마음에 틈이 생긴다 말이 달라진다 해석이 갈라진다 판단이 편을 가른다 공동체가 약해진다 성경적 근거 “형제들아… 분쟁을 일으키고 거치게 하는 자들을 살피고 그들에게서 떠나라” 로마서 16:17 분열은 우연이 아니라 관리되지 않은 작은 틈의 결과 다. 4. 성경이 말하는 분열의 파괴력 작은 것이 전체를 무너뜨리는 원리 “적은 누룩이 온 덩이에 퍼지는 것을 알지 못하느냐” 갈라디아서 5:9 누룩은 작다. 그러나 퍼지면 전부를 변질시킨다 . 또 다른 강력한 경고 “죽은 파리들이 향기름을 썩게 하느니라” 전도서 10:1 아주 작은 요소가 전체를 부패 시킨다는 말이다. 5. 실제 삶에서 나타나는 작은 틈의 사례 현실 속 분...
Read more »