github.com/Google-Health/medgemma

MedGemma

이 문서는 구글 헬스에서 공개한 MedGemma 프로젝트의 공식 저장소로, 의료 분야에 특화된 고성능 인공지능 모델에 관한 핵심 정보를 담고 있습니다. 이 기술은 시각 정보를 처리하는 4B 멀티모달 모델과 텍스트 중심의 27B 모델로 구성되어 있으며, 엑스레이나 병리 슬라이드 같은 전문의학 데이터를 정교하게 학습한 것이 특징입니다. 개발자들은 제공되는 소스 코드와 주피터 노트북을 활용하여 의료용 앱 개발을 가속화하거나 특정 목적에 맞춰 모델을 미세 조정할 수 있습니다. 결과적으로 이 소스는 의료 인공지능의 실무적 활용을 돕기 위해 기술적 명세와 오픈 소스 자원을 통합적으로 제공하는 역할을 합니다.

https://github.com/Google-Health/medgemma


제공된 소스 자료를 바탕으로 Google-Health의 MedGemma에 대한 분석 요약, 재현 절차, 새로운 연구 제안 및 PET/CT 통합 진단서 작성 연구 방안.

1. MedGemma 연구 분석 및 요약

MedGemma는 의료 분야의 텍스트 및 이미지 이해 능력을 극대화하기 위해 훈련된 Gemma 3 모델의 변체들로 구성된 컬렉션입니다. 이 프로젝트는 개발자들이 의료 기반 AI 애플리케이션을 더 빠르게 구축할 수 있도록 돕기 위해 설계되었습니다.

  • 주요 변체:
    • 4B 멀티모달(Multimodal) 버전: 가슴 엑스레이, 피부과, 안과 이미지, 조직 병리 슬라이드 등 다양한 비식별화된 의료 데이터로 사전 학습된 SigLIP 이미지 인코더를 사용합니다. 이 모델의 LLM 컴포넌트는 방사선 이미지, 조직 병리 패치, 의료 텍스트 등 광범위한 의료 데이터를 통해 훈련되었습니다.
    • 27B 텍스트 전용(Text-only) 버전: 고차원적인 의료 텍스트 이해 및 추론에 특화되어 있습니다.
  • 평가 및 최적화: MedGemma는 공개 벤치마크 데이터셋뿐만 아니라 전문가의 인간 평가가 포함된 큐레이션된 데이터셋을 통해 기본 성능을 검증받았습니다. 또한, 개발자는 특정 목적에 맞춰 이 모델들을 **미세 조정(Fine-tuning)**하여 성능을 더욱 향상시킬 수 있습니다.

2. 연구 결과 재현(Reproduce)을 위한 상세 절차

MedGemma의 기본 성능을 재현하거나 이를 활용하기 위한 실행 절차는 다음과 같습니다.

  1. 모델 가중치 확보: Hugging Face 또는 Google Cloud의 Model Garden을 방문하여 MedGemma 모델 가중치에 대한 접근 권한을 얻습니다.
  2. 저장소 클론 및 환경 설정: Google-Health/medgemma GitHub 저장소를 클론합니다. 소스 코드의 대부분(97.7%)이 Jupyter Notebook으로 구성되어 있으므로, 관련 환경(Python 및 Jupyter)을 준비합니다.
  3. 제공된 노트북 활용: 저장소 내의 notebooks 폴더에 포함된 실행 가이드를 활용하여 모델 로드 및 기본 추론 코드를 실행합니다.
  4. 데이터셋 준비: 성능 재현을 위해 연구에서 사용된 것과 유사한 임상 관련 벤치마크 데이터셋을 준비합니다.
  5. 미세 조정(선택 사항): 성능 향상을 위해 소스에서 언급된 대로 자신의 특정 의료 데이터셋을 사용하여 모델을 미세 조정합니다.

3. 새로운 연구 주제 제안

  • 저사양 기기에서의 온디바이스 의료 진단: MedGemma 4B 모델의 경량성을 활용하여 인터넷 연결이 제한된 오지나 모바일 기기에서 실시간으로 의료 영상을 분석하는 성능 및 효율성 연구.
  • 의료 텍스트-이미지 간의 교차 모달리티 추론: 영상의 특징이 텍스트 기록과 불일치할 때 모델이 어떻게 모순을 감지하고 해결하는지에 대한 신뢰성 및 안전성 평가 연구.
  • 다국어 의료 상담 보조 AI: Gemma 3의 다국어 능력을 바탕으로, 다양한 언어를 사용하는 환자의 증상 설명과 의료 영상을 결합하여 다국어 진단 보고서를 생성하는 연구.

4. PET/CT 영상 및 임상 데이터 통합 진단서 작성 기여 방안

귀하께서 제안하신 PET/CT 영상, 임상시험 검사 점수, 임상기록지를 종합한 진단서 작성 연구에서 MedGemma는 매우 결정적인 기술적 토대를 제공할 수 있습니다.

MedGemma의 기여점

  • 멀티모달 통합 구조: MedGemma 4B는 이미 SigLIP 이미지 인코더와 의료 전문 LLM이 통합된 구조를 갖추고 있습니다. 이는 PET/CT와 같은 시각적 정보와 기록지 같은 텍스트 정보를 동시에 입력받아 처리하는 데 최적화되어 있습니다.
  • 의료 도메인 특화 사전 학습: 이미 방사선 이미지 및 의료 텍스트로 학습되었기 때문에, 일반 모델보다 임상적 맥락(Clinical context)을 훨씬 더 정확하게 파악하여 진단서 초안을 작성할 수 있습니다.

실행 절차 및 도움말

  1. 데이터 변환: PET/CT 영상을 MedGemma의 시각 인코더(SigLIP 기반)가 수용할 수 있는 형식으로 변환합니다.
  2. 데이터 통합(Fusion): 임상시험 검사 점수(수치)와 임상기록지(텍스트)를 텍스트 입력 프롬프트로 구성하고, 이를 PET/CT 이미지 데이터와 함께 모델에 입력합니다.
  3. 미세 조정(Fine-tuning) 수행: 소스에서 강조하듯이, MedGemma는 미세 조정이 가능하도록 설계되었습니다. 실제 PET/CT 판독문과 그에 매칭되는 임상 기록 쌍을 사용하여 모델을 학습시키면, 여러 정보를 종합하여 논리적인 진단서를 작성하는 능력을 확보할 수 있습니다.
  4. 근거 기반 생성: 모델이 진단서를 작성할 때 이미지의 어느 부분(PET/CT의 활성 부위 등)과 기록지의 어느 수치가 해당 결론에 기여했는지 설명하도록 유도하는 프롬프트 엔지니어링을 적용할 수 있습니다.

MedGemma는 이미 다양한 의료 영상 양식으로 훈련되었으므로, 데이터 형식만 적절히 변환하여 미세 조정을 거친다면 복잡한 통합 진단 보고서 작성 시스템을 구축하는 데 가장 유력한 베이스라인 모델이 될 것입니다.





MedGemma는 의료 텍스트 및 이미지 이해 성능 향상을 위해 학습된 Gemma 3 변형 모델 모음입니다 . 개발자는 MedGemma를 사용하여 의료 기반 AI 애플리케이션 개발 속도를 높일 수 있습니다. MedGemma는 4바이트 용량의 멀티모달 버전과 27바이트 용량의 텍스트 전용 버전, 두 가지로 제공됩니다.

MedGemma 4B는 흉부 X선 사진, 피부과 이미지, 안과 이미지, 조직병리학 슬라이드 등 다양한 익명화된 의료 데이터로 사전 학습된 SigLIP 이미지 인코더 를 사용합니다 . LLM 구성 요소는 방사선 이미지, 조직병리학 패치, 안과 이미지, 피부과 이미지 및 의학 텍스트를 포함한 다양한 의료 데이터 세트로 학습되었습니다.

MedGemma 변형은 다양한 임상적으로 관련된 벤치마크에서 평가되어 기본 성능을 보여줍니다. 여기에는 공개 벤치마크 데이터 세트와 엄선된 데이터 세트가 모두 포함되며, 특히 작업에 대한 전문가의 인간 평가에 중점을 두었습니다. 개발자는 성능 향상을 위해 MedGemma 변형을 미세 조정할 수 있습니다. 자세한 내용은 저희 논문 [링크 제공 예정]을 참조하시고, 더 자세한 내용은 사용 목적 설명서를 확인하십시오.

시작하기

기여하기

버그 보고, 풀 리퀘스트(PR) 및 기타 기여를 환영합니다. 자세한 내용은 CONTRIBUTING 및 커뮤니티 가이드라인을 참조하세요 .

특허

이 모델은 Health AI Developer Foundations License 에 따라 라이선스가 부여되지만 , 이 저장소의 모든 것은 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다 . 자세한 내용은 LICENSE 파일을 참조하십시오 .




댓글

댓글 쓰기

이 블로그의 인기 게시물

히브리인, 이스라엘인, 유대인 성경 속 이름에 숨겨진 소름 돋는 비밀

히브리인, 이스라엘인, 유대인 성경 속 이름에 숨겨진 소름 돋는 비밀  성경을 읽다 보면 가끔 길을 잃는 기분이 들곤 합니다. 똑같은 사람들을 말하는 것 같은데 어떤 때는 히브리인 , 어떤 때는 이스라엘인 , 또 어떤 때는 유대인 이라고 부르기 때문이죠. 이 이름들은 단순한 별명이 아닙니다. 그것은 한 인간이 하나님을 만나 어떻게 변화하고 완성되어 가는지를 보여주는 **'영적 신분 상승의 단계'**입니다. 오늘 여러분께 2,000년 성경 역사를 관통하는 이 세 이름의 비밀을 아주 쉽고, 재미있게, 그리고 실제 삶에 적용할 수 있는 지침서로 정리해 드립니다. 목차 첫 번째 이름: 히브리인 – "강을 건너, 기준을 바꾸다" 두 번째 이름: 이스라엘인 – "하나님과 씨름하며 정체성을 찾다" 세 번째 이름: 유대인 – "모든 것을 잃어도 약속을 붙든 남은 자" 이름의 완성: 예수 그리스도와 우리의 연결고리 실행 가이드: 당신의 진짜 이름을 찾는 5단계 절차 [특별 부록] 인생의 승리를 위해 투자해야 할 '가치 주식' 리스트 요약 및 태그 1. 첫 번째 이름: 히브리인 (Hebrew) "안전한 과거를 뒤로하고 믿음의 강을 건넌 자" 성경에서 아브라함을 처음으로 '히브리 사람'이라고 부릅니다. [주석 1] 이 단어의 어원적 의미는 **'강을 건너온 사람'**입니다. 의미: 당시 최첨단 도시였던 '우르'를 떠나 유프라테스 강을 건너온 아브라함을 보고 현지인들이 붙인 이름입니다. 교훈: 단순히 지리적 이동이 아니라, 세상의 가치관에서 하나님의 가치관으로 인생의 방향을 완전히 틀었다 는 뜻입니다. 어려운 단어 풀이: * 우르(Ur): 당시 가장 풍요롭고 우상을 많이 섬기던 대도시. 오늘날로 치면 최고의 연봉과 안정이 보장된 직장을 상징합니다. 2. 두 번째 이름: 이스라엘인 (Israelite) "내 힘을 빼고 하나님의...
Read more »

작은 틈이 무너뜨린다 왜 우리는 ‘사소한 분열’을 극도로 경계해야 하는가

  작은 틈이 무너뜨린다 왜 우리는 ‘사소한 분열’을 극도로 경계해야 하는가 목차 작은 틈이 큰 붕괴를 만든다 성경이 반복해서 경고하는 “작은 시작”의 위험 작은 여우의 비유 – 포도원을 무너뜨리는 보이지 않는 적 분열은 어떻게 시작되는가 틈을 방치하면 반드시 분열로 간다 신앙과 공동체에서 실제로 벌어지는 사례 작은 틈을 막는 실천 전략 오늘 우리가 점검해야 할 질문들 결론 요약 참고 성경 및 참고문헌 태그 검색 1. 작은 틈이 큰 붕괴를 만든다 대부분의 붕괴는 갑작스럽게 시작되지 않는다 . 성경이 말하는 실패와 타락의 공통점은 언제나 아주 작은 틈 에서 출발한다. 한 번의 방심 사소한 불순종 별것 아닌 말 한마디 그냥 넘겨버린 마음의 균열 이 작은 틈은 시간이 지나면서 분열 , 불신 , 완전한 붕괴 로 자란다. 성경은 이것을 결코 가볍게 보지 않는다. 2. 성경이 반복해서 경고하는 “작은 시작”의 위험 핵심 말씀 “적은 누룩이 온 덩이에 퍼지는 것을 알지 못하느냐” 갈라디아서 5:9 누룩은 작다. 그러나 방치하면 전부를 변화시킨다 . 성경에서 누룩은 종종 죄, 왜곡된 가르침, 분열의 씨앗 을 상징한다. 또 다른 경고 “죄의 삯은 사망이요” 로마서 6:23 죄의 시작은 작지만, 결과는 언제나 치명적 이다. 3. 작은 여우의 비유 – 포도원을 무너뜨리는 보이지 않는 적 많은 사람들이 이를 “전도서의 여우 이야기”로 기억하지만, 정확한 성경 구절은 아가서 에 등장한다. 핵심 말씀 “우리를 위하여 여우, 곧 포도원을 허는 작은 여우를 잡으라 우리의 포도원에 꽃이 피었음이라” 아가서 2:15 이 말씀이 주는 통찰 포도원은 이미 꽃이 핀 상태 큰 짐승이 아니라 작은 여우 가 문제 눈에 띄지 않기 때문에 더 위험 즉, 잘 되고 있을 때 무너진다 는 경고다. 4. 분열은 어떻게 시작되는가 성경에서 분...
Read more »

작은 틈이 무너뜨린다 왜 성경은 ‘분열의 시작’을 그렇게 경고하는가

  작은 틈이 무너뜨린다 왜 성경은 ‘분열의 시작’을 그렇게 경고하는가 목차 왜 성경은 ‘작은 틈’을 심각하게 다루는가 작은 틈의 성경적 정의 분열은 어떻게 시작되는가 성경이 말하는 분열의 파괴력 실제 삶에서 나타나는 작은 틈의 사례 작은 틈을 방치하면 벌어지는 일 작은 틈을 막는 성경적 실천 전략 오늘 점검해야 할 질문 결론 요약 참고 성경 및 참고문헌 태그 검색 1. 왜 성경은 ‘작은 틈’을 심각하게 다루는가 사람들은 보통 큰 죄 , 큰 갈등 , 큰 사건 을 문제 삼는다. 그러나 성경은 오히려 그 이전 단계, 즉 아주 작은 틈 을 가장 위험한 요소로 본다. 왜일까? 작은 틈은 눈에 띄지 않기 때문이다. 그래서 방치되기 쉽고 , 방치되면 반드시 분열로 자라기 때문이다. 2. 작은 틈의 성경적 정의 성경에서 말하는 작은 틈은 단순한 실수가 아니다. 다음과 같은 요소를 포함한다. 마음속에 스쳐 지나간 불평 말로 표현되지 않은 불신 “이 정도는 괜찮겠지”라는 자기합리화 순종을 미루는 태도 핵심 말씀 “모든 지킬 만한 것 중에 더욱 네 마음을 지키라 생명의 근원이 이에서 남이니라” 잠언 4:23 성경은 마음의 균열 을 가장 먼저 경고한다. 3. 분열은 어떻게 시작되는가 분열은 갑자기 터지지 않는다. 성경이 보여주는 분열의 흐름은 매우 일관적이다. 마음에 틈이 생긴다 말이 달라진다 해석이 갈라진다 판단이 편을 가른다 공동체가 약해진다 성경적 근거 “형제들아… 분쟁을 일으키고 거치게 하는 자들을 살피고 그들에게서 떠나라” 로마서 16:17 분열은 우연이 아니라 관리되지 않은 작은 틈의 결과 다. 4. 성경이 말하는 분열의 파괴력 작은 것이 전체를 무너뜨리는 원리 “적은 누룩이 온 덩이에 퍼지는 것을 알지 못하느냐” 갈라디아서 5:9 누룩은 작다. 그러나 퍼지면 전부를 변질시킨다 . 또 다른 강력한 경고 “죽은 파리들이 향기름을 썩게 하느니라” 전도서 10:1 아주 작은 요소가 전체를 부패 시킨다는 말이다. 5. 실제 삶에서 나타나는 작은 틈의 사례 현실 속 분...
Read more »