연구자

K-Fold 독립 벤치마크 기록

공개 복합체 구조 예측 모델 K-Fold를 같은 조건으로 직접 실행한 실측 기록 — 단백질 5종·삼중복합체 1종의 신뢰도·실행 시간과 해석 한계.

K-Fold는 단백질 등 여러 분자로 이루어진 복합체의 구조를 예측하는 모델입니다. 이 문서는 2026-10-22에 kaist-ai-bio/kfold 1.0.0을 직접 실행해 기록한 신뢰도와 실행 시간, 실험 구조와의 비교 결과를 소개합니다. 당시 확인한 코드·가중치 라이선스는 Apache-2.0입니다. 제한된 입력과 장비에서 얻은 기록이므로 모델의 전반적인 성능 순위로 해석할 수는 없습니다.

무엇을 측정했나

공개 PyPI 패키지를 그대로 설치하고, 누구나 내려받을 수 있는 공개 서열 5종(단백질 단일 사슬)에 시드 3개×샘플 5개로 구조 예측을 실행했습니다. 하드웨어는 NVIDIA RTX PRO 4000 Blackwell 24GB 1장, 지표는 모델이 자체 출력하는 신뢰도(pLDDT·pTM)를 가공 없이 읽었습니다. 비교 기준은 같은 서열에 대한 ColabFold(AlphaFold2 계열)의 같은 서버 과거 실측입니다.

결과 — 단일 사슬 5종

타깃(PDB)잔기 수K-Fold pLDDT 최고AF2 pLDDTK-Fold 시드당 시간
ubiquitin (1ubq)7688.695.94~12초
PD-L1 (5jds)24587.989.511~18초
PD-1 (7acl)35583.586.920~25초
TEV protease (1lvm)46777.084.834~36초
항체 Fab (8tfl)94084.386.494~97초*

*940aa는 24GB GPU 표준 설정에서 메모리가 부족해, 개발사 권고 설정(cpu-offload)으로 완주했습니다(시스템 메모리 약 70GB 사용).

삼중복합체(PROTAC) — 8BDS

VCB + BRD4-BD1 + PROTAC(QIY) 구성, 4사슬 490잔기 + 리간드 1개 쿼리를 실험 구조의 원래 서열 그대로 넣어 3시드×5샘플 전부 완주했습니다.

  • 최고 샘플 pLDDT 92.2·ipTM 0.829(15샘플 ipTM 0.799~0.829)
  • 시드당 39~43초(표준 설정, GPU 1장, 메모리 부족 없음)

읽는 법 — 해석 한계

  • 단일 사슬 예측은 K-Fold의 주장 영역이 아닙니다. K-Fold는 복합체 조립과 결합 유도 구조 변화 예측 모델입니다. 단일 사슬 수치는 실측 기록일 뿐 복합체 성능의 우열을 말하지 않습니다.
  • pLDDT·pTM·ipTM은 모델이 자기 예측에 매기는 신뢰도이지, 실험 구조 대비 정확도나 결합 친화도가 아닙니다.
  • 삼중복합체 입력은 실험 구조의 단백질 서열을 그대로 쓴 재조립 과제입니다. 예측이 실험 구조를 실제로 재현하는지는 별도 구조 대조(예: DockQ)를 거쳐야 확인됩니다.

구조 대조(DockQ) 실측 — 2026-10-22 추가

예측 삼중복합체 최고 샘플과 실험 구조(8BDS)를 DockQ(MIT, wallnerlab)로 대조했습니다.

인터페이스DockQiRMSD(Å)fnat
ElonginB–ElonginC (A–B)0.9350.450.93
ElonginB–VHL (A–C)0.9590.511.00
ElonginC–VHL (B–C)0.8920.510.84
VHL–BRD4 (C–D, PROTAC 인터페이스)0.5851.490.60
전체 4개 평균0.843——
  • PROTAC이 유도하는 VHL–BRD4 인터페이스가 DockQ 0.585·iRMSD 1.49Å·fnat 0.60 — 국소 접촉(핫스팟 재현)이 확인됩니다. 전역 상대 배치에는 LRMSD 6.18Å의 차이가 남았습니다. 이 비교만으로 차이의 원인을 분자의 움직임이나 결정화 조건으로 판단할 수는 없습니다.
  • DockQ 대조는 모델의 신뢰도와 별개로, 이 입력에서 예측한 구조가 기준 구조와 얼마나 비슷한지를 보여 줍니다. 실제 결합이나 기능을 검증한 결과는 아닙니다.
  • 속도는 우리 하드웨어 기준입니다. 다른 장비(예: L40S)를 기준으로 한 주장과 측정 조건이 다르므로 수치를 직접 비교하지 않습니다.
  • 시드 간 편차는 표준편차 약 0.2~0.3 pLDDT(3시드 최고 샘플 기준)입니다. 이 값은 측정한 3시드의 편차이며, 재실행 결과가 항상 이 범위에 든다는 보장은 아닙니다.

재현

같은 쿼리 YAML(공개 PDB 서열), 시드·샘플 설정, 실행 명령과 요약 CSV를 증거 폴더로 정리해 두었습니다. kfold의 입력 형식과 산출물(summary CSV·구조 파일)은 도구 참조에 있습니다. 실제 제출 가능 여부는 현재 프로젝트의 실행 옵션과 계획 검토에서 확인합니다.

이 페이지의 내용