개발자를 위한 신약개발 데이터 사이언스

개발자를 위한 신약개발 데이터 사이언스 — Boltz-2로 TYK2 후보 16개를 다시 평가하다

Boltz-2로 TYK2 후보 16개를 다시 평가하다

약이 될 가능성이 있는 분자 16개를 놓고 다음 실험을 준비한다고 생각해 보겠습니다. 시간과 자원이 한정되어 있다면 어떤 후보부터 살펴봐야 할까요? 신약개발에서 AI에 기대하는 역할 중 하나가 이 순서를 정하는 일입니다. 가능성이 높은 후보를 먼저 추려 다음 실험을 계획하는 데 도움을 얻으려 합니다.

이 질문을 Boltz-2라는 AI 모델로 직접 살펴봤습니다. Boltz-2는 단백질과 작은 분자가 어떤 모습으로 결합할지, 결합 성질은 어떨지를 예측합니다. 과거 실험 결과가 공개된 분자 16개를 골라 계산한 뒤 실험값과 비교했습니다. 이미 답이 알려진 문제에서 AI의 판단을 확인한 셈입니다.

실험값 기준으로 가장 강했던 후보 세 개와 AI가 먼저 고른 세 개 중 두 개가 같았습니다. 모델은 전체적인 경향도 상당 부분 따라갔습니다. 다만 실험에서 4위였던 후보를 예측에서는 11위로 평가하기도 했습니다. GPU 한 장에서 약 23분 만에 계산은 끝났습니다. 그 뒤에는 순위가 어디서, 얼마나 달라졌는지 숫자와 그림을 함께 살펴봤습니다.

이렇게 기존 실험 결과로 예측을 점검하는 방식을 후향 평가라고 합니다. 이번에는 새로운 약을 만들거나 사람에게 효과를 시험하지 않고, 과거 자료에서 모델의 판단을 확인했습니다. 아직 시험하지 않은 새 후보에서도 같은 결과가 나올지는 후속 연구에서 확인해야 합니다.

약물 후보가 작용할 단백질부터 정한다

단백질은 몸속에서 여러 일을 맡는 분자입니다. 물질을 운반하고 세포 사이의 신호를 전달하거나 화학 반응을 돕습니다. 약물은 이런 단백질에 작용해 그 활동을 바꾸기도 합니다. 연구자가 약물로 작용을 조절하려는 대상을 표적이라고 부릅니다.

이번 표적은 TYK2, 티로신 키나아제 2라는 단백질입니다. 세포의 신호 전달에 관여하며 다른 단백질에 인산기라는 화학적 표지를 붙이는 효소 계열에 속합니다. 효소는 특정 화학 반응을 돕는 단백질입니다. 여기서는 TYK2의 작용을 줄이는 억제제 후보들을 비교합니다. [1]

단백질과 결합하는 상대 분자를 리간드라고 부릅니다. 이 글에서는 비교 대상인 작은 분자가 리간드입니다. 아직 승인된 약은 아니므로 연구에서 비교하는 동안에는 후보라고 부르겠습니다.

단백질과 분자의 결합을 흔히 열쇠와 자물쇠에 비유합니다. 서로 맞닿을 수 있는 모양이 중요하다는 점은 비슷합니다. 다만 실제 분자는 움직이고 주변 물이나 전기적 성질의 영향도 받습니다. 그림에서 모양이 잘 맞아 보인다는 이유만으로 강하게 결합하거나 좋은 약이 된다고 판단할 수는 없습니다.

Boltz-2가 예측하는 것도 결합의 모습과 성질입니다. “두 분자는 어떤 자세로 놓일까?”라는 구조 예측과 “결합 성질은 어떨까?”라는 친화도 예측입니다. 결합 친화도는 두 분자가 얼마나 잘 결합하는지를 나타내는 성질입니다. 서로 관련은 있지만 결합하는 자세를 예측한 결과와 결합 친화도를 예측한 결과는 별개입니다. [1]

공개 TYK2 후보를 입력하고 Boltz-2 구조와 친화도를 계산한 뒤 실험 순위와 비교하는 네 단계 흐름

그림 1. 이번 작업의 전체 흐름. 같은 단백질에 후보 분자만 바꿔 넣고 예측 결과를 과거 실험과 비교했습니다. 마지막의 ‘2/3’은 먼저 고른 후보 세 개 중 두 개가 일치했다는 뜻입니다. 약이 될 확률을 나타내지는 않습니다.

이미 실험한 후보를 다시 계산한 이유

모델의 판단이 맞았는지 알려면 비교할 실험 결과가 필요합니다. 그래서 Open Forcefield Group이 공개한 protein-ligand-benchmark에서 TYK2 자료를 가져왔습니다. 벤치마크는 여러 방법을 같은 문제에서 비교할 수 있도록 마련한 기준 자료를 뜻합니다. 이 자료에는 단백질 구조와 분자 16개, 기존 실험에서 얻은 수치가 연결되어 있습니다. [2]

Boltz-2 논문도 TYK2를 평가 대상으로 다뤘습니다. 우리는 그 연구와 연결되는 공개 후보들을 가져와 모델이 알려진 후보의 강약을 얼마나 잘 구분하는지 직접 확인했습니다. 논문에는 훨씬 큰 규모의 후보 탐색과 새로운 분자 생성도 등장하지만 이번 글은 기존 후보 16개의 비교에 집중합니다. [1]

다만 입력 자료를 준비하는 세부 방식과 실행 환경까지 논문 저자와 같게 맞추지는 않았습니다. 같은 모델을 사용했어도 논문의 실험 조건을 완전히 복제한 것은 아니므로, 논문과 연결된 표적 하나를 독립적으로 다시 평가한 사례로 보아야 합니다.

앞으로 AI로 계산한 값은 예측값, 공개 자료에 기록된 과거 실험 결과는 실험값으로 구분하겠습니다. 후보의 억제 성능은 기존 실험값을 사용했고 이번에 직접 측정한 것은 계산 시간과 GPU 사용량입니다.

단백질과 후보 분자를 입력으로 옮긴다

후보를 정했으니 모델이 읽을 수 있는 입력으로 옮길 차례입니다. 분자의 이름만으로는 부족합니다. 어떤 재료가 어떤 순서와 방식으로 연결되어 있는지를 전달해야 합니다.

단백질은 아미노산이라는 구성 단위가 길게 이어져 만들어집니다. 그 순서를 문자로 적은 것이 서열입니다. 이번에는 공개 구조에서 비교에 필요한 구간의 서열을 추출했습니다. 입력한 아미노산 288개는 TYK2 전체가 아니라 그 구간에 해당합니다.

작은 후보 분자는 SMILES라는 문자열로 전달했습니다. 원자의 종류와 연결, 고리 모양, 입체 배치 정보를 문자로 표현하는 방식입니다. 그림으로 그린 분자의 연결 관계를 컴퓨터가 읽을 수 있게 적었다고 보면 됩니다. 단백질 서열에는 주로 구성 단위의 순서를, SMILES에는 원자가 연결된 관계를 적습니다.

입체 배치도 중요한 정보입니다. 같은 종류의 원자들이 연결되어 있어도 공간에서 놓이는 방향이 다르면 단백질과의 상호작용이 달라질 수 있습니다. 이번에는 원자료에 기록된 배치를 그대로 보존했습니다. 파일을 읽기 편하게 바꾼다는 이유로 이 정보를 지우면 다른 분자를 평가하게 될 수 있습니다.

단백질에는 MSA, 다중 서열 정렬이라는 보조 자료도 붙였습니다. 관련된 여러 단백질의 서열을 나란히 놓고 대응하는 위치를 맞춘 자료입니다. 진화 과정에서 어느 부분이 함께 변했는지가 구조를 추정하는 단서가 됩니다. 모든 후보에 같은 단백질 서열과 같은 MSA를 사용했습니다. 비교할 때 바뀌는 입력은 후보 분자뿐입니다.

입력은 같은 단백질 + 후보 하나의 조합입니다. 이 조합을 16번 만들고, 구조와 친화도를 함께 요청했습니다. 프로그램 코드와 세부 설정은 글 뒤의 실행 메모에 모았습니다. [3]

원자료 SMILES로 그린 TYK2 후보 16개의 분자 구조와 마이크로몰 단위로 통일한 억제상수

그림 2. 후보 16개의 연결 구조. EJM과 JMC는 자료의 출처를 구분하는 이름표입니다. 선은 원자 사이의 결합을 나타내고, N·O·Cl은 각각 질소·산소·염소입니다. 탄소 기호를 생략한 부분에서는 선의 꺾이는 점과 끝이 탄소 원자에 해당합니다. 삼각형이나 육각형은 원자들이 고리로 연결되었다는 뜻입니다. 실제 입체 자세를 그린 그림은 아닙니다.

그림의 화학식을 전부 읽지 않아도 후보들이 비슷한 모양이라는 점은 보입니다. 일부 연결이나 원자만 다릅니다. 우리는 이 작은 차이에 따라 실제 작용 강도가 얼마나 달라지는지, 모델도 그 차이를 구분하는지 살펴봤습니다.

실험값은 왜 작은 쪽이 더 강할까

그림 2의 분자 아래에는 Ki, 억제상수가 적혀 있습니다. 효소를 억제하는 분자의 작용 강도를 정해진 모형으로 표현한 값입니다. 비교 가능한 실험 조건에서는 Ki가 낮을수록 더 강한 억제제로 해석합니다. 높은 점수가 좋은 성적표와는 방향이 반대입니다.

Ki는 농도 단위를 사용합니다. 농도는 일정한 부피 안에 물질이 얼마나 들어 있는지를 나타냅니다. 여기서 μM와 nM는 아주 적은 농도를 표현하는 단위이며 각각 마이크로몰 농도와 나노몰 농도라고 읽습니다. 1 μM는 1,000 nM입니다.

원자료는 두 단위를 섞어 사용하고 있었습니다. EJM 계열 12개는 μM, JMC 계열 4개는 nM였습니다. 두 계열의 실험값은 각각 Liang 등의 2013년 논문에서 유래하며 이번에는 OpenFF가 정리한 값을 사용했습니다. [2] [4] [5]

실제 후보 두 개를 같은 단위로 바꾸면 차이가 보입니다.

후보

원자료의 Ki

μM로 통일한 Ki

EJM 31

0.096 μM

0.096 μM

JMC 23

2.5 nM

0.0025 μM

숫자만 보면 0.096이 2.5보다 작습니다. 하지만 단위를 맞추면 JMC 23의 Ki가 더 낮습니다. cm와 mm를 섞어 적은 길이 목록을 숫자만으로 정렬하면 틀리는 것과 같은 문제입니다. 물론 단위를 맞춰도 두 논문의 실험 조건까지 같아지지는 않습니다. 그래서 출처별 수치도 따로 분석했습니다.

숫자 옆의 주석도 읽어야 했습니다. EJM 44의 수치 칸에는 3.5가 들어 있었지만 주석에는 ‘Ki가 3.5 μM보다 큼’이라고 적혀 있었습니다.

정확히 3.5라고 측정한 것과 3.5보다 크다고만 아는 것은 다릅니다. 후자에서는 값의 정확한 위치는 몰라도 경계를 기준으로 어느 쪽에 있는지는 압니다. 이런 자료를 중도절단 측정값이라고 합니다. 정보가 없는 후보가 아니라, 정확한 수치 대신 경계만 알려진 후보입니다.

그래서 모델 계산은 16개 모두 수행하되, 정확한 수치가 필요한 주 분석에는 15개만 넣었습니다. EJM 44는 경계 정보를 보존하고 별도로 표시했습니다. 이 처리 방식이 최종 평가에 얼마나 영향을 주었는지는 뒤의 상관계수 비교에서 살펴보겠습니다.

AI의 점수와 실험값을 어떻게 비교했나

입력을 준비해 계산하면 Boltz-2가 후보의 친화도를 숫자로 내놓습니다. 이번에 비교한 출력 이름은 affinity_pred_value이며 작을수록 강하게 예측한 후보입니다. 이름과 방향을 알아두면 이후 그림을 읽기 쉽습니다. [3]

이 숫자를 실험값과 비교하려면 먼저 척도를 맞춰야 합니다. 공식 문서는 IC50, 즉 해당 시험에서 억제가 절반에 이르는 농도를 로그 척도로 표현한다고 설명합니다. 로그는 10배씩 벌어진 차이를 일정한 간격으로 표현하는 방법입니다. 이 글에서 사용하는 기준에서는 1 μM가 0, 0.1 μM가 −1, 0.01 μM가 −2에 해당합니다. 이 세 숫자는 변환 방법을 보여주는 예시입니다. 로그로 표현하면서 음수가 나온 것이므로 농도가 음수이거나 계산에 실패한 것은 아닙니다.

실제 EJM 31의 예측값은 약 −0.928이었습니다. 비교할 실험 Ki 0.096 μM를 같은 방식으로 로그로 바꾸면 약 −1.018이 됩니다. 두 숫자는 비슷합니다. 하지만 이것만으로 오차가 작다고 결론내리지는 않았습니다. 모델이 설명하는 IC50과 원자료의 Ki가 서로 다른 지표이기 때문입니다.

Ki는 억제 모형에서 작용 강도를 나타내는 상수이고, IC50은 특정 시험에서 절반의 억제가 나타나는 농도입니다. 같은 분자라도 시험 조건에 따라 IC50이 달라질 수 있습니다. 같은 농도 단위를 쓴다는 사실만으로 두 지표가 같은 측정값이 되지는 않습니다. 이번 비교에서는 두 숫자가 정확히 같은지보다 실험에서 강한 후보를 모델도 강하게 평가하는지를 살폈습니다.

모델에는 결합 후보를 구분하기 위한 또 다른 출력인 affinity_probability_binary도 있습니다. EJM 31에서는 약 0.762가 나왔습니다. 이 값은 특정 목적에 쓰는 분류 출력입니다. 후보가 약이 될 확률을 76.2%로 예측한 것은 아닙니다. 단백질에 작용하는 후보가 실제 약이 되려면 세포와 몸속에서도 원하는 효과를 내는지, 안전한지 등 훨씬 많은 질문에 답해야 합니다.

실험에서 강한 후보를 AI도 강하게 평가했을까

실험값과 예측값의 전체 경향을 비교할 때는 Pearson 상관계수를 사용했습니다. 두 로그값이 얼마나 일정한 관계로 함께 움직이는지 계산한 수치입니다. 실험에서 강했던 후보를 모델도 대체로 강하게 평가했는지 살펴보려 합니다.

이 지표는 −1에서 1 사이의 값을 가집니다. 1에 가까울수록 같은 방향의 직선적인 관계가 강하고 0에 가까우면 그런 관계가 약합니다. −1에 가까우면 반대 방향으로 움직입니다. 이번에는 두 축 모두 낮을수록 강하게 평가한 후보가 되도록 맞췄으므로, 양의 상관이 높은 쪽이 기대하는 방향입니다. 상관계수 0.815는 두 값의 관계를 나타내며, 정답을 맞힌 비율인 정확도 81.5%와는 다릅니다.

정확한 실험값 15개에서 얻은 상관계수는 0.815였습니다. 이 숫자 하나보다 아래의 점들을 함께 보는 편이 결과를 이해하는 데 도움이 됩니다.

Ki 로그값과 Boltz-2 친화도 출력의 산점도. 정확한 값 15개와 경계만 알려진 EJM 44를 구분했다

그림 3. 점 하나가 후보 하나입니다. 가로축은 실험값, 세로축은 모델 예측값입니다. 왼쪽일수록 실험에서 강했고 아래일수록 모델이 강하게 평가했습니다. 파란 원과 주황 사각형은 자료의 출처를 구분합니다. 빈 원과 화살표는 정확한 실험값 대신 경계만 알려진 EJM 44입니다.

그림에서는 실험에서 강한 후보들이 주로 왼쪽 아래에, 약한 후보들이 오른쪽 위에 모여 있습니다. 두 평가가 대체로 비슷한 경향을 보입니다. 그렇다고 점들이 한 줄에 놓이지는 않았습니다. 비슷한 실험값을 가진 후보끼리도 모델 점수가 달랐고 전체 경향에서 벗어난 후보도 있었습니다.

JMC 28이 눈에 띕니다. 왼쪽에 있으면서도 상대적으로 위쪽에 놓여 있습니다. 실험에서는 강한 편이었지만 모델은 그만큼 강하게 평가하지 않았습니다. 두 축이 서로 다른 측정량이므로, 대각선에서 얼마나 떨어졌는지를 절대적인 농도 오차로 읽지는 않습니다.

비교 대상으로 분자의 질량이 클수록 강할 것이라는 단순한 규칙도 적용했습니다. 분자량은 분자를 구성하는 원자들의 질량을 합한 값입니다. 이 규칙의 상관계수는 0.118이었습니다. 이번 자료에서 Boltz-2는 이런 단순한 기준보다 실험값의 경향을 더 잘 따라갔습니다. 이것만으로 모델이 결합의 모든 원리를 이해했다고 확인한 것은 아닙니다.

앞서 따로 남겨둔 EJM 44를 정확히 3.5 μM인 것처럼 취급해 16개를 함께 계산하면 상관계수는 0.860으로 올라갑니다. 수치는 좋아졌습니다. 하지만 정확히 모르는 값을 아는 값처럼 넣었기 때문입니다. 그래서 주 결과는 15개에서 얻은 0.815로 유지했습니다. 모델의 성능을 평가할 때는 계산식뿐 아니라 실험값을 어떻게 해석했는지도 결과를 바꿉니다.

먼저 시험할 세 후보는 얼마나 겹쳤을까

이제 처음 질문으로 돌아가 보겠습니다. 후보 세 개를 먼저 시험한다고 가정하면 어떤 후보를 고르게 될까요? 전체 경향이 비슷해도 먼저 고를 후보까지 같으리라는 보장은 없습니다. 새 시험을 하지는 않고, 두 기준의 상위 후보를 나란히 놓아 우선순위를 비교했습니다.

순서

실험 Ki 기준

모델 예측 기준

1위

JMC 23

EJM 46

2위

EJM 46

JMC 23

3위

JMC 27

EJM 54

JMC 23과 EJM 46은 두 목록에 모두 들어 있습니다. 세 번째 자리는 다릅니다. 상위 3개 중 2개 일치는 이렇게 고른 후보가 겹친다는 결과이며 세 개 중 두 개가 신약개발에 성공한 결과는 아닙니다.

전체 순위를 선으로 연결하면 어느 후보에서 판단이 달라졌는지 더 잘 보입니다.

정확한 실험값 15개 전체의 실험 순위와 예측 순위를 연결한 그림

그림 4. 왼쪽은 실험 순위, 오른쪽은 모델 순위입니다. 같은 후보를 선으로 연결했습니다. 위쪽일수록 강한 후보이고 연한 파란 영역이 상위 3개입니다. 선이 거의 수평이면 순위가 비슷하고 크게 기울어지면 차이가 큽니다. 주황색 JMC 28은 실험 4위에서 예측 11위로 이동했습니다.

상관계수는 전체 후보들의 관계를 한 숫자로 요약합니다. 반면 이 그림은 개별 후보를 먼저 고를 때 생기는 차이를 보여줍니다. 둘 중 하나만 보면 전체 경향이나 중요한 예외를 놓칠 수 있습니다.

실험 순위도 측정된 숫자를 정렬해 얻었습니다. 값이 아주 가까우면 실험 오차 때문에 우열이 분명하지 않을 수 있습니다. 이번 자료만으로는 그 불확실성을 수치로 평가하지 못했으므로, 작은 순위 차이까지 확정적인 생물학적 우열로 해석하지는 않았습니다.

순위가 크게 어긋난 JMC 28을 들여다보니

JMC 28은 실험 4위, 예측 11위로 순위 차이가 가장 컸습니다. 그런데 이 후보의 구조 예측 신뢰도인 ipTM은 0.985로 높게 나왔습니다.

ipTM은 단백질과 상대 분자의 배치를 모델이 얼마나 신뢰하는지 나타내는 지표입니다. “이 위치 관계가 그럴듯하다”는 판단과 “다른 후보보다 더 강하게 작용한다”는 판단은 다릅니다. 0.985도 실험 성공 확률 98.5%를 뜻하지 않습니다.

가장 큰 순위 오차를 보인 JMC 28의 실제 예측 복합체 좌표와 리간드 원자

그림 5. JMC 28의 예측 구조입니다. 왼쪽의 긴 파란 곡선은 단백질의 기본 줄기인 주사슬, 주황색 점들은 후보 분자의 위치를 보여줍니다. 오른쪽은 그 후보를 다른 방향에서 확대한 것입니다. 실제 예측 좌표를 평면에 옮겨 그렸고 주사슬은 보기 쉽게 부드러운 곡선으로 연결했습니다. 결합선은 원자 연결을 나타냅니다. 현미경 사진이나 실험으로 확인한 결합 모습은 아닙니다.

이 후보에서는 구조 신뢰도가 높게 나왔는데도 순위가 크게 어긋났습니다. 구조에 오류가 있었는지, 친화도 예측에서 차이를 놓쳤는지, 실험 조건이 영향을 주었는지는 그림만으로 알 수 없습니다. 구조를 실험 자료와 비교하는 후속 분석이나 다른 측정이 필요합니다.

개발자에게는 결과를 저장하고 보여주는 방식의 문제이기도 합니다. 구조 신뢰도, 예측 친화도, 실험 억제상수를 모두 점수라고만 표시하면 독자는 같은 뜻으로 읽기 쉽습니다. 무엇을 예측하거나 측정한 값인지 화면과 데이터에서 구분해 두어야 연구자도 서로 다른 근거를 함께 판단할 수 있습니다.

23분 동안 계산한 것과 계산하지 않은 것

실행에는 AI 계산에 사용하는 GPU 한 장을 썼습니다. 같은 단백질과 보조 자료를 유지한 채 후보만 바꾸어 16개를 차례로 계산했고 전부 완료했습니다. 각 후보에서 가능한 구조 5개와 친화도 결과를 얻어 총 80개의 구조 파일과 16개의 친화도 결과가 남았습니다. 구조 파일 5개에는 모델이 생성한 여러 가능성이 담겨 있습니다. 실험을 5번 반복한 결과는 아닙니다.

계산 시간의 합계는 1,394.4초, 약 23.2분이었습니다. 후보 하나당 시간은 85.9~89.1초였고 가운데에 해당하는 값인 중앙값은 87.0초였습니다. 모델 파일과 입력 자료가 준비된 상태에서 작업을 시작해 종료할 때까지 잰 시간입니다.

후보별 실제 실행 시간과 5초 간격으로 관측한 GPU 메모리 최대값

그림 6. 막대 하나가 후보 하나입니다. 왼쪽은 실행 시간, 오른쪽은 계산 중 관측한 GPU 메모리 사용량입니다. 후보들 사이의 실행 시간은 비슷했습니다. 메모리는 5초마다 확인했기 때문에 그 사이의 순간 최대값은 놓쳤을 수 있습니다.

GPU 메모리는 계산하는 동안 모델과 데이터를 올려두는 공간입니다. 관측한 최대 사용량은 약 14.0 GiB였습니다. 장비를 준비할 때 참고할 수 있는 관측값이지만 입력 길이나 실행 설정이 달라지면 필요한 메모리도 달라질 수 있습니다.

23.2분에는 모델 파일을 내려받고 단백질 보조 자료를 만드는 준비 시간과 결과를 분석하는 시간이 들어 있지 않습니다. 후보를 실제로 만들고 억제 성능을 측정하는 시간도 포함되지 않습니다. 이번 모델 계산에 걸린 시간을 측정했으므로 23분 만에 신약을 개발한 것은 아닙니다.

실행에는 나두바이오 카탈로그에 쓰는 모델 이미지를 사용했습니다. 모델과 실행 환경을 묶은 패키지입니다. 카탈로그 화면에서 작업을 접수하고 과금·결과표까지 이어지는 전체 서비스 경로를 시험한 결과는 아닙니다. 사용한 모델 버전과 장비, 세부 설정은 뒤에 남겼습니다.

후보가 15개라면 결과도 흔들릴 수 있다

0.815라는 수치는 이번 15개에서 계산한 결과입니다. 후보 몇 개가 달라져도 같은 값이 나올까요? 이를 살펴보려고 후보를 하나씩 제외하고 상관계수를 다시 계산했습니다. 결과는 0.755~0.854 사이로 움직였습니다. 모델을 다시 실행하거나 학습한 것이 아니라, 어떤 후보를 집계에 넣느냐에 따른 변화입니다.

부트스트랩이라는 방법도 사용했습니다. 이미 가진 15개의 실험값과 예측값 쌍에서 중복을 허용해 다시 15개를 뽑고 상관계수를 계산하는 일을 반복합니다. 후보 구성이 달라질 때 요약 수치가 얼마나 흔들리는지 보는 방법입니다. 10,000회 반복 결과의 가운데 95%에 해당하는 범위는 0.559~0.932였습니다.

같은 표적의 유사한 후보를 다시 뽑아 계산했으므로, 이 범위로 다른 단백질의 성능까지 예측할 수는 없습니다. 다만 후보 수가 적으면 요약 수치도 이만큼 흔들립니다. 소수점 셋째 자리까지 계산했더라도 그 숫자가 확정적인 성능을 나타내지는 않습니다.

자료의 출처를 나눠 보았을 때는 EJM의 정확한 11개에서 0.844, JMC 4개에서 0.712였습니다. 특히 네 개로 계산한 수치는 후보 하나의 영향을 크게 받습니다. 두 결과만으로 어느 계열이 일반적으로 더 예측하기 쉽다고 결론내리지는 않았습니다.

이 사례가 보여준 AI의 역할

이번 결과에서 AI는 실험의 전체 경향을 상당 부분 따라갔습니다. 먼저 고른 세 후보 중 두 개는 실험 기준 상위 후보와 같았습니다. 동시에 JMC 28처럼 중요한 예외도 남았습니다. 모델이 내놓은 순위는 다음 실험을 계획할 참고 근거가 될 수 있지만 후보의 성질을 최종 판정한 결과는 아닙니다.

다른 단백질에도 같은 성능을 기대하려면 별도의 평가가 필요합니다. 논문은 친화도 평가 자료를 학습 자료와 분리하는 방법을 설명하지만 구조 예측 모듈은 TYK2와 후보 분자가 함께 있는 공개 구조를 학습에 사용했다고 밝힙니다. 작용 강도를 배우는 자료와 분자의 배치를 배우는 자료는 구분됩니다. 이번 사례를 모델이 전혀 접하지 않은 단백질에서 얻은 성능으로 확대할 수 없는 이유입니다. [1]

개발자가 이 과정에서 맡을 수 있는 일도 구체적입니다. 원래 분자의 정보를 보존해 모델에 전달하고 후보마다 같은 조건으로 실행하고 결과를 실험 기록과 다시 연결하는 일입니다. 숫자 옆의 단위와 부등호를 잃지 않는 일도 포함됩니다. 이번에는 3.5보다 큼을 3.5로 바꾸기만 해도 모델이 더 잘한 것처럼 보였습니다.

이번에는 상관계수와 함께 어떤 후보를 잘 골랐고 어디서 순위가 어긋났는지도 기록했습니다. 그 판단에 사용한 입력과 계산 조건도 남겼습니다. 연구자는 이 기록을 보며 AI의 추천을 검토하고 다음 실험에서 확인할 대상을 정할 수 있습니다.

직접 실행해 보고 싶은 개발자를 위한 메모

여기부터는 재계산에 필요한 세부 사항입니다. 본문의 관찰을 이해하는 데 모든 옵션을 알 필요는 없지만 같은 계산을 다시 하려면 입력과 버전, 설정을 함께 남겨야 합니다.

데이터는 OpenFF protein-ligand-benchmark release 0.2.1의 커밋 fe6f96916b2e28f9c14398d77c838d6515e931b0으로 고정했습니다. 기준 구조 식별자는 4GIH입니다. 준비 구조에서 계산용 말단 캡 ACE·NME를 제외하고 히스티딘의 세부 상태 표기를 H로 정규화해 288개 아미노산 서열을 얻었습니다. 좌표를 정답 템플릿으로 입력하지는 않았습니다. MSA는 공개 서열로 ColabFold에서 취득한 A3M 파일을 고정했습니다.

입력에서는 단백질을 A, 리간드를 B로 구분하고 binder: B로 친화도를 요청했습니다. 아래 코드는 입력의 핵심 형태입니다. 변수에는 실제 서열·SMILES·MSA 경로가 들어갑니다. [3]

payload = {
    "version": 1,
    "sequences": [
        {"protein": {
            "id": "A",
            "sequence": tyk2_sequence,
            "msa": str(msa_path),
        }},
        {"ligand": {"id": "B", "smiles": ligand_smiles}},
    ],
    "properties": [{"affinity": {"binder": "B"}}],
}

Boltz 버전은 2.2.1, PyTorch는 2.11.0+cu128, 장비는 RTX PRO 4000 Blackwell 한 장이었습니다. 후보마다 새 컨테이너를 시작했습니다. 모든 후보의 설정은 같았고 결과를 보고 조정하지 않았습니다. 시드 하나만 사용했으므로 반복 실행에 따른 변동은 평가하지 않았습니다.

항목

이번 실행 설정

구조 예측 반복

recycling 5회

구조 생성

200 diffusion steps, 후보당 구조 5개

친화도 경로

sampling steps 200, diffusion samples 5

병렬 샘플 수

1

난수 시드

20261026

분자량 보정

사용

실행 옵션

--no_kernels 사용

네트워크

MSA를 먼저 준비하고 모델 계산 컨테이너는 차단

구조 생성 설정은 논문 B.5.1, 분자량 보정은 B.5.2를 참고했습니다. 논문은 두 친화도 모델의 출력을 결합하며 분자량 보정을 적용합니다. 이번에도 보정 사용을 실행 전에 기록했습니다. 저자가 사용한 정제 목록·MSA·실행 환경과 완전히 같지는 않습니다. 논문이 보고한 TYK2 Pearson R=0.83과 네 표적 평균 R=0.66은 서로 다른 집계이며 이번 자체 결과 0.815와 구분해야 합니다. 논문의 새 생성 후보 평가에 쓰인 ABFE는 절대 결합 자유에너지라는 물리량을 추정하는 계산입니다. 해당 버전의 새 후보 실험 측정값으로 읽지 않았습니다. [1]

주 분석은 정확한 Ki 15개에서 log10(Ki / μM)와 affinity_pred_value를 비교했습니다. 아래의 지표들은 서로 다른 관점으로 같은 결과를 요약합니다.

평가 방법

결과

해석

Pearson R

0.815

로그 실험값과 예측값 사이의 직선적 관계

Spearman 순위상관

0.796

수치 간격 대신 순위가 얼마나 비슷한지 비교

Kendall tau-b

0.657

두 후보씩 짝지었을 때 어느 쪽이 강한지 순서의 일치를 비교

상위 3개 겹침

2/3

우선 선택한 세 후보 중 공통 후보 수

분자량만 사용한 Pearson R

0.118

분자량의 음수를 점수로 사용한, 학습하지 않은 비교 기준

구조와 친화도 결과는 분리해 보관했습니다. JMC 28의 ipTM=0.985는 저장된 0순위 구조에서 읽은 값이며 처음 생성한 구조라는 뜻은 아닙니다. 입력과 프로토콜의 해시는 실행 전 기록과 일치했고 16개 종료 기록과 80개 구조 파일을 확인했습니다. 이 검사는 파일 연결의 무결성을 확인하며 구조의 실험적 정확도를 입증하지는 않습니다.

자원 측정은 컨테이너 실행부터 종료까지의 시간, 5초 간격의 GPU 전체 메모리 사용량입니다. 최대 14,341 MiB를 관측했습니다. 같은 호스트의 다른 GPU에서도 작업이 진행 중이었으므로 전용 호스트 성능이나 서비스 비용으로 일반화하지 않았습니다.

전체 16개 결과, 분석 집계와 사전 실행 프로토콜을 별도로 보관했습니다. 원본 결과에는 친화도 JSON, 구조 80개, 실행 로그와 자원 관측값이 포함됩니다.


데이터와 이용 조건. Open Forcefield Group의 벤치마크 데이터는 출처를 표시하는 CC BY 4.0 조건으로 제공됩니다. 연구·상업 이용이 가능하며 출처와 라이선스, 변경 사실을 밝혀야 합니다. 이 글에서는 단위 환산, 부등호 분리, 분자 도식과 분석 그림을 새로 작성했습니다. 원 논문의 본문·그림까지 같은 조건이라는 뜻은 아닙니다. [7] Boltz의 확인한 공식 README는 코드와 가중치를 MIT 조건으로 제공한다고 안내합니다. 연구·상업 이용 시 해당 저작권·허가문을 보존하는 조건이며 별도 데이터나 서버 이용 조건까지 대신하지는 않습니다. [6]

참고문헌

  1. Passaro et al. Boltz-2: Towards Accurate and Efficient Binding Affinity Prediction. bioRxiv v1, 2025. 구조·친화도 예측 및 평가 논문.

  2. Open Forcefield Group. protein-ligand-benchmark, 고정 커밋 fe6f969. release 0.2.1의 공개 TYK2 입력·실험값 정리본. 2026-10-26 확인.

  3. Boltz developers. Prediction documentation. 공식 입력·출력 문서 스냅샷. 2026-10-26 확인.

  4. Liang et al. Lead identification of novel and selective TYK2 inhibitors. European Journal of Medicinal Chemistry, 2013. EJM 계열 실험값의 원 출처.

  5. Liang et al. Lead Optimization of a 4-Aminopyridine Benzamide Scaffold To Identify Potent, Selective, and Orally Bioavailable TYK2 Inhibitors. Journal of Medicinal Chemistry, 2013. JMC 계열 실험값의 원 출처.

  6. Boltz developers. Boltz README. 공식 코드·가중치 이용 조건 안내. 2026-10-26 확인.

  7. Creative Commons. Attribution 4.0 International. 데이터 저장소가 적용한 CC BY 4.0의 이용 조건. 저장소 라이선스 원문과 함께 2026-10-26 확인.