최신 GPU로 오믹스 파운데이션 모델을 돌렸는데, 왜 결과가 이상할까?

최신 GPU로 오믹스 파운데이션 모델을 돌렸는데, 왜 결과가 이상할까?

새 Blackwell GPU에서 어텐션 커널을 검증하다가 "flash-attn이 틀렸다"는 결과를 받았습니다. 끝까지 따라가 보니 틀린 쪽은 비교 기준으로 쓴 PyTorch 2.7.1의 fp32 어텐션이었습니다. 어떤 조건에서 틀리는지, 어느 버전부터 괜찮은지, 내 환경에서 확인하는 방법을 차례로 정리했습니다.

한눈에 보기

나두바이오는 DNA 서열 모델인 Evo 2를 자체 GPU 서버(RTX PRO 4000 Blackwell)에서 돌릴 수 있는지 검토하던 중이었습니다. 결론부터 적으면 이렇습니다.

  • flash-attn 2.8.0.post2는 이 GPU에서 정상입니다. CPU float64로 계산한 정답과 비교한 최대 오차가 0.0092(bf16)로, 데이터형의 반올림 범위 안이었습니다.

  • PyTorch 2.7.1의 fp32 어텐션은 조건에 따라 조용히 틀립니다. torch.nn.functional.scaled_dot_product_attention(이하 SDPA)에 fp32 텐서를 넣고 head 크기가 65–128 사이의 4의 배수(68, 72, 96, 128 등)이며 서열 길이가 25 이상이면, 기본 경로의 결과가 정답과 최대 0.76까지 달랐습니다. 오류 메시지나 NaN은 나오지 않습니다. PyTorch 2.7.0도 같았습니다.

  • PyTorch 2.8.0부터는 재현되지 않았습니다. 공식 이미지 2.8.0·2.9.1·2.11.0·2.14.1·2.15.0에서 같은 시험의 오차는 모두 0.00001 미만이었습니다.

  • 실제 모델 출력도 달라집니다. head 크기가 128인 공개 언어 모델 OLMo-1B를 fp32로 불렀을 때, PyTorch 2.7.1에서는 로짓이 최대 5.66 달라졌고 40개 토큰 중 1개에서 다음 토큰 1순위 예측이 바뀌었습니다.

이 글의 수치는 모두 나두바이오 자체 GPU 서버의 RTX PRO 4000 Blackwell 한 장에서 2026년 11월 4일에 측정한 값입니다.

읽기 전에 알아 둘 용어

오믹스 파운데이션 모델은 DNA 서열이나 세포의 유전자 발현량처럼 생물학 데이터를 대량으로 미리 학습해 둔 AI 모델입니다. Evo 2는 그중 DNA 염기 서열(A·C·G·T)을 읽는 모델로, 변이가 생긴 서열이 원래 서열보다 얼마나 그럴듯한지 점수를 매기는 데 씁니다. 이런 모델 대부분이 언어 모델과 같은 트랜스포머 구조를 쓰기 때문에, 계산 대부분이 어텐션에서 일어납니다.

어텐션은 여러 개의 head로 나뉘어 계산되며 head 하나가 다루는 벡터 길이를 head 크기(head dim)라고 부릅니다. 모델 설정 파일의 hidden_size를 num_attention_heads로 나누면 알 수 있습니다. 예를 들어 hidden 2048, head 16개면 head 크기는 128입니다.

PyTorch의 SDPA는 같은 어텐션 계산을 여러 커널(GPU에서 실제로 실행되는 구현) 중 하나로 처리합니다. 단순 행렬곱으로 계산하는 MATH 경로, 메모리를 아끼는 메모리 효율(EFFICIENT) 경로, FlashAttention 경로 등이 있으며 입력의 데이터형과 모양을 보고 자동으로 고릅니다 [1]. flash-attn은 PyTorch와 별도로 설치하는 FlashAttention 라이브러리입니다.

sm_120은 RTX PRO 4000 Blackwell 같은 Blackwell 워크스테이션 GPU의 아키텍처 번호(compute capability 12.0)입니다. 새 아키텍처가 나오면 라이브러리마다 이 번호에 맞춘 코드를 새로 빌드하므로, 한동안은 "돌아가는가"와 "맞게 돌아가는가"를 따로 확인해야 합니다.

왜 확인을 시작했나

Evo 2 저장소는 7B 모델을 bf16으로 돌릴 때 flash-attn 2.8.0.post2를 설치하라고 안내하며 설치 예시로 torch==2.7.1(CUDA 12.8 빌드)을 듭니다 [2]. 우리 서버의 GPU는 sm_120이라, 이 조합이 이 GPU에서 맞는 값을 내는지부터 확인해야 했습니다.

flash-attn 2.8.0.post2의 빌드 설정은 CUDA 12.8 이상에서 sm_120용 코드를 기본으로 만듭니다 [3]. 공식 wheel(flash_attn-2.8.0.post2+cu12torch2.7cxx11abiTRUE-cp311)도 PyTorch 공식 이미지 pytorch/pytorch:2.7.1-cuda12.8-cudnn9-runtime에 그대로 설치됐습니다. 남은 질문은 계산 결과가 맞는지였습니다.

1차 시험: flash-attn이 틀린 것처럼 보였다

같은 무작위 입력을 flash-attn bf16과 PyTorch fp32로 계산하자 head 128에서 0.43 차이가 났고, CPU float64로 다시 판정하니 flash-attn 오차는 0.009, fp32 기준값 오차는 0.46이었다

그림 1. flash-attn을 의심했다가 기준값이 틀렸다는 것을 찾은 순서입니다. RTX PRO 4000 Blackwell, PyTorch 2.7.1+cu128, flash-attn 2.8.0.post2에서 잰 값입니다.

시험 방법은 단순했습니다. 어텐션의 세 입력인 Q·K·V를 무작위 텐서(배치 2, 길이 1024, head 16개)로 만들고, head 크기를 64·128·256으로 바꿔 가며 flash-attn(bf16·fp16)의 결과를 같은 GPU의 PyTorch fp32 SDPA 결과와 비교했습니다. fp32가 bf16보다 정밀하니 fp32 결과를 정답으로 삼았습니다.

결과가 이상했습니다. head 64와 256에서는 최대 오차가 0.01 안쪽이었는데 head 128에서만 0.43(bf16)과 0.48(fp16)이 나왔습니다. 둘 다 causal 마스크, 곧 각 위치가 자기보다 앞선 위치만 보게 하는 설정을 켠 경우입니다. bf16의 반올림 오차로 보기에는 수십 배 큰 값입니다. 이대로라면 "flash-attn이 sm_120에서 head 128을 잘못 계산한다"는 결론을 내릴 상황이었습니다.

기준을 바꾸자 범인이 바뀌었다

정답으로 쓴 값도 결국 GPU가 계산한 결과입니다. 같은 입력을 CPU로 옮겨 float64로 계산하고, 이 값을 새 기준으로 삼아 다시 쟀습니다.

비교 대상 (CPU float64 기준)

head 64

head 96

head 128

head 256

flash-attn, bf16, causal

0.0086

0.0081

0.0092

0.0086

1차 시험의 기준값(PyTorch fp32 SDPA), causal

0.0000

0.4223

0.4613

0.0000

flash-attn은 모든 head 크기에서 bf16 반올림 범위 안에 있었습니다. 가변 길이 함수(flash_attn_varlen_func)는 0.0086, 회전 위치 인코딩(apply_rotary_emb)은 0.0133이었습니다. 길이 8,192·head 32개 causal 순전파 한 번에 약 5ms가 걸렸습니다. 틀린 쪽은 1차 시험의 기준값이었습니다.

어떤 조건이 겹쳐야 틀리나

fp32 입력, head 크기 65–128 사이의 4의 배수, 서열 길이 25 이상이 겹칠 때 오차가 생기고, 공식 이미지 중 PyTorch 2.7.1에서만 틀리며 2.8.0부터 2.15.0까지는 정상이었다

그림 2. fp32 SDPA가 틀리는 조건과 PyTorch 버전별 결과입니다. 막대는 PyTorch 2.7.1에서 causal·길이 1024로 잰 head 크기별 최대 오차(CPU float64 기준)이고, 버전별 결과의 정상은 오차가 0.00001 미만이라는 뜻입니다.

PyTorch 2.7.1에서 fp32 SDPA를 조건별로 다시 쟀습니다. 기준은 계속 CPU float64입니다.

head 크기부터 봤습니다. 처음 잰 여덟 개 크기 가운데 32·64·160·256은 오차가 0이었고 80·96·112·128에서만 causal 기준 0.31–0.66, causal이 아닌 경우 0.09–0.21이 나왔습니다(그림 2의 막대).

경계를 더 촘촘히 재 보니 규칙이 조금 달랐습니다. 65에서 128 사이라도 4의 배수인 크기(68, 72, 76, 84, 88, 100, 104, 116, 120, 124 등)만 틀렸고, 4의 배수가 아닌 크기(66, 70, 74, 90, 110, 126 등)와 64 이하, 129 이상은 모두 정상이었습니다. 실제 모델의 head 크기는 대개 64, 80, 96, 128처럼 4의 배수라서, 이 구간에 있으면 해당될 가능성이 높습니다.

서열 길이도 경계가 있었습니다. head 128에서 길이 16과 24는 정상이었지만 25부터 0.44가 나왔습니다. 짧은 입력으로만 시험하면 놓치기 쉬운 조건입니다.

커널 경로를 하나씩 강제해 보면 원인이 좁혀집니다. 같은 head 128 입력에서 MATH 경로는 0.000002, 메모리 효율 경로는 0.447이었습니다. 기본 경로의 오차가 메모리 효율 경로와 같았으니, fp32 입력에서는 기본 선택이 메모리 효율 경로로 갑니다. cuDNN과 FlashAttention 경로는 fp32를 지원하지 않아 처음부터 후보에서 빠집니다.

TF32도 확인했습니다. Ampere 이후 GPU는 fp32 행렬곱 일부를 정밀도가 낮은 TF32로 빠르게 처리할 수 있어서 처음에는 이것을 의심했습니다. torch.backends.cudnn.allow_tf32를 켜도 꺼도 오차가 같았습니다. 행렬곱 TF32 설정은 기본값이 꺼짐이었습니다. 원인이 아닙니다.

데이터형을 바꾸면 결과가 달라집니다. 같은 head 128 입력을 bf16으로 넣으면 기본 경로의 오차는 0.0094로 정상이었습니다. 문제는 fp32 입력에만 있었습니다.

어느 버전부터 괜찮은가

PyTorch 공식 Docker 이미지 여섯 개 버전으로 같은 시험을 돌렸습니다.

PyTorch

CUDA 빌드

이미지 digest(앞 12자리)

fp32 SDPA, head 128, causal

2.7.1

12.8

c16f4c749e2d

0.476 (틀림)

2.8.0

12.8

417bd75df636

0.00000

2.9.1

12.8

7b324d212a44

0.00000

2.11.0

12.8

eee11b3b3872

0.00000

2.14.1

13.0

3c0b174a1339

0.00000

2.15.0

13.2

924707fa828f

0.00000

2.8.0 이후 버전에서는 시험한 head 크기(32–256)와 서열 길이(16–1024) 조건 모두에서 오차가 0.00001 미만이었습니다. PyTorch 2.8.0 릴리스 노트에는 메모리 효율 경로의 수정이 몇 건 있지만 [4], 이번 증상을 직접 가리키는 항목은 찾지 못해, 이 글에는 "2.8.0부터 재현되지 않았다"고만 적습니다.

비슷한 증상의 공개 사례로, DGX Spark(sm_121)에서 직접 빌드한 PyTorch의 메모리 효율 경로가 조용히 틀린 값을 낸 보고가 있습니다 [5]. 그 사례는 빌드 설정 문제로 분석됐으며 bf16에서도 틀렸다는 점이 이번과 다릅니다. 같은 원인이라고 보지는 않습니다.

실제 모델에서는 얼마나 달라지나

커널 하나의 오차가 모델 결과까지 남는지는 따로 재 봐야 압니다.

먼저 nn.MultiheadAttention(d_model 1024, head 8개, head 크기 128)을 무작위로 초기화해 fp32로 돌렸습니다. PyTorch 2.7.1에서 어텐션 출력의 최대 오차는 0.0057이었습니다. 출력값의 표준편차가 0.021이니 그 27%쯤 되는 차이입니다. 그런데 같은 설정의 인코더 층을 12개 쌓은 무작위 모델에서는 최종 출력의 코사인 유사도가 0.999998로 거의 같았습니다. 무작위로 초기화한 모델에서는 잔차 연결과 층 정규화를 거치며 어텐션의 오차가 희석된 것으로 보입니다. 무작위 모델로만 시험했다면 문제가 없다고 결론 냈을 겁니다.

학습된 공개 모델로 다시 확인했습니다. OLMo-1B(allenai/OLMo-1B-hf, head 크기 128)를 Hugging Face Transformers 4.53.3으로 fp32로 불러 [6], 영어 문장 하나(40토큰)를 넣었습니다. 같은 GPU에서 어텐션 구현만 sdpa와 eager(단순 행렬곱)로 바꿔 로짓을 비교했습니다. 로짓은 모델이 다음 토큰 후보마다 매긴 점수로, 확률로 바꾸기 직전 값입니다.

측정

PyTorch 2.7.1

PyTorch 2.8.0

로짓 최대 차이 (로짓 표준편차 3.7)

5.66

0.0000

다음 토큰 1순위 예측 일치

39 / 40

40 / 40

토큰별 확률 분포 차이(KL 발산) 최댓값

0.215

0.0000

평균 음의 로그우도, 낮을수록 문장을 잘 예측 (eager / sdpa)

2.825 / 2.847

2.825 / 2.825

Transformers는 따로 지정하지 않으면 SDPA를 기본 어텐션 구현으로 씁니다 [7]. 데이터형 기본값은 버전마다 다른데, 최신 문서는 모델 설정 파일(config.json)에 적힌 값을 따른다고 설명합니다 [8]. 그래서 fp32로 저장된 모델이나 fp32를 지정해 불러온 모델의 head 크기가 65–128 사이의 4의 배수라면, PyTorch 2.7.1과 sm_120 GPU에서 오류 없이 다른 결과를 받게 됩니다.

오믹스 모델에는 어떤 의미인가

Evo 2 7B는 bf16으로 돌리도록 안내돼 있어 [2] 이번에 확인한 fp32 경로와는 조건이 다릅니다. 이번 시험에서도 bf16 경로는 정상이었습니다. 다만 Evo 2의 실제 추론 경로는 아직 따라가 보지 않았습니다. 문제는 모델 바깥에서 생깁니다. 1차 시험처럼 검증용으로 짠 fp32 기준 코드가 틀릴 수 있습니다. 같은 환경에 함께 설치한 다른 모델을 fp32로 돌리면 그 모델의 결과가 달라질 수 있습니다. Evo 2 저장소의 설치 예시도 바로 이 PyTorch 2.7.1입니다.

오믹스 모델은 같은 입력을 다시 넣었을 때 같은 점수가 나와야 비교가 성립합니다. 변이 점수가 조금만 달라져도 후보 순위가 바뀌고 세포 임베딩이 달라지면 세포 군집이 바뀔 수 있습니다. 그런데 이번 오류는 NaN도 경고도 없이 그럴듯한 숫자로 나옵니다. 결과가 이상해 보여도 모델 탓인지 커널 탓인지 가릴 단서가 없어서 더 곤란합니다.

이 결과를 보고 나두바이오가 운영 중인 실행 이미지 35개를 모두 점검했습니다. 10개가 PyTorch 2.7.0·2.7.1을 GPU에서 쓰는, 이번 오류가 날 수 있는 환경이었습니다. 각 도구가 실제로 이 경로를 지나는지 따라가 보니 해당하는 도구는 없었습니다. ProteinMPNN·RFdiffusion·RFantibody·DiffAb은 SDPA를 쓰지 않았고, ESMFold는 ESM-2 부분을 fp16으로 돌리며 head 크기도 64였습니다. Chai-1은 모델 안에서 SDPA를 수천 번 부르지만 head 크기가 24·32·48·64뿐이었습니다. 같은 입력을 기본 설정과 메모리 효율 경로를 끈 설정으로 돌린 예측 구조의 차이(좌표 RMSD 0.09–0.14Å)도 같은 설정을 반복했을 때의 흔들림(0.10–0.15Å)과 같은 수준이었습니다. 환경이 취약해도 도구가 그 경로를 지나지 않으면 결과는 바뀌지 않습니다. 같은 환경에 새 모델을 올릴 때는 이 점검을 다시 해야 합니다.

직접 확인하는 방법

PyTorch 버전·GPU·데이터형을 확인하고, head 크기가 65–128 사이의 4의 배수인지 본 뒤, 점검 스크립트의 default 열이 0.001보다 크면 PyTorch를 버전업하거나 MATH 경로를 지정한다

그림 3. 내 환경이 해당하는지 확인하는 순서입니다. 3단계의 숫자는 우리 서버에서 아래 스크립트를 실행한 결과입니다.

확인은 네 단계로 끝납니다. 먼저 PyTorch 버전(torch.__version__), GPU 아키텍처(torch.cuda.get_device_capability()), 모델을 돌리는 데이터형을 봅니다. 다음으로 모델 설정에서 head 크기를 계산합니다. 이 두 단계는 해당 가능성을 가늠하는 용도입니다. 우리는 RTX PRO 4000 Blackwell만 시험했기 때문에, 다른 GPU라면 조건에 맞지 않아 보여도 아래 스크립트로 판정하는 편이 안전합니다. 스크립트는 수 초 안에 끝나며, 판정 기준은 같은 입력을 CPU float64로 계산한 값입니다.

import torch
import torch.nn.functional as F
from torch.nn.attention import sdpa_kernel, SDPBackend

torch.manual_seed(0)
print(torch.__version__, torch.cuda.get_device_name(0), torch.cuda.get_device_capability(0))

for hd in (64, 96, 128, 160):
    q, k, v = (torch.randn(2, 16, 1024, hd, device="cuda") for _ in range(3))
    # 판정 기준: 같은 입력을 CPU float64로 계산한 값
    ref = F.scaled_dot_product_attention(q.cpu().double(), k.cpu().double(), v.cpu().double(), is_causal=True)
    out = F.scaled_dot_product_attention(q, k, v, is_causal=True)  # 기본 경로
    with sdpa_kernel([SDPBackend.MATH]):
        safe = F.scaled_dot_product_attention(q, k, v, is_causal=True)  # 단순 행렬곱 경로
    err = lambda t: (t.cpu().double() - ref).abs().max().item()
    print(f"head {hd:3d}  default {err(out):.5f}  math {err(safe):.5f}")

공식 이미지로 바로 돌리려면 다음과 같이 실행합니다.

docker run --rm --gpus device=0 -v "$PWD":/w:ro \
  pytorch/pytorch:2.7.1-cuda12.8-cudnn9-runtime python /w/sdpa_fp32_check.py

우리 서버(PyTorch 2.7.1, RTX PRO 4000 Blackwell)의 출력입니다.

2.7.1+cu128 NVIDIA RTX PRO 4000 Blackwell (12, 0)
head  64  default 0.00000  math 0.00000
head  96  default 0.41907  math 0.00000
head 128  default 0.35089  math 0.00000
head 160  default 0.00000  math 0.00000

default 열이 0.001보다 크게 나오면 이번 증상에 해당합니다. 오차 크기는 입력 난수에 따라 달라서, head 128·causal 조건만 봐도 이번 측정들에서 0.35–0.48 사이였습니다. PyTorch 2.8.0 이상에서는 같은 조건의 시험(그림 2)에서 오차가 모두 0.00001 미만이었습니다.

해당된다면?

가장 간단한 해결책은 PyTorch를 2.8.0 이상으로 버전업하는 겁니다. 우리가 시험한 2.8.0부터 2.15.0까지 모두 정상이었습니다. flash-attn 같은 확장 라이브러리는 PyTorch 버전에 맞춘 wheel이 따로 있으니 함께 바꿔야 합니다.

당장 버전업이 어렵다면 fp32 어텐션 구간을 MATH 경로로 고정합니다. 메모리를 더 쓰고 느리지만 결과는 정확했습니다.

from torch.nn.attention import sdpa_kernel, SDPBackend
with sdpa_kernel([SDPBackend.MATH]):
    outputs = model(inputs)

Transformers 모델이라면 attn_implementation="eager"로 불러오는 방법도 있습니다 [7]. bf16으로 돌려도 되는 모델이라면 bf16 경로는 이번 시험에서 정상이었습니다.

새 GPU에서 수치를 검증할 때는 기준값을 같은 GPU에서 만들지 않는 편이 안전합니다. 이번에도 같은 GPU의 fp32 결과를 정답으로 믿었다가 멀쩡한 flash-attn을 의심했습니다. 입력 크기를 줄여서라도 CPU float64로 한 번 계산해 두면, 무엇이 틀렸는지 바로 가릴 수 있습니다.

이번에 확인하지 못한 것

  • GPU는 RTX PRO 4000 Blackwell(sm_120) 한 종류만 시험했습니다. 다른 sm_120 카드나 Ampere·Hopper 세대에서 PyTorch 2.7.1이 같은 증상을 보이는지는 모릅니다.

  • PyTorch는 공식 Docker 이미지 여섯 개 버전과, pip로 2.7.0을 설치한 우리 운영 이미지에서 시험했습니다. 2.7.0보다 오래된 버전은 시험하지 않았습니다.

  • 커널 내부의 원인은 찾지 못했습니다. 4의 배수에서만 틀리는 이유와 2.8.0에서 무엇이 바뀌어 재현되지 않는지도 확인하지 않았습니다.

  • Evo 2 7B 전체 추론은 아직 돌리지 않았습니다. 이 글의 flash-attn 판정은 커널 단위 정확도입니다.

재현 위한 스니펫

항목

값

GPU

NVIDIA RTX PRO 4000 Blackwell 24GB 1장, compute capability 12.0, 드라이버 595.91.07

PyTorch 이미지

pytorch/pytorch:<버전>-cudnn9-runtime, digest는 위 표

flash-attn

공식 wheel flash_attn-2.8.0.post2+cu12torch2.7cxx11abiTRUE-cp311-cp311-linux_x86_64.whl, sha256 8ed71ac092f80b079d2e6043b769135904d6e834916cb6da7d372b394581447b

실제 모델 시험

allenai/OLMo-1B-hf, Transformers 4.53.3, fp32, 입력 40토큰

판정 기준

같은 입력을 CPU float64로 계산한 값 (OLMo는 같은 GPU의 eager 구현)

운영 이미지 점검

배포용 실행 이미지 35개, Chai-1은 유비퀴틴 76잔기·같은 시드로 3회 실행 비교

참고문헌

  1. PyTorch. torch.nn.functional.scaled_dot_product_attention. 공식 문서. 2026-11-04 확인.

  2. Arc Institute. evo2 README. GitHub 저장소 문서(설치·FP8 요구 사항 절). 2026-11-03 확인.

  3. Dao-AILab. flash-attention v2.8.0.post2 setup.py. 소스 코드(cuda_archs, sm_120 gencode 구간). 2026-11-04 확인.

  4. PyTorch. PyTorch 2.8.0 Release Notes. 릴리스 노트. 2026-11-04 확인.

  5. NVIDIA Developer Forums. DGX Spark / sm121: silent SDPA EFFICIENT_ATTENTION corruption in a custom PyTorch build. 사용자 포럼 글. 2026-11-04 확인.

  6. Allen Institute for AI. allenai/OLMo-1B-hf. Hugging Face 모델 카드. 2026-11-04 확인.

  7. Hugging Face. Attention interface. Transformers 공식 문서 원본(main 브랜치). 2026-11-04 확인.

  8. Hugging Face. Loading models — Model data type. Transformers 공식 문서 원본(main 브랜치). 2026-11-04 확인.