最新GPUでオミクス基盤モデルを動かしたら、なぜか結果がおかしい?

最新GPUでオミクス基盤モデルを動かしたら、なぜか結果がおかしい?

新しいBlackwell GPUでアテンションカーネルを検証していたところ、「flash-attnが間違っている」と思わせる結果が出ました。ところが調べていくと、間違っていたのは比較基準に使ったPyTorch 2.7.1のfp32アテンションでした。どの条件で起きるのか、どのバージョンでは再現しなかったのか、手元で確認する方法まで順に紹介します。

今回わかったこと

Nadoo Bioでは、DNA配列モデルのEvo 2を自社GPUサーバーのRTX PRO 4000 Blackwellで動かせるか検討していました。測定結果は次のとおりです。

  • flash-attn 2.8.0.post2は、このGPUで今回の検証を通過しました。CPU float64を基準にした最大誤差はbf16で0.0092で、今回の試験で想定される丸め誤差の範囲でした。

  • PyTorch 2.7.1のfp32アテンションは、特定の条件でエラーを出さずに誤った値を返しました。torch.nn.functional.scaled_dot_product_attention(以下SDPA)にfp32テンソルを渡し、head次元が65〜128の範囲にある4の倍数(68、72、96、128など)で、系列長が25以上の場合、デフォルト経路の結果が基準値と最大0.76異なりました。エラーメッセージもNaNも出ません。PyTorch 2.7.0でも同じ症状を確認しました。

  • 試験したPyTorch 2.8.0以降のバージョンでは再現しませんでした。公式イメージの2.8.0、2.9.1、2.11.0、2.14.1、2.15.0では、同じ試験の誤差がすべて0.00001未満でした。

  • 学習済みモデルの出力にも差が出ました。head次元が128の公開言語モデルOLMo-1Bをfp32で読み込むと、PyTorch 2.7.1ではロジットが最大5.66異なり、40トークン中1か所で次トークンの第1候補が変わりました。

この記事の数値はすべて、2026年11月4日にNadoo BioのGPUサーバーに搭載したRTX PRO 4000 Blackwell 1枚で測定したものです。

最初に押さえておきたい用語

オミクス基盤モデルは、DNA配列や細胞の遺伝子発現量など、大量の生物学データで事前学習したAIモデルです。Evo 2はDNAの塩基配列(A・C・G・T)を読み、変異を含む配列が元の配列に比べてどのくらいもっともらしいかをスコアにする用途などに使われます。言語モデルでも使われるアテンションは、こうしたモデルに関わる計算の一つです。ただし、構造や計算の内訳はモデルごとに異なります。

アテンションは複数の**head(ヘッド)に分けて計算されます。1つのheadが扱うベクトルの長さがhead次元(head dim)**です。一般的な構成では、モデル設定のhidden_sizeをnum_attention_headsで割ると求められます。hidden sizeが2048、head数が16なら、head次元は128です。

PyTorchのSDPAは、同じアテンション計算を複数のカーネル、つまりGPU上で実際に動く実装から選んで実行します。通常の行列演算を使うMATH経路、メモリ使用量を抑えるメモリ効率化経路(EFFICIENT)、FlashAttention経路などがあり、入力のデータ型と形状に応じて自動選択されます [1]。flash-attnは、PyTorchとは別にインストールするFlashAttentionライブラリです。

sm_120は、RTX PRO 4000 BlackwellなどのBlackwellワークステーションGPUが持つアーキテクチャ番号、compute capability 12.0を表します。新しいアーキテクチャでは、それに対応するコードをライブラリ側でビルドする必要があります。そのため、しばらくは「動くか」と「正しく計算できるか」を分けて確かめることが大切です。

検証を始めた理由

Evo 2のリポジトリでは、7Bモデルをbf16で動かす際にflash-attn 2.8.0.post2を使うよう案内しており、インストール例にはCUDA 12.8ビルドのtorch==2.7.1が載っています [2]。私たちのGPUはsm_120なので、この組み合わせで正しい値が出るかを先に確かめました。

flash-attn 2.8.0.post2のビルド設定は、CUDA 12.8以降ではsm_120向けコードを標準で生成します [3]。公式wheel(flash_attn-2.8.0.post2+cu12torch2.7cxx11abiTRUE-cp311)も、PyTorch公式イメージpytorch/pytorch:2.7.1-cuda12.8-cudnn9-runtimeにそのままインストールできました。残ったのは数値の正しさです。

最初の試験ではflash-attnが怪しく見えた

同じ乱数入力をflash-attn bf16とPyTorch fp32で計算するとhead次元128で0.43の差が出た。CPU float64で比較し直すと、flash-attnの誤差は0.009、fp32基準値の誤差は0.46だった。

図1.flash-attnを疑った後、比較基準の誤りにたどり着くまで。RTX PRO 4000 Blackwell、PyTorch 2.7.1+cu128、flash-attn 2.8.0.post2での測定です。

アテンションの3つの入力Q・K・Vを、バッチ数2、系列長1024、head数16の乱数テンソルで作りました。head次元を64、128、256に変えながら、flash-attnのbf16・fp16出力と、同じGPUで計算したPyTorch fp32 SDPAの出力を比較します。fp32はbf16より精度が高いため、その出力を基準にしました。

ところが、head次元64と256では最大差が0.01以内なのに、128だけはbf16で0.43、fp16で0.48になりました。どちらもcausalマスク、つまり各位置が自分自身とそれより前の位置だけを参照する設定です。想定する丸め誤差よりはるかに大きく、このままなら「flash-attnはsm_120のhead次元128で間違う」と結論づけるところでした。

基準を変えたら、疑う相手が変わった

正解として扱った値も、結局はGPUで計算した結果です。同じ入力をCPUへ移し、float64で計算した値を新しい基準にして比較し直しました。

比較対象(CPU float64基準)

head 64

head 96

head 128

head 256

flash-attn、bf16、causal

0.0086

0.0081

0.0092

0.0086

最初の基準値(PyTorch fp32 SDPA)、causal

0.0000

0.4223

0.4613

0.0000

flash-attnは、試験したすべてのhead次元でbf16の想定誤差内に収まりました。可変長関数flash_attn_varlen_funcの誤差は0.0086、回転位置エンコーディングapply_rotary_embは0.0133でした。系列長8,192、head数32のcausal順伝播は1回約5 msでした。間違っていたのは、最初の試験で基準にした値でした。

どの条件が重なると間違うのか

fp32入力、65〜128の範囲にある4の倍数のhead次元、系列長25以上で誤差が発生。比較した公式イメージ6バージョンのうち2.7.1で誤りがあり、試験した2.8.0〜2.15.0では正常だった。

図2.fp32 SDPAの発生条件とバージョン別の結果。棒グラフはPyTorch 2.7.1、causal、系列長1024でのhead次元別最大誤差(CPU float64基準)です。バージョン比較の「正常」は誤差0.00001未満を意味します。

PyTorch 2.7.1のfp32 SDPAを条件ごとに測り直しました。基準は引き続きCPU float64です。

最初に試験した8つのhead次元では、32、64、160、256の誤差は表示上ゼロで、80、96、112、128だけにcausalで0.31〜0.66、非causalで0.09〜0.21の誤差が出ました。図2の棒グラフがこの結果です。

境界を細かく調べると、65〜128であっても、誤るのは4の倍数だけでした。68、72、76、84、88、100、104、116、120、124などです。一方、試験した66、70、74、90、110、126などの4の倍数でない値、64以下、129以上では正常でした。実際のモデルでは64、80、96、128のように4の倍数のhead次元がよく使われるため、この範囲は実用上も無視できません。

系列長にも境界がありました。head次元128では長さ16と24は正常でしたが、25から0.44の誤差が出ました。短い入力だけで試験すると見逃しやすい条件です。

カーネル経路を1つずつ指定すると、さらに絞り込めます。同じhead次元128の入力で、MATH経路の誤差は0.000002、メモリ効率化経路は0.447でした。デフォルト経路の誤差が後者と一致したため、このfp32入力ではメモリ効率化経路が選ばれているとわかります。この構成ではcuDNNとFlashAttentionの経路はfp32をサポートせず、候補に入りませんでした。

TF32も確認しました。Ampere以降のGPUは、一部のfp32行列積を低精度のTF32で高速化できるため、最初はこれを疑いました。しかし、torch.backends.cudnn.allow_tf32をオン・オフしても誤差は変わりません。行列積側のTF32設定は標準でオフでした。今回の差はTF32では説明できませんでした。

データ型を変えると結果は変わります。同じhead次元128の入力をbf16にすると、デフォルト経路の誤差は0.0094で正常でした。今回の試験ではfp32入力に限って問題が出ています。

どのバージョンでは再現しなかったか

PyTorch公式Dockerイメージの6バージョンで同じ試験を行いました。

PyTorch

CUDAビルド

イメージdigest(先頭12文字)

fp32 SDPA、head 128、causal

2.7.1

12.8

c16f4c749e2d

0.476(誤り)

2.8.0

12.8

417bd75df636

0.00000

2.9.1

12.8

7b324d212a44

0.00000

2.11.0

12.8

eee11b3b3872

0.00000

2.14.1

13.0

3c0b174a1339

0.00000

2.15.0

13.2

924707fa828f

0.00000

試験した2.8.0以降のバージョンでは、head次元32〜256と系列長16〜1024の試験条件すべてで誤差が0.00001未満でした。PyTorch 2.8.0のリリースノートにはメモリ効率化経路の修正がいくつかあります [4]。ただし、今回の症状を直接示す項目は見つからなかったため、ここでは「試験した2.8.0以降では再現しなかった」とだけ結論づけます。

公開事例には、DGX Spark(sm_121)で独自ビルドしたPyTorchのメモリ効率化経路が、エラーを出さずに誤った値を返したという報告があります [5]。この事例はビルド設定の問題と分析され、bf16でも誤った点が今回と異なります。同じ原因とはみなしていません。

実際のモデル出力はどのくらい変わるか

1つのカーネルの誤差が、モデル全体の出力にどのくらい残るかは別に測る必要があります。

まず、乱数で初期化したnn.MultiheadAttentionをfp32で実行しました。d_modelは1024、head数8、head次元128です。PyTorch 2.7.1でのアテンション出力の最大誤差は0.0057でした。出力の標準偏差0.021の約27%に相当します。しかし、同じ構成のエンコーダー層を12層重ねたランダムなモデルでは、最終出力のコサイン類似度は0.999998でした。残差接続と層正規化を通る間に、アテンションの誤差が薄まったと考えられます。このモデルだけで試していたら、問題なしと判断したかもしれません。

そこで、学習済みの公開モデルOLMo-1B(allenai/OLMo-1B-hf、head次元128)を、Hugging Face Transformers 4.53.3でfp32として読み込みました [6]。英語の1文、40トークンを入力し、同じGPU上でアテンション実装だけをsdpaとeager(通常の行列演算)に切り替えてロジットを比較しました。ロジットは、次のトークン候補ごとにモデルが付ける、確率へ変換する前のスコアです。

測定項目

PyTorch 2.7.1

PyTorch 2.8.0

ロジット最大差(ロジットの標準偏差3.7)

5.66

0.0000

次トークンの第1候補が一致した位置

39 / 40

40 / 40

トークンごとの確率分布の差(KLダイバージェンス)の最大値

0.215

0.0000

平均負の対数尤度。小さいほど予測が良い(eager / sdpa)

2.825 / 2.847

2.825 / 2.825

Transformersは、対応するモデルと環境では、指定しなければSDPAを標準のアテンション実装として使います [7]。データ型の既定値はバージョンによって異なり、現在の文書ではモデルのconfig.jsonに従うと説明されています [8]。そのため、fp32で保存されたモデルや、fp32を指定して読み込んだモデルでhead次元が該当範囲の4の倍数なら、PyTorch 2.7.1と今回のsm_120 GPUの組み合わせで問題の経路に入り、エラーなしで異なる結果を受け取る可能性があります。

オミクスモデルにとって何が問題か

Evo 2 7Bはbf16で動かすよう案内されているため [2]、今回問題が出たfp32経路とは条件が異なります。今回のbf16カーネル試験も正常でした。ただし、Evo 2の推論全体の経路はまだ追っていません。モデルの外側にも注意が必要です。最初の試験のように、検証用に書いたfp32の基準コード自体が間違うことがあります。同じ環境に入れた別のモデルをfp32で動かすと、そちらが影響を受ける可能性もあります。Evo 2のインストール例は、まさにこのPyTorch 2.7.1を使っています。

オミクスの予測を比較するには、同じ条件で一貫した計算ができることが前提です。変異のスコアが変われば候補の順位が変わり、細胞の埋め込み表現が変わればクラスタリングに影響する可能性があります。これは想定される影響であり、今回測定した結果ではありません。今回の誤りはNaNや警告を出さず、もっともらしい数値を返すため、モデルとカーネルのどちらを疑えばよいか判断しにくいのが厄介な点です。

この結果を受けて、Nadoo Bioで運用する実行イメージ35個をすべて点検しました。そのうち10個はGPUでPyTorch 2.7.0または2.7.1を使う、影響を受けうる環境でした。ただし、各ツールの実行経路を追うと、発生条件に該当するものはありませんでした。ProteinMPNN、RFdiffusion、RFantibody、DiffAbはSDPAを使っていません。ESMFoldのESM-2部分はfp16で動作し、head次元も64でした。Chai-1はSDPAを数千回呼び出しますが、head次元は24、32、48、64だけです。標準設定とメモリ効率化経路を無効にした設定の予測構造の差(座標RMSD 0.09〜0.14 Å)も、同じ設定で繰り返したときの変動(0.10〜0.15 Å)と同程度でした。環境に問題があっても、ツールが該当経路を通らなければ出力は影響を受けません。同じ環境に新しいモデルを追加する際は、改めて経路の確認が必要です。

自分の環境で確認する

PyTorchのバージョン、GPU、データ型を確認し、head次元を計算する。CPU float64と比較するスクリプトを実行し、default列の誤差が0.001を超えたらPyTorchをアップグレードするかMATH経路を指定する。

図3.環境を確認する4つの手順。手順3の数値は、以下のスクリプトを自社サーバーで実行した結果です。

まずPyTorchのバージョン(torch.__version__)、GPUアーキテクチャ(torch.cuda.get_device_capability())、モデルのデータ型を確認します。次にモデル設定からhead次元を計算します。この2段階は、該当する可能性を見積もるためのものです。試験したGPUはRTX PRO 4000 Blackwellだけなので、別のGPUでは名前や条件だけで判断せず、下のスクリプトで確認するほうが確実です。基準値は同じ入力をCPU float64で計算した値です。実行時間はGPUだけでなくCPUの性能にも左右されます。

以下をsdpa_fp32_check.pyとして保存します。

import torch
import torch.nn.functional as F
from torch.nn.attention import sdpa_kernel, SDPBackend

torch.manual_seed(0)
print(torch.__version__, torch.cuda.get_device_name(0), torch.cuda.get_device_capability(0))

for hd in (64, 96, 128, 160):
    q, k, v = (torch.randn(2, 16, 1024, hd, device="cuda") for _ in range(3))
    # 基準値:同じ入力をCPU float64で計算
    ref = F.scaled_dot_product_attention(q.cpu().double(), k.cpu().double(), v.cpu().double(), is_causal=True)
    out = F.scaled_dot_product_attention(q, k, v, is_causal=True)  # デフォルト経路
    with sdpa_kernel([SDPBackend.MATH]):
        safe = F.scaled_dot_product_attention(q, k, v, is_causal=True)  # MATH経路
    err = lambda t: (t.cpu().double() - ref).abs().max().item()
    print(f"head {hd:3d}  default {err(out):.5f}  math {err(safe):.5f}")

公式イメージで実行する場合は、次のコマンドを使います。

docker run --rm --gpus device=0 -v "$PWD":/w:ro \
  pytorch/pytorch:2.7.1-cuda12.8-cudnn9-runtime python /w/sdpa_fp32_check.py

自社サーバー(PyTorch 2.7.1、RTX PRO 4000 Blackwell)の出力です。

2.7.1+cu128 NVIDIA RTX PRO 4000 Blackwell (12, 0)
head  64  default 0.00000  math 0.00000
head  96  default 0.41907  math 0.00000
head 128  default 0.35089  math 0.00000
head 160  default 0.00000  math 0.00000

default列が0.001を超えれば、今回観測したような数値の不一致を検出したことになります。ただし、この数値だけで内部原因まで特定できるわけではありません。誤差は乱数入力によって変わり、head次元128・causalの測定でも0.35〜0.48の幅がありました。試験したPyTorch 2.8.0以降では、同じ条件の誤差はすべて0.00001未満でした。

該当した場合の対処

最も簡単なのは、PyTorchを2.8.0以降へアップグレードする方法です。今回試験した2.8.0〜2.15.0はすべて正常でした。flash-attnなどの拡張ライブラリにはPyTorchのバージョンに対応したwheelがあるため、一緒に更新します。

すぐにアップグレードできない場合は、fp32アテンションをMATH経路に固定します。メモリ使用量が増えて遅くなりますが、今回の試験では正しい結果が得られました。

from torch.nn.attention import sdpa_kernel, SDPBackend
with sdpa_kernel([SDPBackend.MATH]):
    outputs = model(inputs)

対応するTransformersモデルなら、attn_implementation="eager"を指定して読み込む方法もあります [7]。bf16で使えるモデルであれば、今回のbf16経路の試験も正常でした。

新しいGPUで数値を検証するときは、別の計算経路で作った基準値が役立ちます。今回も、同じGPUのfp32出力を正解と信じて、正常なflash-attnを疑ってしまいました。入力を小さくしてでもCPU float64で一度計算しておけば、実装と基準値のどちらが間違っているのかを切り分けやすくなります。

今回確認できていないこと

  • GPUはRTX PRO 4000 Blackwell(sm_120)1種類のみです。他のsm_120カードやAmpere・Hopper世代で、PyTorch 2.7.1が同じ症状を示すかは未確認です。

  • PyTorchは公式Dockerイメージ6バージョンと、pipで2.7.0を入れた運用イメージで試験しました。2.7.0より前は試していません。

  • カーネル内部の原因は特定していません。4の倍数だけで誤る理由や、2.8.0のどの変更で再現しなくなったかも未確認です。

  • Evo 2 7Bの推論全体はまだ実行していません。flash-attnについての結論はカーネル単位の数値検証に限ります。

再現のための情報

項目

値

GPU

NVIDIA RTX PRO 4000 Blackwell 24GB 1枚、compute capability 12.0、ドライバー595.91.07

PyTorchイメージ

公式pytorch/pytorchのCUDA・cuDNN 9 runtimeイメージ。バージョン、CUDAビルド、digest先頭は上の表を参照

flash-attn

公式wheel flash_attn-2.8.0.post2+cu12torch2.7cxx11abiTRUE-cp311-cp311-linux_x86_64.whl、sha256 8ed71ac092f80b079d2e6043b769135904d6e834916cb6da7d372b394581447b

学習済みモデル試験

allenai/OLMo-1B-hf、Transformers 4.53.3、fp32、入力40トークン

比較基準

同じ入力をCPU float64で計算した値。OLMoは同じGPUのeager実装

運用イメージ点検

実行イメージ35個。Chai-1は76残基のユビキチンを同じシードで3回実行して比較

参考文献

  1. PyTorch. torch.nn.functional.scaled_dot_product_attention. 公式ドキュメント。2026-11-04確認。

  2. Arc Institute. evo2 README. リポジトリ文書、インストール・FP8要件の節。2026-11-03確認。

  3. Dao-AILab. flash-attention v2.8.0.post2 setup.py. ソースコード、cuda_archsとsm_120 gencode部分。2026-11-04確認。

  4. PyTorch. PyTorch 2.8.0 Release Notes. リリースノート。2026-11-04確認。

  5. NVIDIA Developer Forums. DGX Spark / sm121: silent SDPA EFFICIENT_ATTENTION corruption in a custom PyTorch build. ユーザーフォーラムの報告。2026-11-04確認。

  6. Allen Institute for AI. allenai/OLMo-1B-hf. Hugging Faceモデルカード。2026-11-04確認。

  7. Hugging Face. Attention interface. Transformers公式文書のソース、mainブランチ。2026-11-04確認。

  8. Hugging Face. Loading models — Model data type. Transformers公式文書のソース、mainブランチ。2026-11-04確認。