研究ツールの使い方と Nadoo Bio のお知らせをお届けします。
Blackwell GPUでflash-attnを検証したところ、間違っていたのは比較基準にしたPyTorch 2.7のfp32アテンションでした。発生条件、バージョン別の測定結果、運用イメージの点検、自分の環境で確認するスクリプトを紹介します。