研究 · AI · ビジョン
HELIX-AI
HELIX-IM — Hyperspherical Entropy-Lax Image Modeling
残差球面量子化（R-BSQ）と因果Transformer事前分布を持つViTトークナイザ。RustとBurnで実装。
課題
学習したコードブック（VQ-GAN系）は崩れやすい。少数の符号が使われ、表現が痩せる。画像トークンには、もっと安定した幾何が要る。
進め方
HELIX-IMは学習コードブックを使わない。単位球の上で、多段の残差球面量子化（R-BSQ）と因果Transformer事前分布を置く。ViT-VQGAN / VIMに着想。helix-math、helix-model、helix-data、helix-train、helix-cli。
結果
オープンソースの研究実装。リポジトリにないFIDやスループットは書かない。成果物はアーキテクチャとコード。
スタック
Rust · Burn · ViT · R-BSQ · Transformer
サービス