DeepSeek-V3.2-Exp

DeepSeek-V3.2-Exp: Uzun bağlamlarda verimlilik odaklı deneysel model

DeepSeek-V3.2-Exp, DeepSeek serisinin deneysel ara sürümü olarak uzun bağlamlı metin işleme verimliliğini artırmayı hedefliyor. Modelin merkezinde DeepSeek Sparse Attention (DSA) adlı ince taneli bir seyrek dikkat mekaniği bulunuyor; amaç hem eğitim hem de çıkarım sırasında hesaplama maliyetlerini düşürürken çıktı kalitesini korumak. Proje, V3.1-Terminus ile eğitim konfigürasyonlarını kasıtlı olarak hizalayarak DSA’nın etkisini nesnel olarak değerlendirmeyi amaçlıyor.

Öne Çıkan Detaylar

DSA (DeepSeek Sparse Attention) sayesinde uzun bağlamlarda ince taneli seyrek dikkat uygulanabiliyor; geliştiricilerin bildirdiği üzere, çoğu kamu benchmark’ında V3.1-Terminus ile yakın performans sergileniyor. Örnekler: MMLU-Pro 85.0 vs 85.0, AIME 2025’te küçük bir artış (88.4 → 89.3), bazı kod/algoritma sınavlarında hafif dalgalanmalar görülebiliyor. Model ~685B parametre boyutunda; safetensors formatında indirme seçenekleri ve BF16, F8_E4M3, F32 gibi tensor tipleri destekleniyor. Lisans MIT; açık kaynaklı kernel ve hızlandırmalar (TileLang, DeepGEMM, FlashMLA) sunuluyor.

Kullanım Alanları ve Çalıştırma

DeepSeek-V3.2-Exp, özellikle uzun bağlamlı metinleri işleyen uygulamalar (uzun diyaloglar, kod inceleme, büyük döküman analizi, bilimsel metinler) ve araştırma/altyapı optimizasyonu ile ilgilenen ekipler için uygun. Modeli yerelde çalıştırmak için HuggingFace ağırlıklarını dönüştürüp model-paralel ayarlarını yapmanız gerekiyor. Hızlı başlangıç için sağlanan adımlar şunlardır:

cd inference
export EXPERTS=256
python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}
export CONFIG=config_671B_v3.2.json
torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive

SGLang ve vLLM için resmi destek ve Docker görüntüleri mevcut (ör. lmsysorg/sglang:dsv32). Ayrıca açık kaynak CUDA kernel’leri, indexer ve seyrek dikkat implemantasyonları FlashMLA ve DeepGEMM altında yayınlanmış; araştırmacılar için TileLang okunabilir kernel seti öneriliyor.

Önemli güncelleme (2025.11.17): Önceki inference demo kodunda Rotary Position Embedding (RoPE) uygulamasında bir uyumsuzluk tespit edildi — indexer modülü non-interleaved, MLA modülü interleaved düzen bekliyordu. Bu hata düzeltilmiştir; güncel demo kodunu kullanmanız performans için kritik.

Kimler İçin Uygun ve Sınırlamalar

Uygun: ML araştırmacıları, model-inference mühendisleri, uzun-bağlam uygulamaları geliştiren ekipler ve altyapı optimizasyonu ile ilgilenenler. Sınırlamalar: V3.2-Exp deneysel bir sürüm; üretime alırken dikkatli olunmalı, inference kodundaki uygulama ayrıntıları (RoPE düzeni, model-parallel konfigürasyonları) performansı etkileyebilir. Ayrıca 685B parametrelik bir model olduğu için yüksek hesaplama ve bellek gereksinimleri, model-paralel kurulum ve özel hızlandırıcılar (GPU/NPUs) gerektirir.

Fiyatlandırma

Ücretsiz. Model ve ilgili inference kodu HuggingFace üzerinde erişilebilir: deepseek-ai/DeepSeek-V3.2-Exp

Özetle: DeepSeek-V3.2-Exp, uzun bağlam verimliliğini araştıran güçlü ve teknik bir deneysel sürüm. DSA ile dikkat çekici hesaplama optimizasyonları sunuyor ve genel görevlerde V3.1-Terminus ile benzer düzeyde performans gösteriyor; ancak üretime geçmeden önce demo kodundaki uygulama detaylarına ve altyapı gereksinimlerine dikkat etmek gerekiyor.