Mistral.rs

Mistral.rs, hız ve çok yönlülük için optimize edilmiş yüksek verimli bir büyük dil modeli (LLM) çıkarım aracıdır. Python ve Rust dahil olmak üzere birden fazla çerçeveyi destekler ve basit entegrasyon için OpenAI uyumlu bir API sunucusu sunar.

Temel özellikler arasında Hugging Face modellerinin sorunsuz kullanımı için yerinde niceleme, esnek kaynak tahsisi için çoklu cihaz eşleme (CPU/GPU) ve çok çeşitli niceleme seçenekleri (2 bitten 8 bite) bulunur.

Metin tabanlı modellerden görme ve difüzyon modellerine kadar çeşitli modellerin çalıştırılmasına izin verir ve LoRA adaptörleri, sayfalı dikkat ve sürekli gruplama gibi gelişmiş yetenekler içerir. Apple silikon, CUDA ve Metal desteği ile çeşitli donanım kurulumlarında çok yönlü dağıtım seçenekleri sunarak ölçeklenebilir, yüksek hızlı LLM işlemlerine ihtiyaç duyan geliştiriciler için idealdir.

Farklı donanımlar üzerinde verimli büyük dil modeli çıkarımı. LLM yapay zeka kategorisinde yer alan Mistral.rs yapay zeka uygulaması keşfedebilirsiniz.