Saluki 27B: skompresowany model Qwen3.8-27B w 8 GB, który bije oryginał w wywoływaniu narzędzi
W skrócie
- Saluki 27B to 2-bitowy model GGUF oparty na Qwen3.8-27B, który zajmuje zaledwie 7,89 GB zamiast 54 GB wymaganych przez pełną wersję BF16.
- W testach wywoływania narzędzi równoległych Saluki 27B uzyskał wynik 42 punktów wobec 35 punktów pełnego modelu, osiągając 120% retencji.
- Model działa na standardowym llama.cpp, jest dostępny na licencji Apache 2.0 i opcjonalnie obsługuje wizję przez dodatek o rozmiarze 629 MB lub 928 MB.
Czym jest Saluki 27B?
Underdog — asystent działający lokalnie na urządzeniu, rozwijany przez Conway Research — opublikował model Saluki 27B na licencji Apache 2.0 marktechpost.com.
To 2-bitowy plik GGUF oparty na Qwen3.8-27B, który zajmuje zaledwie 7,89 GB, podczas gdy pełna wersja w formacie BF16 wymaga 54 GB pamięci. Głównym celem kompresji było zachowanie zdolności wywoływania narzędzi — umiejętności, która przekształca model konwersacyjny w agenta zdolnego do wykonywania zadań w środowisku zewnętrznym marktechpost.com.
Model działa na standardowym llama.cpp oraz aplikacjach na nim opartych, z pełnym odciążeniem na GPU. Opcjonalnie można dołączyć moduł wizji o rozmiarze 629 MB lub 928 MB marktechpost.com.
Trójwarstwowa architektura kompresji
Saluki 27B powstał w wyniku trzech kolejnych etapów przetwarzania marktechpost.com:
- Warstwa pierwsza to bazowy Qwen3.8-27B — gęsty model o 27 miliardach parametrów, posiadający 64 warstwy, łączący liniową uwagę Gated DeltaNet z uwagą bramkowaną i obsługujący natywnie kontekst 262 144 tokenów.
- Warstwa druga to plik GGUF opracowany przez ISTA-DASLab (Qwen3.8-27B-GSQ-RCO-GGUF). Metoda GSQ uczy się dokładnych siatek skalarnych niskiej precyzji dla każdego tensora, a RCO przypisuje typ kwantyzacji do każdego tensora w ramach ustalonego budżetu rozmiaru. Najmniejszy plik ISTA, IQ2_XS, waży 8,4 GB przy 2,50 bitach na wagę.
- Warstwa trzecia to własny etap Underdoga, który zmniejszył plik do 7,89 GB i ukierunkował optymalizację na wywoływanie narzędzi. Plik nosi nazwę
IQ2-mixi zawiera znacznik imatrix. Underdog nie opublikował pełnego opisu tej procedury.
Wyniki benchmarków
Underdog podzielił wyniki na dwie grupy testów marktechpost.com.
Testy przeprowadzone w tym samym środowisku
W pierwszej grupie oba modele uruchomiono w identycznych warunkach:
- Underdog Bench (120 zadań z BFCL v4, myślenie wyłączone, temperatura 0): Saluki uzyskał 88 punktów, pełny model 84, a Bonsai 2 od PrismML — 70.
- Równoległe wywołania narzędzi (100 zadań z BFCL v4 z oficjalnym weryfikatorem): Saluki 42, pełny model 35.
- SWE-bench Verified (50 zgłoszeń): Saluki naprawił 30, pełny model 33.
Porównanie z publicznymi wynikami pełnego modelu
| Benchmark | Saluki 27B | Qwen3.8-27B (publiczny) | |---|---|---| | IFEval (prompt-loose) | 93,5 | 91,5 | | IFBench (prompt-loose) | 72,7 | 71,0 | | MBPP+ | 78,0 | 83,9 | | MuSR | 67,5 | 79,6 | | AIME 2025 (avg@4) | 79,2 | 96,7 | | AIME 2026 (avg@4) | 80,0 | 94,6 |
Średnia retencja wyników wynosi 96% w dziewięciu benchmarkach w porównaniu z pełnym Qwen3.8-27B marktechpost.com.
Najlepszy wynik to właśnie równoległe wywołania narzędzi — 120% retencji, co oznacza, że skompresowany model przewyższa oryginał. Najsłabszy wynik dotyczy AIME 2025, gdzie Saluki osiąga około 82% retencji (79,2 wobec 96,7) marktechpost.com.
Porównanie z innymi kompaktowymi wersjami Qwen3.8-27B
| Cecha | Underdog Saluki 27B | Qwen3.8-27B (BF16) | ISTA GSQ-RCO IQ2_XS | PrismML Bonsai 2 27B | |---|---|---|---|---| | Organizacja | Underdog (Conway Research) | Qwen team | ISTA-DASLab | PrismML | | Parametry | 27B | 27B | 27B | 27,36B | | Rozmiar pliku | 7,89 GB | 54 GB | 8,4 GB | 5,95 GB | | Bity na wagę | Nie ujawniono (miks 2-bitowy) | 16 | 2,50 | 1,75 |
Saluki 27B plasuje się między najtańszym rozmiarem (Bonsai 2 przy 5,95 GB) a plikiem ISTA (8,4 GB), zachowując przy tym lepsze wyniki w wywoływaniu narzędzi niż oba konkurenty marktechpost.com.
Co to oznacza
Saluki 27B pokazuje, że agresywna kwantyzacja do 2 bitów nie musi oznaczać równomiernej degradacji wszystkich zdolności modelu. Underdog świadomie poświęcił część wyników w matematyce konkursowej i wieloetapowym rozumowaniu, by chronić wywoływanie narzędzi — co jest strategicznym wyborem ukierunkowanym na zastosowania agentowe, a nie ogólne benchmarki marktechpost.com.
Dla polskich deweloperów i firm zainteresowanych wdrożeniami lokalnymi (on-premise lub na urządzeniach końcowych) oznacza to realną możliwość uruchomienia modelu klasy 27B na sprzęcie z 8–10 GB pamięci GPU lub RAM — bez konieczności korzystania z chmury. Licencja Apache 2.0 usuwa bariery prawne dla zastosowań komercyjnych marktechpost.com.
Warto jednak pamiętać o ograniczeniach: spadek o ponad 17 punktów na AIME 2025 i ponad 12 punktów na MuSR sugeruje, że Saluki 27B nie jest właściwym wyborem do zadań wymagających głębokiego rozumowania matematycznego lub złożonego wnioskowania wieloetapowego. Jego mocną stroną pozostają scenariusze agentowe, w których model musi wywoływać wiele narzędzi równolegle — i właśnie w tym zastosowaniu bije swój znacznie cięższy pierwowzór marktechpost.com.
Szerszy kontekst
Underdog, lokalny asystent AI wspierany przez a16z, wydał Saluki 27B, zbudowany na Qwen3.8-27B firmy Alibaba. Model wykorzystuje kwantyzację o około 2 bitach, zmniejszając jego rozmiar z około 54 GB w pełnej precyzji do 7,89 GB.
Saluki poprawnie odpowiedział na 88 pytań, wersja skwantyzowana przez ISTA na 76, a oryginalny model o rozmiarze 54 GB na 84.
Qwen3.8-27B to gęsty model wizyjno-językowy o 27 miliardach parametrów, przeznaczony do rozumienia tekstu, obrazów i wideo, kodowania, wielomodalnego rozumowania, przetwarzania długiego kontekstu, wywoływania narzędzi i zadań agentowych.
to zajmuje mi całkiem sporo czasu, około 7,19 minuty
Qwen3.8-27B właśnie się pojawił, a ja poddaję go dwóm testom w realnych warunkach: wywoływaniu narzędzi na żywo z serwerem Playwright MCP oraz migracji pełnego rozwiązania .NET z ponad 5 projektami z .NET 8 do .NET 10.
Najbardziej agresywna wersja skompresowana do 1 bitu ściska pełny model o 27 miliardach parametrów do zaledwie 6,2 GB plików i sprawnie działa na systemach z tak
Analiza
Najważniejszy wniosek z tej premiery nie dotyczy samej kompresji, lecz tego, czego kompresja nie zmniejsza. Saluki 27B traci najwięcej w zadaniach wymagających długiego rozumowania, a zachowuje lub poprawia zdolności agentowe. To wskazuje, że przy skrajnie niskiej precyzji wag (około 2 bity) degradacja nie jest równomierna, a o tym, co przetrwa, decyduje świadomy wybór celu optymalizacji. Dla zespołów budujących agentów lokalnych to ważniejsza informacja niż sam rozmiar pliku. Trzeba jednak pamiętać, że wyniki pochodzą od autora modelu, a procedura trzeciego etapu nie została opisana, więc niezależna weryfikacja będzie potrzebna przed wdrożeniem.
Warto też zestawić różne deklaracje dotyczące tego samego modelu. Według agregatora (wg kucoin.com) Saluki został wsparty przez a16z, a model ma działać na laptopie z 16 GB RAM, podczas gdy artykuł mówi o sprzęcie z 8–10 GB pamięci. Ta rozbieżność wynika prawdopodobnie z tego, że 7,89 GB to rozmiar pliku, a nie wymagania sprzętowe z zapasem na kontekst i system. Ten sam agregator podaje też wynik wersji ISTA w teście narzędzi: 76 poprawnych odpowiedzi wobec 88 dla Saluki i 84 dla pełnego modelu. Dane te nie pojawiają się w artykule, który porównuje Saluki z ISTA jedynie pod względem rozmiaru i bitów. Z kolei wpis na medium (wg ai-engineering-trend.medium.com) opisuje inną, bardziej agresywną wersję 1-bitową o rozmiarze 6,2 GB i zachowaniu 77% dokładności, co pokazuje, że poszczególne publikacje o kompresji Qwen3.8-27B często nie są ze sobą porównywalne.
Pozostałe źródła wnoszą mniej. Dokumentacja NVIDIA NGC (wg catalog.ngc.nvidia.com) potwierdza, że bazowy Qwen3.8-27B jest gęstym modelem wizja-język, obsługującym wywoływanie narzędzi i zadania agentowe, ale podaje rozmiar skompresowany 51,77 GB zamiast 54 GB z artykułu, a warunki pobierania oparte są na NVIDIA Open Model Agreement. Dwa filmy z YouTube (wg youtube.com) dotyczą oryginalnego modelu, a nie Saluki, i nie dają danych, które pozwoliłyby ocenić tę wersję, choć jeden z nich sugeruje, że wywoływanie narzędzi w oryginale jest intensywne (ok. 3,2 mln tokenów i 156 wywołań w jednym zadaniu migracji). Praktyczny wniosek jest prosty: Saluki warto testować we własnych zadaniach agentowych, a nie opierać decyzję wyłącznie na tabelach autora.