LlamaDeck Pro

LlamaDeck Pro är systerversionen av LlamaDeck för dig som vill styra varje flagga i llama-server – utan att ge upp automiken. Du väljer en enda GGUF-fil, Pro läser filens metadata och ställer in maskinen efter den, och alla flaggor finns som kryssrutor med värde.

Huvudprogrammet, med mappval, kluster och uppdateringar, ligger i llamadeck. Pro delar llama.cpp-backendarna med det, så CUDA, Vulkan och ROCm behöver inte hämtas om.

Bygga

Kräver .NET 10 SDK och Windows (WPF).

git clone https://github.com/mange-ctrl/llamadeck-pro.git
cd llamadeck-pro
dotnet publish src/LlamaDeckPro/LlamaDeckPro.csproj -c Release -r win-x64 --self-contained true `
  -p:PublishSingleFile=true -p:EnableCompressionInSingleFile=true `
  -p:IncludeNativeLibrariesForSelfExtract=true -o dist

Resultatet blir dist/llamadeck-pro.exe – en fil utan .NET-beroenden på måldatorn. Assets/backends.zip (llama.cpp:s Windows-byggen) ingår inte i repot; saknas den bygger projektet ändå, men backendarna måste då läggas på plats eller hämtas via LlamaDeck.

---

Skillnader mot vanliga LlamaDeck

	LlamaDeck	LlamaDeck Pro
Modeller	Välj mapp(ar), lista med alla .gguf	En fil – välj eller släpp en .gguf
Auto	Ställer in några reglage	Läser GGUF + hårdvara och sätter flaggorna
Manuellt läge	Reglagen låses upp	Auto av behåller alla värden – ändra bara det du vill
Flaggor	Ett urval	Alla llama-server-flaggor (207 st) med kryssruta och värde
Startkommando	Förhandsvisning	Förhandsvisning, kopiering och extra argument
Kluster, konvertering, uppdateringar	Ja	Nej – de finns i vanliga LlamaDeck

Pro delar llama.cpp-backendarna med LlamaDeck när den är installerad, så CUDA, Vulkan och ROCm behöver inte hämtas om.

---

En modell – en fil

Tryck Välj fil…, eller släpp en .gguf i fönstret. Pro läser filhuvudet direkt:

• arkitektur, antal lager, embedding-dimension, huvuden/huvuden-KV, kontextlängd, experter (MoE)
• kvantisering och storlek
• om filen har en inbäddad chattmall och RoPE-bas

Visionsprojektorer (*mmproj*) och draft-filer avvisas som modell – Pro hittar i stället en mmproj bredvid modellen automatiskt och slår på --mmproj när arkitekturen stöder bild.

Senast valda fil kommer ihåg och öppnas nästa gång.

---

Auto-analysen

När en fil väljs räknar Pro fram inställningarna från GGUF-metadatan och hårdvaran:

Underlag	Används till
Lager, huvuden, embedding, kontext	KV-cacheberäkning och kontextval
Experter (MoE)	--cpu-moe / --n-cpu-moe
Ledigt VRAM per grafikkort	--n-gpu-layers, kontext, KV-typ
Ledigt RAM + disktyp (SSD/HDD)	inläsning (--load-mode), kontext
Antal logiska CPU:er	--threads
*mmproj*.gguf bredvid filen	--mmproj

De flaggor Auto äger är märkta AUTO och låsta medan Auto är på. Det är:

--threads, --ctx-size, --n-gpu-layers, --flash-attn, --cache-type-k/v, --load-mode, --cpu-moe/--n-cpu-moe, --parallel, --metrics, --jinja, --mmproj, --fit och --fit-target.

Allt annat – sampling, RoPE, Loggning, Token out, API, verktyg – är fritt att ändra även med Auto på. Analysera om längst upp i Auto-kortet räknar om med aktuell hårdvara.

Under Varför dessa värden visas varje steg i beräkningen, t.ex. hur mycket VRAM som var ledigt och varför just den kontexten valdes.

---

Auto av – behåll allt, ändra bara Token out

Det här är hela poängen med Pro-läget:

1. Välj fil. Auto ställer in trådar, kontext, GPU-lager, KV, inläsning och MoE.
2. Klicka Manuell. Ingenting nollställs – värdena ligger kvar precis som Auto satte dem.
3. Ändra Token out (fältet högst upp i flaggpanelen, eller -n under Svar & token).
4. Resten av inställningarna är oförändrade. Startkommandot uppdateras direkt.

Fältet Token out slår automatiskt på --n-predict när du skriver ett värde. -1 betyder obegränsat. Vill du hellre göra det i flagglistan fungerar det lika bra.

Inställningarna sparas per modell i profiles.json. Stänger du programmet och öppnar samma fil igen ligger manualläget, Token out och alla andra värden kvar. Slår du på Auto igen räknas bara de AUTO-märkta flaggorna om – dina egna värden rörs inte.

---

Flaggkatalogen

Alla flaggor från llama-server --help finns som rader, grupperade ungefär som llama.cpp själv grupperar dem:

• Modell & maskin (Auto), Svar & token, Kontext & cache, GPU & VRAM, Sampling, RoPE, Speculative decoding, Multimodal, Server & API, Modell & adaptrar, Chatt & mall, Verktyg & agent, CPU & trådar, Loggning, Övrigt.

Varje rad har:

• kryssruta – skickas flaggan eller inte
• etikett + flaggnamn (t.ex. -c --ctx-size)
• värdeeditor – text, heltal, decimal, dropdown eller filväljare beroende på flaggtyp
• verktygstips med förklaring, standardvärde och om Auto äger flaggan

Verktygsraden:

• Sök filtrerar på etikett, flaggnamn och hjälptext (och gruppnamn).
• Bara aktiva visar bara det som faktiskt skickas.
• Fäll ihop fäller ihop alla grupper.
• Räknaren visar 8 aktiva av 207.

Längst ner visas hela startkommandot – det går att kopiera med ett klick. Det som inte finns som kryssruta kan läggas i Extra argument i Server-kortet och skickas sist.

Några flaggor är medvetet utelämnade: nedladdningsgenvägar (--hf-repo, --model-url, --docker-repo), --help/--version och borttagna flaggor. Pro laddar alltid filen du valde.

Flaggkatalogen följer llama.cpp b12283. Den inbäddade backenden i Pro är b12110 och saknar enstaka nyare flaggor; använder du den senaste backenden (som LlamaDeck hämtar) finns allt. Om en flagga inte stöds skriver llama-server ett tydligt fel i loggen.

---

Server och minne

Server-kortet innehåller det som alltid måste med:

• Port (standard 8080) och Nätverk (127.0.0.1 eller 0.0.0.0)
• API-nyckel (--api-key)
• Extra argument
• Hård RAM-gräns med reserverat GB till Windows (Windows jobbobjekt)

-m, --host, --port och --api-key är basargument och syns därför i Server-kortet i stället för som kryssrutor. Allt övrigt är flaggor.

Statuskortet visar Starta / Stoppa / Testa, endpoint med kopiera/öppna, samt CPU, RAM, VRAM och tok/s (tok/s kräver att --metrics är ikryssad, vilket Auto gör).

---

Backends

Pro letar först efter %LOCALAPPDATA%\LlamaDeck\backends (den vanliga LlamaDeck-installationen). Finns den används den – inklusive nedladdade CUDA 12/13, ROCm och SYCL – och inget extra packas upp. Annars packar Pro upp de inbäddade CPU-, Vulkan- och OpenCL-backendarna till sin egen datamapp vid första starten.

Portabelt läge (--portable eller portable.txt bredvid exe-filen) och --data <mapp> använder alltid en egen backends-mapp.

Uppdatera backendarna i vanliga LlamaDeck → Uppdateringar; Pro ser dem direkt.

---

Var sparas allt?

Standard: %LOCALAPPDATA%\LlamaDeckPro\

config.json       port, nätverk, API-nyckel, backend, fönster och globala val
profiles.json     flagguppsättning per modell (nyckeln är GGUF-filens namn)
logs\             loggfiler
backends\         bara i portabelt läge / när LlamaDeck saknas

Backendarna delas alltså med LlamaDeck; konfiguration och profiler är separata så att de två apparna inte skriver över varandra.

---

Kom igång

1. Kör dist\llamadeck-pro.exe.
2. Välj fil… och peka på en .gguf.
3. Auto analyserar filen; kontrollera backend, port och endpoint.
4. Starta. Adressen http://127.0.0.1:8080 (eller .../v1) kan användas direkt.
5. Vill du finjustera: slå av Auto, ändra det du vill – resten ligger kvar.

---

Testlägen (samma som LlamaDeck)

# analys, flaggor och startkommando utan att starta servern
dist\llamadeck-pro.exe --selftest selftest.txt --model "C:\modeller\min.gguf"

# starta servern, gör ett chattanrop och stäng
dist\llamadeck-pro.exe --selftest smoke.txt --model "C:\modeller\min.gguf" --smoke

# rendera fönstret till en PNG
dist\llamadeck-pro.exe --screenshot docs\bild.png --model "C:\modeller\min.gguf"

---

Testat

• Auto + smoke: Qwen2.5-0.5B-Instruct Q4_K_M på Vulkan (RTX 3060 Ti, llama.cpp b12283). Servern startade med Auto-flaggorna, /health svarade och ett chattanrop gick igenom.
• Fristående exe: publicerad single-file exe med --portable/--data packade upp de inbäddade CPU/Vulkan/OpenCL-backendarna och körde samma smoke-test utan LlamaDeck-installation.
• UI-flödet: Auto slogs av med musen, Token out sattes till 4096, kommandot innehöll --n-predict 4096 och behöll --ctx-size 32768, --n-gpu-layers 99 och --flash-attn on. Efter omstart återställdes manualläget med Token out kvar.
• Start/Stopp: Starta gav status Kör och rätt endpoint; Stoppa gav Stoppad inom en sekund.

---

Begränsningar

• En modell i taget och ingen mappsökning – det är hela poängen.
• Ingen kluster-, konverterings- eller uppdateringsflik; använd vanliga LlamaDeck för det.
• Flaggstöd beror på vilken llama.cpp-backend som är installerad. Äldre backends kan sakna enstaka nya flaggor; servern skriver då vilken flagga den inte förstår.
• --runtime-kommandon som --version och --cache-list är utelämnade eftersom de avslutar servern i stället för att starta den.

---

Felsökning

• "Flaggan har ogiltigt värde" – räknaren ovanför startkommandot visar vilka rader som behöver rättas. Hovra över texten för detaljer.
• Porten används redan – byt port i Server-kortet.
• Modellen får inte plats – sänk kontexten, minska GPU-lagren eller välj Alla experter på CPU för MoE. Auto varnar i loggen om KV-cachen äter upp VRAM.
• Backend saknas – hämta den i vanliga LlamaDeck → Uppdateringar, eller använd CPU/Vulkan som följer med.