Am testat fiecare tweak pentru LLM-uri locale: cele mai bune contradic sfaturile pentru cloud

De ce ții modulul de gândire oprit?

Funcția pe care modelele din cloud o laudă cu mândrie e prima pe care o dezactivez. Modulul de gândire, sau modul de raționament, apare când modelul își scrie procesul de lucru înainte de a da un răspuns final.

Scopul lui e să îmbunătățească precizia pe sarcini complexe. Majoritatea modelelor mele au acest mod, inclusiv Qwen, Gemma 4 și Qwythos. Furnizorii din cloud insistă puternic pe această funcție, până la punctul în care unii nu permit deloc să fie dezactivată.

Claude Opus 5.5 rulează cu modulul de gândire activat permanent, iar Google declară că orice model Gemini 3.5 gândește mereu, deci cea mai apropiată opțiune e reducerea efortului de raționament.

OpenAI permite dezvoltatorilor să seteze efortul de raționament pentru GPT-5.5 pe „niciunul”, dar implicitul e mediu, iar OpenAI sugerează să-l scadeți doar dacă vreți un răspuns rapid, în detrimentul unuia mai elaborat.

Țin modulul de gândire oprit pentru aproape toate modelele mele locale, iar motivul principal e fereastra de context. Fereastra mea de context trebuie să conțină totul: promptul meu, istoricul conversației, fișierele adăugate și chiar procesul de gândire al modelului. Dezactivarea lui funcționează ca un hack de bugetare pentru o configurație modestă. Asta mă salvează legitim câteva sute până la o mie tokeni pe fiecare prompt.

Orice prompt care ar fi necesitat atâta gândire ar fi fost trimis oricum la modelele mele din cloud, care rămân alegerea mea pentru sarcini complexe sau cu mai multe pași.

O setare pe care utilizatorii din cloud nu au fost niciodată oferiți. Min P e o setare de eșantionare, deci schimbă felul în care modelul alege fiecare cuvânt următor.

Cum funcționează Min P?

Setează un prag minim care se scallă cu probabilitatea alegerii de top a modelului, apoi elimină coada lungă a cuvintelor improbabil sub acel prag.

E o setare excelentă pentru creștere când ai o temperatură mare (mai aleatoriu decât analitic), pentru că esențialmente împiedică modelul să se abată de pe fir.

De câte ori temperatura mea depășește 0.3, ridic Min P între 0.03 și 0.05.

Unelile din cloud nu o oferă deloc – OpenAI, Anthropic și Google nu expun Min P ca setare, iar tendința generală e că nu expun aceste controale de eșantionare deloc.

Claude Sonnet 5 respinge orice valoare de temperatură sau top P diferită de cea implicită, iar Anthropic spune dezvoltatorilor să folosească prompting în loc.

OpenAI și Google nu sunt cu mult diferite.

GPT-5.5 acceptă doar temperatura implicită, iar deși Google încă permite schimbarea ei pentru Gemini 3, recomandă ferm să rămâi la 1.0, pentru că valorile mai mici pot cauza bucle.

De ce limitezi fereastra de context?

Pentru cât e valabil, setările recomandate de Qwen lasă Min P la 0.0, dar eu o țin activă de fiecare dată când am o temperatură mai mare, pentru că împiedică răspunsurile să devină inutile.

Modelele din cloud laudă milioane de tokeni, dar eu țin a mea foarte mică. Lungimea contextului e numărul de tokeni pe care un model îi poate ține simultan.

Așa cum am menționat, totul se numără spre ea, inclusiv prompturile tale, fișierele și răspunsurile modelului.

Modelele din cloud au împins numărul ăsta peste un milion, cu GPT-5.5 așezat puțin peste 1M și Claude Sonnet 5 oferind o fereastră de 1M implicit.

Anthropic publică chiar sfaturi specifice pentru prompturi individuale care poartă 20k tokeni de documente.

Ce e interesant e că propriul ghid de inginerie de context al Anthropic avertizează despre „putrezirea contextului”, adică memoria se degradează pe măsură ce fereastra începe să se umple. Asta se întâmplă mult mai devreme cu modelele locale dacă nu ai o placă uriașă, deci țin contextul meu în jur de 30k normal.

Pot rula bine până la 80k, dar trebuie să țin cont de alte aplicații pe care le rulez simultan, ceea ce fac de obicei, mai ales când un model local e integrat într-o unealtă de design sau un spațiu de lucru pentru un agent.

Modelele mele merg tehnic mult mai sus – Qwen 3.5 9B suportă nativ 262k, dar asta nu e o opțiune pentru GPU-ul meu. O fereastră de context mai mică nu e atât de limitativă cât pare.

De ce începi cu un model mai mic?

Te forțează să gândești cu adevărat prin prompturile tale și să fii selectiv cu ce adaugi într-o sesiune.

Poate deveni puțin restrictiv când încerc să rulez sarcini cu mai multe pași.

Sfata de a începe mare nu se aplică când GPU-ul tău e mic.

Furnizorii din cloud de obicei îți spun să începi cu modelul cel mai capabil.

Ghidul de selecție a modelelor de la OpenAI spune să începi cu modelul cel mai capabil și să testezi mai mici doar când costul și latența devin relevante.

Și Anthropic spune că majoritatea sarcinilor ar trebui să înceapă cu Claude Opus 5.5.

Asta e probabil în mare parte marketing – desigur, orice companie de AI vrea să încerci modelele ei cele mai capabile, deci cele mai ieftine par o degradare.