Qwable: il modello locale gratuito che copia lo stile di ragionamento di Fable 5

Negli ultimi mesi, i modelli linguistici di grandi dimensioni hanno raggiunto livelli di sofisticazione senza precedenti, ma spesso a scapito della flessibilità d’uso. Un nuovo progetto open source, Qwable, sta attirando l’attenzione della comunità tech per aver dimostrato che è possibile replicare il comportamento di un modello commerciale come Fable 5 di Anthropic su hardware locale, senza dipendere da API a pagamento né da politiche di filtraggio predefinite. Il risultato è un modello da 27 miliardi di parametri che, pur non essendo identico all’originale, adotta un approccio di ragionamento passo-passo simile, rendendolo accessibile anche a chi dispone di risorse computazionali limitate.

Il progetto si basa su una tecnica chiamata fine-tuning su tracciati di ragionamento, una metodologia che consiste nel formattare i dati di addestramento come sequenze di passaggi logici espliciti, proprio come quelli prodotti da Fable 5. In questo modo, il modello Qwen3.6-27B di Alibaba viene istruito non solo a rispondere a una domanda, ma a mostrare il proprio processo mentale, rendendo le risposte più trasparenti e controllabili. La novità non è solo tecnica: Qwable rappresenta anche una risposta alle restrizioni imposte da alcuni modelli commerciali, che limitano l’accesso ai loro sistemi tramite API o applicano filtri automatici che possono bloccare risposte anche in contesti legittimi.

Come Qwable replica lo stile di ragionamento di Fable 5

Il cuore di Qwable è un dataset di addestramento costruito appositamente per imitare la struttura delle risposte di Fable 5. Questo modello di Anthropic è noto per il suo approccio “ragionato”, in cui ogni risposta è accompagnata da una catena di pensieri esplicita, quasi come un diario di lavoro del modello. Il fine-tuning su questo stile non si limita a copiare le risposte, ma cerca di riprodurre la logica interna che le genera. Secondo la sviluppatrice Mia (Mia-AiLab su Hugging Face), responsabile della creazione del modello, il risultato è un modello che “pensa ad alta voce”, offrendo una finestra sul proprio processo decisionale.

La tecnica utilizzata è nota come “instruction fine-tuning su esempi di trace”, dove “trace” indica una traccia di ragionamento strutturata. In pratica, il dataset contiene coppie domanda-risposta in cui la risposta non è solo il testo finale, ma anche una sequenza di passaggi intermedi che portano alla conclusione. Questo approccio è simile a quello adottato da alcuni modelli open source come DeepSeek-R1, ma con una differenza sostanziale: Qwable si concentra specificamente sull’emulazione dello stile di Fable 5, noto per la sua chiarezza e sistematicità. Il risultato è un modello che, pur non essendo altrettanto potente in termini di conoscenza generale, offre un’esperienza utente più controllabile e comprensibile.

Hardware consumer e nessun costo per query

Uno dei principali vantaggi di Qwable è la sua accessibilità. Il modello è distribuito in formato GGUF, un formato ottimizzato per l’esecuzione locale su hardware consumer, inclusi PC con GPU di fascia media o addirittura CPU potenti. Questo significa che gli utenti non devono dipendere da servizi cloud a pagamento né sottostare a limiti di query imposti dai provider commerciali. Per un utente con una GPU NVIDIA RTX 3060 o superiore, Qwable 27B può essere eseguito con prestazioni accettabili, anche se non a velocità paragonabili a un modello eseguito su hardware enterprise.

La rimozione dei costi diretti è un elemento distintivo rispetto ai modelli commerciali. Mentre servizi come quelli di Anthropic o Mistral richiedono abbonamenti o pagamenti per query, Qwable permette di eseguire un numero illimitato di richieste senza alcun costo aggiuntivo. Questo lo rende particolarmente interessante per sviluppatori, ricercatori e appassionati che vogliono sperimentare con modelli di ragionamento avanzato senza vincoli economici. Inoltre, l’esecuzione locale offre vantaggi in termini di privacy, poiché i dati dell’utente non vengono trasmessi a server esterni.

La rimozione delle “soglie etiche” e le implicazioni etiche

Un aspetto controverso di Qwable è la versione “abliterata” del modello, distribuita sempre su Hugging Face. Questa variante è stata modificata per rimuovere le restrizioni di rifiuto incorporate nel modello originale, cioè la tendenza a rifiutare domande considerate potenzialmente pericolose o inappropriate. Questa operazione, tecnicamente possibile grazie a strumenti come llama.cpp e al suo cvector-generator, solleva questioni etiche e di sicurezza. Rimuovere i filtri di sicurezza può rendere il modello più flessibile, ma anche più vulnerabile a usi impropri, come la generazione di contenuti dannosi o disinformativi.

La comunità open source si trova quindi di fronte a un dilemma: da un lato, la trasparenza e l’accessibilità sono valori fondamentali, ma dall’altro la responsabilità d’uso non può essere demandata esclusivamente agli utenti. La sviluppatrice Mia ha sottolineato che la versione “abliterata” è distribuita come esperimento tecnico, senza endorsement per un uso indiscriminato. Tuttavia, la facilità con cui tali modifiche possono essere apportate solleva preoccupazioni su come questi strumenti potrebbero essere sfruttati in contesti non regolamentati.

Il contesto: perché Fable 5 è diventato un riferimento per i modelli locali

Fable 5 di Anthropic ha guadagnato popolarità non solo per le sue capacità, ma anche per il suo stile di ragionamento esplicito. A differenza di molti modelli che forniscono risposte dirette e concise, Fable 5 mostra il proprio processo mentale, rendendo le risposte più facili da verificare e da comprendere. Questo approccio ha ispirato numerosi progetti open source che cercano di replicare questa caratteristica, ma con risorse limitate. Qwable si inserisce in questa tendenza, offrendo un’alternativa accessibile a chi non può permettersi di utilizzare i modelli commerciali.

La popolarità di Fable 5 è cresciuta anche a causa delle restrizioni imposte da Anthropic, che ha recentemente implementato filtri più stringenti e, in alcuni casi, ha ritirato l’accesso al modello per determinate categorie di utenti. Questo ha spinto molti sviluppatori a cercare alternative locali che potessero offrire un’esperienza simile senza le limitazioni imposte dai provider. Qwable rappresenta quindi non solo un esperimento tecnico, ma anche una risposta alle politiche di alcuni attori del settore che rischiano di rendere l’accesso all’IA più restrittivo.

Come testare Qwable: requisiti e primi passi

Per chi volesse sperimentare con Qwable, i requisiti hardware dipendono dall’uso che se ne intende fare. Per un’esperienza fluida con la versione base del modello, è consigliabile disporre di una GPU NVIDIA con almeno 12 GB di VRAM, come una RTX 3060 Ti o superiore. La versione “abliterata” può essere eseguita anche su hardware meno potente, ma con prestazioni ridotte. Il modello è disponibile su Hugging Face in formato GGUF, insieme a una guida rapida per l’installazione tramite strumenti come llama.cpp o LM Studio.

Una volta scaricato il modello, l’utente può caricarlo in un’interfaccia locale come LM Studio o Oobabooga, che permettono di interagire con il modello in modo simile a un chatbot. La prima impressione è quella di un modello che risponde in modo strutturato, con una tendenza a mostrare i passaggi intermedi del ragionamento. Tuttavia, la qualità delle risposte dipende fortemente dalla qualità del fine-tuning: Qwable non è un clone perfetto di Fable 5, ma un tentativo di replicarne lo stile con risorse limitate.

Le sfide tecniche: precisione, allucinazioni e coerenza

Nonostante i progressi, Qwable presenta alcune limitazioni tecniche. Il fine-tuning su un dataset di ragionamento strutturato non garantisce automaticamente la coerenza delle risposte. In alcuni casi, il modello può produrre catene di ragionamento plausibili ma inaccurati, un fenomeno noto come “allucinazione”. Questo è particolarmente rilevante quando si tratta di domande complesse o di argomenti specialistici, dove un errore nel processo di ragionamento può portare a conclusioni sbagliate.

Un’altra sfida è la dimensione del modello. Con 27 miliardi di parametri, Qwable richiede risorse computazionali significative, anche se inferiori a quelle necessarie per modelli come Llama 3 70B. Gli utenti con hardware limitato potrebbero dover ottimizzare le impostazioni, ad esempio riducendo la precisione dei calcoli (da FP16 a INT8) per migliorare le prestazioni, a discapito di una lieve perdita di accuratezza. Inoltre, il modello potrebbe non essere altrettanto aggiornato in termini di conoscenza generale rispetto ai modelli commerciali più recenti, poiché il fine-tuning si concentra sullo stile piuttosto che sull’aggiornamento dei dati.

Il futuro dei modelli locali e l’impatto di Qwable

Qwable rappresenta un esempio di come l’open source stia democratizzando l’accesso a modelli di intelligenza artificiale avanzati. Progetti come questo dimostrano che è possibile replicare alcune caratteristiche dei modelli commerciali senza dipendere da infrastrutture costose o politiche restrittive. Tuttavia, la loro diffusione solleva anche questioni su come bilanciare innovazione e responsabilità, soprattutto quando si tratta di rimuovere i filtri di sicurezza.

Nei prossimi mesi, è probabile che vedremo ulteriori sviluppi in questa direzione, con modelli sempre più capaci di emulare stili di ragionamento specifici e di essere eseguiti localmente. La comunità open source continuerà a sperimentare con tecniche di fine-tuning e ottimizzazione, mentre i provider commerciali dovranno affrontare la crescente domanda di trasparenza e accessibilità. Per gli utenti, questo significa avere più opzioni a disposizione, ma anche la responsabilità di valutare attentamente quali strumenti utilizzare e in quali contesti.

Cosa tenere d’occhio: sviluppi e alternative

Per chi è interessato a seguire l’evoluzione di Qwable, il repository su Hugging Face è il punto di riferimento principale per aggiornamenti e versioni future. La sviluppatrice Mia ha indicato che potrebbero essere rilasciate nuove varianti del modello, con dataset di ragionamento migliorati o ottimizzazioni per hardware specifici. Inoltre, è probabile che altri sviluppatori cercheranno di replicare o superare il lavoro di Qwable, portando a una maggiore diversità di modelli locali con stili di ragionamento unici.

Un’altra area da monitorare è l’impatto delle politiche dei provider commerciali. Se Anthropic o altri attori del settore continueranno a imporre restrizioni più stringenti, la domanda di alternative locali come Qwable è destinata a crescere. Allo stesso tempo, la comunità dovrà affrontare le sfide etiche legate alla rimozione dei filtri di sicurezza, cercando di sviluppare linee guida o strumenti che permettano un uso responsabile di questi modelli.

Per gli sviluppatori e i ricercatori, Qwable offre un’opportunità unica per sperimentare con modelli di ragionamento avanzato senza vincoli economici. Tuttavia, è importante ricordare che, pur essendo un tool potente, richiede competenze tecniche per essere utilizzato al meglio. Chi si avvicina a questo progetto per la prima volta dovrebbe essere consapevole delle proprie limitazioni hardware e delle potenziali insidie, come le allucinazioni o la necessità di una verifica accurata delle risposte.