Ilmaus ”aja oma tekoälytyttöystäväsi” saa sen kuulostamaan yhdeltä ohjelmalta. Käytännössä se on kolme toisilleen puhuvaa osaa, ja sen ymmärtäminen, mikä osa tekee mitä, säästää suurimman osan turhautumisesta.
Kolme osaa
Mikä puhuu kenelle tyypillisessä paikallisessa asennuksessa.
Käyttöliittymä on se, minkä näet: chat-ikkunat, hahmot, avatarit, asetukset. SillyTavern on vakiovalinta hahmochattiin. Se toimii selaimessasi, tallentaa hahmot ja chatit tiedostoina levyllesi ja voi yhdistää lähes mihin tahansa taustaohjelmaan. Se ei itse tuota tekstiä.
Taustaohjelma lataa mallin ja tuottaa vastaukset. KoboldCpp on yksittäinen ohjelma ilman asennusta, ja se on suosittu roolipelissä, koska se paljastaa jokaisen tuotantoasetuksen. Ollama on helpoin tapa saada malli käyntiin muutamalla komennolla. LM Studio on työpöytäsovellus ystävällisellä malliselaimella. Mikä tahansa niistä tarjoilee mallin paikalliseen osoitteeseen, johon käyttöliittymä yhdistää.
Malli on suuri tiedosto, yleensä GGUF-muodossa, ladattuna Hugging Facesta. Sen koko parametreissa, eli 8B, 12B, 24B, ja sen kvantisointi ratkaisevat, kuinka hyvä se on ja mitä laitteistoa se vaatii.
Laitteistokysymys
Sen, toimiiko malli hyvin, ratkaisee näytönohjaimen muisti (VRAM). Mallin on mahduttava, ja keskustelulle on jäätävä tilaa. Kvantisointi kutistaa mallit mahtumaan: ”Q4_K_M” on yleinen kompromissi koon ja laadun välillä.
| Mallin koko | Likimääräinen muisti Q4:llä | Tyypillinen laitteisto | Mitä odottaa |
|---|---|---|---|
| 7–8B | 5–6 Gt | 8 Gt:n näytönohjain | Johdonmukainen, nopea, unohtaa yksityiskohtia pitkissä kohtauksissa |
| 12–14B | 9–10 Gt | 12 Gt:n kortti | Huomattavasti parempia hahmoja ja proosaa |
| 22–24B | 14–16 Gt | 16–24 Gt:n kortti | Lähellä hyviä palvelusovelluksia roolipelissä |
| 70B | 40 Gt+ | Kaksi korttia tai suurimuistinen Mac | Erinomainen, hidas ja kallis |
Nämä luvut ovat summittaisia: pidempi konteksti vaatii lisämuistia päälle. Apple Silicon -Macit jakavat muistin prosessorin ja grafiikan kesken, joten 32 Gt:n MacBook voi ajaa malleja, joita 12 Gt:n näytönohjain ei pysty. Malli, joka ei mahdu, vuotaa pääprosessorille ja hidastuu ryömimiseksi. Jos vastaukset tulevat muutaman sanan sekuntivauhdilla, siirry pienempään malliin ennen kuin kokeilet ankarampaa kvantisointia. Pienempi malli hyvällä laadulla voittaa yleensä liian kovaa puristetun isomman.
Mitä saat
- Yksityisyys, joka ei riipu käytännöstä. Mikään ei poistu koneelta. Ei säilytysaikaa, ei koulutusta, ei henkilökunnan pääsyä, ei mitään poistettavaa myöhemmin.
- Ei suodatinta mallin omien lisäksi. Valitset mallin, myös roolipeliin viritettyjen. Sisällön lakisääteinen pohja koskee yhä sinua, mutta mikään ylläpitäjä ei lisää sääntöjä päälle.
- Ei tilausta eikä krediittejä. Luo niin paljon kuin haluat.
- Hahmot, jotka omistat. Hahmokortit ovat tavallisia PNG-kuvia, joihin hahmolomake on upotettu. Ne siirtyvät käyttöliittymästä toiseen, eikä päivitys voi viedä niitä pois.
- Vakaus. Malli, joka toimii tänään, toimii samoin viiden vuoden päästä. Kukaan ei voi vaihtaa sitä altasi, mikä on tekstissä kun tekoälykumppanisi muuttuu yön yli kuvattu riski.
Mistä luovut
- Asennusaika. Varaa ilta ensimmäiseen toimivaan chattiin ja viikkoja näpertelyyn, jos siitä tykkäät.
- Muisti on sinun työsi. Palvelusovellukset tiivistävät ja tallentavat faktoja sinusta hiljaa. Paikallisesti hallitset sitä SillyTavernin lorebookeilla, yhteenvedoilla ja hahmomuistiinpanoilla, samoilla kolmella mekanismilla, jotka selitetään tekstissä miten tekoälykumppanin muisti toimii, vain säätimet esillä.
- Kuvat ja ääni ovat erillisiä projekteja. Kuvien luonti tarvitsee oman mallinsa ja yleensä enemmän näytönohjaimen muistia. Ääni tarvitsee puheentunnistus- ja synteesityökalut. Kaikki on mahdollista, mikään ei ole automaattista.
- Mobiili on hankala. Voit avata käyttöliittymän puhelimella kotona wifillä. Käyttö kodin ulkopuolella tarkoittaa tietokoneesi altistamista internetille, mikä vaatii varovaisuutta.
- Laatukatto. Parhaat palvelumallit ovat suurempia kuin mikään, mitä useimmat voivat ajaa kotona, erityisesti pitkän aikavälin johdonmukaisuudessa.
Välimuoto ja sen koukku
Moni ajaa SillyTavernia omalla koneellaan mutta yhdistää sen paikallisen mallin sijaan maksulliseen pilvirajapintaan. Saat käyttöliittymän hallinnan ja hahmotiedostot, paljon suuremmat mallit ja viestikohtaisen hinnoittelun, joka voi olla halpaa kevyessä käytössä.
Se ei kuitenkaan ole yksityinen. Jokainen viesti menee rajapinnan tarjoajalle sen lokitus-, säilytys- ja sisältösääntöjen alle, usein tiukempien roolipelisisällöstä kuin omistetut kumppanisovellukset. Se on eri kompromissi, ei paikallinen asennus.
Turvallisuuden perusteet
- Lataa ohjelmistoja vain virallisilta projektisivuilta GitHubista tai projektin omalta sivustolta.
- Lataa mallit tunnetuilta lataajilta Hugging Facessa ja suosi GGUF-tiedostoja, jotka sisältävät mallidataa eikä koodia.
- Lue mallin lisenssi. Jotkin rajoittavat kaupallista käyttöä, muutamat tiettyä sisältöä.
- Pidä SillyTavern sidottuna omaan koneeseesi tai kotiverkkoosi, ellet ole asettanut salasanaa ja ymmärrä, mitä altistat.
SillyTavernia kehitetään avoimesti GitHubissa.
Kenelle se sopii
Aja kumppani paikallisesti, jos yksityisyys on pääasiasi, omistat jo kyvykkään laitteiston tai nautit asetusten säätämisestä yhtä paljon kuin käytöstä. Pysy palvelusovelluksessa, jos haluat äänen, kuvat ja pitkän muistin toimimaan suoraan laatikosta tai juttelet enimmäkseen puhelimella. Ensimmäisen sovelluksen valinnan oppaamme kattaa sen reitin. Moni päätyy molempiin: palvelusovellus mukavuuteen ja paikallinen asennus keskusteluihin, joita ei halua tallennettavan minnekään muualle.