Lietotāja Z I Z U(@Zizuu) atziņas

Cilvēki joprojām veido smalki pielāgotus modeļus kā 2023. ga

Z I Z U · 2026-05-21T19:19:02.000Z

Cilvēki joprojām veido smalki pielāgotus modeļus kā 2023. gadā, viens modelis, viena GPU kaste, turpina izveidot vairāk instanču un mūžīgi maksā VRAM nodokli. OpenLoRA pieeja ir daudz saprātīgāka. Bāzes modelis vienkārši paliek residentā, adapteri tiek karsti ielādēti no HF vai diska, kad ienāk pieprasījumi, apvienoti reāllaikā, inferencija notiek, tokeni plūst ārā, adapteris tiek izsviests. Done. Tu vairs nesaglabā tūkstošiem nedaudz atšķirīgu modeļu atmiņā, tikai lai saglabātu pieņemamu latentumu. Visa šī shēma kļūst absurda, kad komandas sāk rūpīgi pielāgot visu. GPU izmantošana krīt no klints un pēkšņi puse no infrastruktūras budžeta ir tikai, lai saglabātu neaktīvos svarus siltus. Dinamikālo adapteru lietas man patiesībā šķiet interesantākās. Daudzmodeļu apkalpošana bez parastās orķestrācijas jucekļa, adapteru kompozīcija, mazāk izvietošanas atkritumu, ko pārvaldīt. Izskatās, ka tas ir daudz tuvāk tam, kā šīs lietas būtu bijis jārīko no paša sākuma, īpaši ņemot vērā, cik ātri OpenCoin ekosistēma fragmentējas nišas modeļos. @OpenLedger #OpenLedger $OPEN $OPEN sentiment right now:

Atklāj

Satura veidotāju centrs

Iestatījumi

Publicēt

Z I Z U

--Pozitīvs

Up only 🟢

100%

More downside 🔴

0%

2 balsis • Balsošana ir beigusies

Atruna: iekļauti trešo pušu pausti viedokļi. Šī informācija nav uzskatāma par finansiālu padomu. Var būt iekļauts apmaksāts saturs. Skati lietošanas noteikumus.

OPEN-3,92%

10

303

Pievienojies kriptovalūtu entuziastiem no visas pasaules platformā Binance Square

⚡️ Lasi jaunāko un noderīgāko informāciju par kriptovalūtām.

💬 Uzticas pasaulē lielākā kriptovalūtu birža.

👍 Atklāj vērtīgas atziņas no pārbaudītiem satura veidotājiem.

E-pasta adrese / tālruņa numurs

Sīkdatņu preferences