Šta je LLaVA i kako je konstruisana?

LLaVA (Veliki jezički i vizuelni asistent) je multimodalni model koji kombinuje obradu teksta i slika za rešavanje zadataka koji zahtevaju razumevanje i generisanje informacija na osnovu oba tipa podataka.

Osnovan je na velikim jezičkim modelima (LLM), poput GPT, i integriše vizuelne podatke putem specijalizovanih arhitektura, kao što su vizuelni enkoderi (npr., ViT — Vision Transformer).

Glavne komponente LLaVA:

• Vizuelni enkoder: pretvara sliku u vektorsku reprezentaciju.
• Jezički model: prima vizuelne ugrađene i tekstualni unos i generiše odgovor.

Na ovaj način, LLaVA može da odgovara na pitanja o sadržaju slika, da ih opisuje, da obavlja vizuelne i tekstualne zadatke.

Primer primene su multimodalni chatboti, koji mogu istovremeno da razumeju tekst i slike, na primer, da odgovore na pitanja o slici ili da generišu opis.