OpenAI a anunțat lansarea GPT-4o mini, cel mai eficient model mic de limbaj (SLM – small language model) din punct de vedere al costurilor, dezvoltat până acum de companie.

Scopul principal al acestui model este de a face inteligența artificială accesibilă unui număr cât mai mare de utilizatori și aplicații, printr-un cost redus. GPT-4o mini se așteaptă să extindă semnificativ gama de aplicații construite cu AI, datorită prețului său avantajos.

Caracteristici și Performanțe GPT-4o Mini

GPT-4o mini este proiectat să gestioneze o gamă largă de sarcini datorită costurilor și latenței reduse. Acesta este ideal pentru aplicații care necesită execuția de cereri multiple către model, precum și pentru cele care procesează volume mari de informații contextuale sau pentru interacțiunea cu clienții, oferind răspunsuri rapide și în timp real.

Suport pentru Text și Imagini: Modelul poate procesa atât text, cât și imagini în API (Application Programming Interface), la intrare și la ieșire. Utilizatorii pot adresa întrebări text sau pot furniza imagini, iar modelul va răspunde cu explicații text sau poate genera imagini ca răspuns.

Capacități Viitoare: În viitor, GPT-4o mini va putea procesa și genera conținut video și audio, atât la intrare, cât și la ieșire. Utilizatorii vor putea furniza videoclipuri sau fișiere audio pentru a primi analize detaliate, rezumate sau descrieri ale conținutului. De asemenea, modelul va putea genera răspunsuri sub formă de videoclipuri sau fișiere audio, extinzând astfel și mai mult gama de aplicații.

Capacitate de Procesare: Modelul poate gestiona până la 128.000 de tokeni în context și poate genera până la 16.000 de tokeni ca răspuns la fiecare cerere, având informații actualizate până în octombrie 2023. Un avantaj important este funcționarea îmbunătățită cu limbile non-engleze datorită unui tokenizer avansat.

Performanțe Superioare în Benchmark-uri

GPT-4o mini a obținut rezultate impresionante în diverse benchmark-uri:

• MMLU: Scor de 82%, depășind GPT-3.5 Turbo în preferințele utilizatorilor în clasamentul LMSYS (Large Model System).
• MGSM: Scor de 87% în raționamentul matematic și sarcinile de codare.
• HumanEval: Scor de 87,2%, performând mai bine decât modele concurente precum Gemini Flash și Claude Haiku.

Costuri și Exemplar de Calcul

GPT-4o mini este disponibil ca model de text și imagine în API-urile Assistants, Chat Completions și Batch. Prețurile sunt foarte competitive:

• 15 cenți pentru un milion de tokeni de intrare
• 60 cenți pentru un milion de tokeni de ieșire

Aceste tarife sunt de zece ori mai mici decât cele ale LLM-urilor anterioare și cu peste 60% mai ieftine decât GPT-3.5 Turbo.

Exemplu de Utilizare:

• Cererea: Utilizatorul întreabă SLM-ul „Ce știi despre România?” (aproximativ 4-5 tokeni).
• Răspunsul: Conține 400 de cuvinte, circa 300 de tokeni.

Posibilă Implementare în Apple Intelligence

GPT-4o mini ar putea fi soluția din spatele Apple Intelligence datorită următoarelor motive:

• Costuri Reduse: Modelul oferă performanțe ridicate la un preț accesibil.
• Performanțe în Procesarea Textului și Imaginii: Capacitățile avansate în aceste domenii îl fac ideal pentru multiple aplicații.
• Confidențialitate și Securitate: Procesarea locală pe dispozitiv asigură protecția datelor utilizatorilor.
• Viteză Mare și Latență Scăzută: Aceste caracteristici sunt cruciale pentru o experiență de utilizare optimă.

De asemenea, este posibil ca implementarea on-device să permită funcționarea fără conexiune la internet, deși acest aspect rămâne momentan speculativ.

GPT-4o mini reprezintă un pas important către democratizarea accesului la inteligența artificială, oferind performanțe de top la un cost semnificativ redus. Aceasta deschide noi oportunități pentru dezvoltatori și utilizatori, promițând o adoptare pe scară largă în diverse industrii și aplicații.