Európske API pre jazykové modely
Skúmal som európske cloudy, ktoré ponúkajú API na inferenciu jazykových modelov (LLM). Nákup od európskych poskytovateľov znižuje riziko krádeže duševného vlastníctva skrz jazykové modely, minimalizuje riziko amerického a čínskeho špehovania a zasahovania a poskytuje praktický medzikrok pred prechodom na lokálne modely. Tento článok je len prehľad ponúk. Žiadnu z nich som zatiaľ reálne netestoval.
Mistral
Jasnou prvou zastávkou je Mistral, francúzska spoločnosť, ktorá trénuje vlastné modely. Sú slabšie než najlepšie americké modely, ale tiež lacnejšie. Otravné je, že ceny v eurách sú rovnaké ako v dolároch, takže pri aktuálnom kurze zaplatíte v eurách asi o 15% viac. Mistral ponúka zaujímavé modely uvedené nižšie. Ceny sú za 1M vstupných/výstupných tokenov.
- Mistral Medium 3 ($0.40/$2): Najlepší multimodálny model bez premýšľania od Mistralu za lákavú cenu. V testoch je oproti špičkovým modelom dosť slabý, no podľa hlasovania na LMArene ho majú ľudia aj tak radi.
- Magistral Medium ($2/$5): Najlepší multimodálny model s premýšľaním, ktorý Mistral ponúka. V testoch, aj tých programátorských, je lepší než Mistral Medium, ale často blbne, čo bude asi dôvod, prečo ho ľudia na LMArene nemajú radi. Momentálne ho vnímam skôr ako experiment než hotový produkt. Je to fine-tune odvodený z Mistral Medium, tak je jeho cena prekvapujúca, ale prevádzka premýšľajúcich modelov je naozaj drahšia.
- Codestral ($0.30/$0.90): Cenovo dostupný cloudový FIM model bez premýšľania na dopĺňanie kódu v IDE.
- Mistral Large 2 ($2/$6): Veľký, ale zastaraný model. Neodporúčam.
- Devstral Medium ($0.40/$2): Agentický, ale bez premýšľania. Na programovanie príliš slabý. Neodporúčam.
Keďže ani najlepší model od Mistralu nie je konkurencieschopný voči najlepším open-source modelom, budem sa musieť poobzerať po európskych API, ktoré ponúkajú open-source modely. Mistral sám takú službu neponúka.
Scaleway
Scaleway je francúzska cloudová spoločnosť, ktorá ponúka LLM API pre širokú paletu open-source modelov za atraktívne ceny. Najlepší model, ktorý aktuálne ponúkajú, je qwen3-235b-a22b za €0.75/€2.25. Všimnite si nízky pomer 1:3 medzi cenou vstupu a výstupu. Mnohé modely majú pomer 1:1. To naznačuje určitú neefektivitu v ich inferenčnom jadre. Podobne prekvapia aj nezvyčajne nízke limity na počet výstupných tokenov.
OVHcloud
OVHcloud je ďalšia francúzska cloudová spoločnosť. Má službu AI Endpoints, teda API pre jazykové modely. Je k nej cenník, ale ponuka mi príde dosť obmedzená. Najväčší model je len Llama 3.3 70B a príslušný DeepSeek fine-tune. Cena vstupných aj výstupných tokenov je rovnaká, €0.67 pre Llama 3.3 70B. Dúfam, že službu časom rozšíria.
Nscale a Nebius
Tieto dve firmy nie sú úplne európske. Nscale má kancelárie v Londýne, aj keď dátové centrá sú v kontinentálnej Európe. Nebius sídli v Amsterdame, no vo vedení má viacerých Rusov vrátane riaditeľa. Obe firmy však ponúkajú niečo, čo Scaleway ani OVHcloud nemajú. Nscale ponúka GPT OSS 120B za $0.10/$0.40. Nebius ponúka DeepSeek R1 0528 za $0.80/$2.40.
Čo ďalej?
Podľa mňa je najvyšší čas presunúť ľahšie úlohy do európskych cloudov. Aj ja tak plánujem spraviť. Najsľubnejšie vyzerajú Mistral Medium a Qwen 3 235B A22B od Scaleway. Schopnosti modelov rýchlo rastú a s nimi porastie aj použiteľnosť európskych API pre jazykové modely. Európske cloudy ale nemôžu zvládnuť ťažké úlohy, ako je programovanie, kým neponúknu špičkové modely.