Levný model vás vyjde dráž

V jednom provozu si dělají vlastní evaly. Pouštějí vlastní zadání na víc modelech a měří, co z toho vyleze.

Cena za token jim z toho nevyšla jako rozhodující. Levnější model víc iteruje. Než se dobere použitelného výsledku, spotřebuje dohromady víc tokenů než ten větší.

Ten samý člověk hned dodává druhou půlku. Pustit největší model na dvousetznakové zadání je stejné plýtvání, jen z opačné strany.

Cena za token tedy není cena za výsledek. A volba modelu je jen jedna položka z účtu, který vzniká na třech místech.

Ten účet nesestavíte z faktur

Pavel Lukeš z Direct pojišťovny to v našem podcastu pojmenoval rovnou: „Dneska vlastně platíš třikrát.“

Poprvé za subscription, aby lidi vůbec měli v čem pracovat. Podruhé za extra kredity, které se pálí na pokročilých úlohách, programování a researchi. Potřetí za volání API v produkčních řešeních.

Tři platby a každá vzniká jinde.

Lukeš sám říká, že naodhadovat to celé dopředu je těžké. Proto tu otázku nemá smysl posílat financím. Účetnictví vám vrátí částku za středisko, ne za to, co ji způsobilo.

Rozpad, který potřebujete, v účetnictví není.

Zato je v konzolích, které už platíte.

Napište dnes platformovému týmu a chtějte jednu tabulku. Každá produkční integrace na jeden řádek: verze modelu, na kterou je zapinovaná, cena za token u té verze a měsíční objem volání. Seřazeno podle objemu, sestupně.

Není to analýza. Verze a objemy jsou telemetrie z konzole dodavatele, cena za token je v jeho ceníku. Nikdo to nedohledává po střediscích.

Než tabulka dorazí, otevřete si admin konzoli nástroje, který platíte, a seřaďte uživatele podle spendu. Podívejte se na prvních pět. To zvládnete za pět minut, bez financí a bez čekání na kohokoliv.

Těch pět jmen v tabulce integrací není. Drahé je podle Lukeše tohle: někdo si sedne k nástroji, který mu platíte, a začne v něm vibecodit celý systém.

Kde v té tabulce jsou peníze

Tři místa. Ani jedno není to, kam se díváte první.

Verze, na kterou nikdo nesáhl. Nejtišší položka na celém účtu. Lukeš popsal dva modely od jednoho dodavatele, které vypadají jako sourozenci. Starší z nich stojí tolik co ta nejsofistikovanější varianta. Ten druhý, který je opravdu novější, je pětadvacetkrát levnější.

Pětadvacetkrát ale není sleva zadarmo. Když ty dva modely zaměnitelné nejsou, je to rozhodnutí o kvalitě a patří k němu test. Když zaměnitelné jsou, platíte pětadvacetinásobek za to, že na to nikdo nesáhl. Z té tabulky poznáte, který z těch dvou případů je váš.

Produkce bývá levná. Objem to otáčí. Tady se čeká ta velká položka a obvykle tam není. „Vytěžit dneska dokument a zeptat se na jednoduchou otázku a posunout ten proces dál, to není drahý.“ Na takové úlohy stačí slabý model. Jenže cena za jedno vytěžení se násobí objemem. Řádek, který je na jedno volání nejlevnější, může být na konci měsíce vaše největší položka. Proto je ta tabulka seřazená podle objemu.

Úlohy, které běží, i když se nikdo nedívá. Nástroje dnes umí spustit naplánovanou úlohu opakovaně, „aniž by si toho ten uživatel všiml“. Spend roste a příčina není vidět. V tabulce jsou to řádky s objemem, ke kterým nikdo v místnosti neumí říct, čí jsou.

Komu tu tabulku položíte na stůl

Vejde se na jeden slide. Adresáti jsou dva.

První je člověk, na kterého svítí ta největší položka. Reflex je poslat mu strop. Direct to dělá jinak a stojí za to vědět proč.

Uživatele mají rozdělené do týrů s předpokládaným spendem. Když někdo na svůj limit narazí, nic se mu nevypne. „To pro něj není konečná, to zdaleka ne.“ Je to bod, kdy si o tom sednou: jestli ty věci používá tak, jak by měl, a jestli ví, co kolik stojí. Někdy z toho vyjde, že se limit navýší.

Ten rozhovor je celý smysl limitu. Strop by spend zastavil a zároveň zakryl, proč vznikl.

Druhý adresát není člověk. Je to business case, do kterého ty řádky patří. Lukeš to shrnul takhle: „Každý proces, který jdeme automatizovat, má ROIku, ve které už jsou náklady na to, kolik má pálit tokenů přes API.“ A pak se průběžně sleduje, jestli to vychází.

Náklad na tokeny je tedy položka v návratnosti od začátku, ne překvapení na konci kvartálu. Hlídá se průběžně, protože ceníky se hýbou.

Poslední otázka k té tabulce: kolik řádků připadá na procesy, které mají spočítanou návratnost, a kolik na všechno ostatní. Ten druhý díl je částka, o které zatím nikdo vědomě nerozhodl.

Pohled za byznys — Jakub Štengl

Tohle vidím u klientů pořád. Rozhodnutí o modelu padne nad ceníkem. Dva sloupečky, cena za milion tokenů, vyhraje nižší číslo. Jeden provoz, se kterým jsme se v srpnu bavili, si dělá vlastní evaly a došel k opaku. Levnější model na stejné zadání víc iteruje. Spotřebuje tolik tokenů, že vyjde dráž než ten větší.

Kupujete dokončenou úlohu, ne token. A tu vám žádný ceník nevyčíslí. Zjistíte ji jedině tak, že si ji změříte na svém zadání a na svých datech. Dokud tohle číslo nemáte, plánujete rozpočet podle ceny, kterou si nastavuje někdo jiný.

A ještě jedna věc pro toho, kdo rozpočet podepisuje. Nový model od téhož dodavatele může být pětadvacetkrát levnější než ten předchozí. Ceníky se hýbou rychleji, než zasedá rozpočtový výbor. Rozpočet postavený na jedné ceně na celý rok bude mimo dřív, než ho stihnete vyčerpat.

Pohled za technologie — Jakub Inger

Model si nevybíráš podle ceníku, ale podle toho, kolikrát to bude muset zkusit. Jeden provoz si dělá vlastní evaly. Vyšlo jim, že levný model úlohu nedá napoprvé, iteruje a nakonec spotřebuje víc tokenů než ten velký. Obráceně to platí stejně: pustit největší model na 200znakové zadání je taky plýtvání. Vytěžit dokument a posunout proces dál zvládne i slabý model a stojí to málo. Takže než něco automatizuješ, spočítej si, kolik ta úloha spálí tokenů do hotového výsledku, a dej to číslo do ROI. Pak to průběžně hlídej.