Co vám zůstane, až dodavatel odejde

Šéf IT Direct pojišťovny umí vyměnit poskytovatele AI modelu jedním přepnutím. Ví to jistě, protože ho regulace donutila to vyzkoušet.

U AI dodavatele si kupujete i plán na den, kdy zdraží, zkrachuje nebo odejde. Platí to pro toho, kdo vám prodává model, i pro toho, kdo vám na něm staví.

Pavel Lukeš to popsal v našem podcastu. DORA ho připravuje na scénář, kdy „by jeden z těch modelů poskytovatelů přestal poskytovat služby do Evropy“. Odpověď mají postavenou předem: „přesně kvůli tomu máme AI gateway, abych já na routingu jednoduše cvaknul a najednou jsem tam měl model od jiný firmy.“

To přepnutí si museli opravdu vyzkoušet a ověřit, že jejich prompty běží u obou poskytovatelů.

Jedna banka má stejnou otázku jako výslovný požadavek. Musí mít vyřešené, co udělá, když dodavatel modelu zdraží token desetkrát nebo zkrachuje. Službu klientům kvůli tomu přerušit nesmí.

Model je ale jen polovina. Druhá polovina je dodavatel, který vám na tom modelu staví. U něj se jedním cvaknutím přepnout nedá.

Cvičný poplach: dodavatel končí v pondělí

Pošlete tento týden dvě pozvánky na třicet minut.

První jde člověku, který vlastní jeden konkrétní AI případ v provozu. Do popisu napište: „Vyberte jeden prompt, který dnes běží v provozu, a přineste odpovědi na tři otázky. Voláme model napřímo, nebo přes gateway? Máme druhého poskytovatele, který smí naše data vidět, smluvně i podle klasifikace dat? Kolik dní by přepnutí trvalo a co by se muselo změnit: kód, konfigurace, nebo smlouva?“ Ze schůzky odejdete s jedním číslem ve dnech a se seznamem toho, co přepnutí blokuje.

Druhá jde internímu vlastníkovi vztahu s dodavatelem, který vám staví AI, a někomu z bezpečnosti. Do popisu napište: „Přineste plán pro odchod tohoto dodavatele, pokud ho máme, a výpis účtů, klíčů a repozitářů, kam má jeho tým přístup. Zjistíme, co z toho je na jméno jejich člověka místo našeho firemního účtu, a jestli plán počítá s prompty a znalostní bází.“

Dodavatele na tu schůzku nezvěte. Na odpovědi má vlastní zájem.

Co se na poplachu rozbije jako první

Na cvičení to vyplave za půl hodiny. Naostro to přichází postupně.

V první hodině zjistíte, že poskytovatelů, na které jde přepnout, je míň, než jste čekali. Banka zmíněná výš potřebuje data v EU. Už ta podmínka jí vyřadila část poskytovatelů. Jedna energetika si zase testuje víc modelů kvůli závislosti na západních dodavatelích, čínské modely ale do firmy nepustí. Seznam náhradníků se zúží dřív, než se začne řešit kvalita.

Během prvního týdne zjistíte, kde leží znalosti. Může se ukázat, že znalostní báze k projektu existuje jen jedna a drží ji jeden člověk dodavatele. Kdo by práci převzal, nemá kde začít.

Do měsíce zjistíte, kolik stojí, když se lidé vystřídají a nic se nepředá. Jinde mají low-code aplikaci, přes kterou řídí zhruba 90 % jedné ze svých hlavních činností. Vznikala tři roky živelně, vystřídalo se na ní hodně lidí a dokumentace neexistuje. Každý nový požadavek dnes stojí vývojáře dvojnásobek času, protože ručně dohledává, kde všude se změna projeví. Lidé odtamtud to popsali tak, že „spoléhají na to, co si kdo pamatuje“. Odchod dodavatele, který nic nepředal, vede do stejného stavu, jen naráz.

Co zařídit, dokud je klid

• Zopakujte první pozvánku pokaždé, když měníte model nebo prompty. Odpověď „přepnutí by trvalo dva dny“ platí pro prompty, jaké byly v den schůzky.
• Ujasněte si, kam smí data, ještě před výběrem modelu. Podmínka EU vám může vyřadit část trhu a je lepší to vědět už při výběru.
• Dodavatele zapojte až se seznamem mezer z druhé schůzky. Chtějte po něm průběžné předávání jako běžnou součást plnění. Takový požadavek se vyjednává líp než otázka „co kdybyste odešli“.

Plán na odchod dodavatele možná máte v dokumentu. Otázka je, jestli ho někdo někdy spustil.

Pohled za byznys — Jakub Štengl

Jedna regulovaná firma má dnes rozjetou spolupráci se třemi externími dodavateli. Každý jí staví vlastní platformu na tvorbu agentů. Člověk odtamtud je považuje za zbytečné. Firma už má Copilot 365 a ty platformy jsou daleko od místa, kde lidé reálně pracují. Na malé zadání přišla nabídka v řádu milionu. Za jeden dávkový testovací skript chtěli 4 člověkodny. Spolupráce je nasmlouvaná na dlouho dopředu.

Nic nekalého na tom není, dodavatel dělá svou práci. Otázka, která patří k podpisu, zní: co firmě zůstane, když tenhle dodavatel zítra odejde nebo ztrojnásobí cenu? Když na ni nikdo neumí odpovědět, nekupujete si řešení. Kupujete si závazek s otevřeným koncem. Náš kontakt z energetiky, o které je řeč výš, to zná z praxe. Jejich firma má zhruba patnáct let starou aplikaci, která visí na původním dodavateli. Teď chce know-how a architekturu u sebe a externí lidi jen ve smíšených týmech. Sám řekl, že učit jeho lidi může být pro dodavatele kontraproduktivní. A přesto to po dodavateli chce.

Odchod od dodavatele se vyjednává při podpisu smlouvy. Když dodavatel už odchází, nemáte čím vyjednávat. Do smlouvy proto patří čtyři věci:

• prompty a sady testovacích vstupů patří vám a leží ve vašem repozitáři,
• účty, klíče a repozitáře jsou založené na firmu, ne na lidi dodavatele,
• znalostní báze se předává průběžně jako součást plnění,
• dodavatel je povinen poskytnout součinnost, i když spolupráce skončí ze dne na den.

Platí to pro každého dodavatele, nás nevyjímaje.

Pohled za technologie — Jakub Inger

Když aplikace volá poskytovatele modelu napřímo, za běhu nepřepneš nic. Co tedy znamená, že prompty běží u dvou poskytovatelů? Mezi aplikací a modelem máš gateway a jiného poskytovatele nastavíš v konfiguraci, kód aplikace se nemění. Prompty máš ve vlastním repu. K nim sadu vzorových vstupů s očekávanými výstupy, takže na stejných datech uvidíš, kde se druhý model rozjede. A data před odesláním projdou anonymizační vrstvou, kterou držíš sám. Při přepnutí ji tak nestavíš znovu.

Stejnou přenositelnost potřebuješ u dodavatele, který ti na modelu staví. Znalostní báze, zadání a přístupy mají patřit firmě.