Ještě před nedávnem se technologické firmy chlubily hlavně svým softwarem. Dnes stále častěji mluví o datech, která můžou využívat.
Roste na tom spousta českých projektů. Firmám správu jejich dat nabízí třeba Boost.space, který vyvíjí platformu pro centralizaci firemních dat, nebo Ataccama vyrůstající z Česka, mezi jejíž klienty patří třeba Lloyds, T-Mobile nebo Mondelēz. V medicíně se na datových souborech trénují do budoucna modely, které nám předpoví vývoj rakoviny a dalších nemocí. Český startup Oddin koupil dánský GameScoreKeeper, právě kvůli datům, které dokáže shraňovat.
A pak jsou tu ti, kteří si staví byznys rovnou na tom, co lze na internetu zjistit tak nějak všeobecně. Nejznámější mezi těmi českými je zřejmě Apify, které vybudovalo byznys na infrastruktuře, která umožňuje automatizovaně získávat data z webu.
K tématu se přidala i státní správa. České ministerstvo financí (právě s pomocí Apify) každý kvartál stahuje informace z tisíců realitních inzerátů z českých webů. Z cen, lokalit a velikostí bytů pak staví interaktivní mapu tržního nájemného, dnes nejnavštěvovanější stránku celého ministerského webu se 120 tisíci návštěvami. „Tradiční statistické zdroje pracují s průzkumy a transakčními daty, která vycházejí se zpožděním a v agregované podobě. Neposkytují úroveň detailu, kterou potřebujeme,“ popsala na pražské konferenci Prague Crawl Klára Bayernheimerová z ministerstva. Přišla ukázat, jak i tento sektor dokáže brouzdáním po internetu získávat data, která přemění v informace.
Zmínění ukazují, jak moc se web scraping stal jedním z důležitých motorů současného vývoje technologií okolo AI. Automatizované programy každý den procházejí miliony webových stránek, sbírají informace o cenách, produktech, firmách, pracovních nabídkách nebo nemovitostech a převádějí je do databází, na kterých vznikají nové produkty, obchodní strategie i velké firmy.
Jenže to, co jde technicky, ještě nutně nemusí fungovat právně. Dosud není jasné, jak se můžou automatizovaně stahovat data, byť jsou na internetu volně dostupná. A jakou roli v tom hraje evropské autorské právo.
Soudy totiž nejsou jednotné. Téma je to pro Štěpánku Havlíkovou z advokátní kanceláře Dentons, která se mu věnuje jak v kanceláři, tak v pozici doktorandky. „Většinu scrapingových případů lze z právního hlediska ošetřit. Záleží ale na tom, jaká data stahujete, z jakých zdrojů, za jakých podmínek jsou publikovaná a jaká opatření při tom překonáváte,“ upozorňuje. Na zmíněné konferenci ukázala tři odlišné přístupy a různé výklady téhož zákona.
Vysvětluje, že důležitá pravidla se točí kolem takzvané TDM výjimky (text and data mining) z evropského autorského práva. Ta zjednodušeně říká, že data z internetu je možné scrapovat, pokud držitel práv výslovně neodmítl jejich strojové zpracování, a to ve strojově čitelné formě. Jenže není jasné, na co přesně „strojově čitelná forma“ odkazuje, popisuje Havlíková.
Většina firem, které data z internetu stahují, se spoléhá na soubor robots.txt. Jde o jednoduchý textový soubor, který leží na serveru každého webu a říká automatizovaným programům (botům či samostatně se pohybujícím AI agentům), co smějí a co nesmějí stahovat. Řídí se přitom pravidlem, podle kterého ve chvíli, kdy v tomto souboru není můj program zakázaný, data stahuji.
Někteří držitelé práv, jako vydavatelé, mediální domy či autoři, ale namítají, že jejich odmítnutí je vyjádřeno v obchodních podmínkách webu, tedy v běžném právním textu psaném lidskou řečí. „Obchodní podmínky je velmi obtížné číst strojově,“ komentuje však Havlíková.
Kdo smí šířit veřejná data?
Jasno není ani na zmíněných soudech. Podobné případy se v Evropě řešily s různými výsledky.
V Hamburku se řešil případ, ve které fotograf Robert Kneschke žaloval neziskovou organizaci LAION za to, že jeho fotografie byly zahrnuty v datasetu pro trénink AI. Německý soud jeho žalobu zamítl. Rozhodl, že tvorba datasetu spadá pod výjimku pro DTM pro vědecký výzkum. V okrajové poznámce ale naznačil, že i opt-out vyjádřený běžným jazykem v obchodních podmínkách by mohl být považován za strojově čitelný, protože technologie na jeho rozpoznání už existují. „Je nesmírně obtížné si představit, jak by scrapery měly tuto analýzu provádět, zvlášť když uvážíme, jak nespolehlivá by byla,“ oponuje Havlíková. Odvolací soud tento argument nakonec nepřevzal. Jak ale spor v této oblasti dopadne, není jasné, Havlíková popisuje, že případ teď míří k německému Spolkovému soudnímu dvoru.
V Nizozemsku se před soudce dostal spor mediálního domu DPG Media a HowardsHome, společnosti, která vytvářela pro své zákazníky přehledy zpráv na základě veřejně dostupných RSS kanálů a dalších dat získaných automatizovaně z internetu. Vydavatelé namítali, že tím porušuje jejich autorská práva a práva k databázím. Spor se soustředil na DTM a odmítnutí sběru dat tímto způsobem, tedy to, jak je odmítnutí vyjádřeno ve strojově čitelné podobě. Vydavatelé argumentovali mimo jiné tím, že zákaz vyjádřili prostřednictvím robots.txt. Soud však zjistil, že tento soubor blokoval pouze některé konkrétní AI boty, například GPTBot nebo ChatGPT-User, nikoliv crawler používaný společností HowardsHome. Podle soudu proto nebylo možné tvrdit, že vydavatelé vůči této konkrétní službě své právo na zákaz text and data miningu účinně vyhradili. HowardsHome se tak mohla opřít o výjimku pro TDM a soud žalobu vydavatelů zamítl.
Podobnou otázku nyní řeší i maďarské soudy, které se rovněž zabývaly tím, jak má v praxi fungovat evropský systém opt-outu pro text and data mining. Právě z Maďarska se pak dostala předběžná otázka k Soudnímu dvoru Evropské unie. Ten by měl rozhodnout v příštím roce, říká Havlíková, a jeho výklad bude závazný pro celou Unii.
Co měla Evropa na mysli, a co udělala
Výše zmíněné zablokování některých robotů, ale opomenutí jiných, tak podle Havlíkové vede ke skutečnosti, že se data dále šíří. „Přestože držitelé práv odmítnutí vyjádří, prakticky se jejich data stále používají, pokud jsou obsažena v datasetu Common Crawl,“ říká.
„Existuje tedy rozsáhlá struktura, v níž autoři poskytují licence na obsah vydavatelům, vydavatelé jej následně publikují a v podstatě vyjadřují nesouhlas jménem mnoha autorů, jejichž díla jsou například zveřejněna na webových stránkách. V praxi se tedy jedná o poměrně složitou strukturu, kterou zákon vůbec nezohledňuje. Zajímavostí je, že celá tato výjimka pro TDM nebyla při jejím vypracování vůbec koncipována s ohledem na všechny tyto případy použití,“ komentuje. Zmíněné soudní spory okolo TDM se řešily v roce 2024. Samotná směrnice ale byla přijata už v roce 2019 a od poloviny roku 2021 platí výjimky z autorského práva, která legálně umožňují prohledávání a analýzu dat pro vědecké výzkumy a komerční vytěžování.
"Evropští zákonodárci, kteří tuto výjimku zavedli nebo přijali, tento typ využití vůbec nepředvídali. To je nyní také téma, ke kterému se vyjadřují členové Evropského parlamentu slovy: ‚Ano, ale tohle jsme nečekali a nechtěli. To by nemělo být zahrnuto.‘ Právníci zastupující společnosti jako Meta však říkají: ‚Ano, ale není relevantní, co jste měli na mysli. Důležité je to, co bylo zákonem přijato.‘ Výsledkem je tedy v tuto chvíli obrovský chaos,“ komentuje Havlíková.
Předstírejme, že jsme lidé
Právní nejistota zatím nevadí, tedy alespoň na straně mnoha firem, které scraping potřebují. Ty investují do stále sofistikovanějších způsobů, jak se ochranným systémům webů vyhnout. Nebo jinak řečeno, část současného scrapingového průmyslu už není o získávání dat, ale o překonávání systémů, které mají získávání dat zabránit.
Peter Pagenstedt z firmy Browserbase na pražské akci ukázal, jak ochranné systémy typu Cloudflare dokážou odhalit automatizovaný přístup ještě předtím, než se naváže spojení. Tyto systémy totiž analyzují takzvaný TLS fingerprint, jakýsi digitální otisk, který prozradí, zda požadavek posílá skutečný webový prohlížeč ovládaný člověkem, nebo automatizovaný program. „Podívají se na digitální otisk vašeho programu a poznají, že nejde o prohlížeč, ale o automatizovaného klienta,“ říká Pagenstedt.
Gunnar Catlett je zakladatelem společností HypeProxies a Crawlbyte. Svou infrastrukturu vybudoval v garsonce v Austinu hned po dokončení studia a dnes zpracovává až 30 milionů aktualizací produktů za hodinu, čímž podporuje některé z nejkonkurenceschopnějších e-commerce projektů na internetu.
Vysvětlil, proč jeho společnost staví vlastní serverové skříně v Ashburnu ve Virginii, kudy prochází 70 % světového internetového provozu, a osazuje je běžným spotřebitelským hardwarem místo serverových komponent. Moderní ochranné systémy totiž nezkoumají jen IP adresu, ale vytvářejí si digitální otisk návštěvníka z desítek technických parametrů. Pokud požadavek přichází z prostředí, které připomíná datové centrum nebo automatizovaný nástroj, může být zablokován. „Musíte vytvořit digitální otisk založený na skutečném uživateli,“ řekl Catlett.
Logan Harless ze String AI sbírá obrovské objemy veřejně dostupných dat z internetu, především pro hedgeové fondy. Každý týden stáhne asi čtyři miliardy záznamů a při tom naráží na stále sofistikovanější ochrany proti automatizovanému sběru dat.
Největší problém pro takový byznys podle něj není samotné zablokování, ale to, že weby často nedají jasně najevo, že scraper odmítly. Místo požadovaných dat vrátí například CAPTCHA nebo jinou blokovací stránku, ale přitom odpoví standardním kódem 200, který normálně znamená „vše proběhlo v pořádku“. Systém tak může nabýt dojmu, že data úspěšně získal, i když ve skutečnosti stáhl jen výzvu typu „ověřte, že nejste robot“. Zatímco člověk na první pohled pozná, že místo produktové stránky vidí CAPTCHA, automatizovaný systém zpracovávající miliardy požadavků denně takovou chybu nemusí odhalit. A pokud ji neodhalí, začnou se špatná data šířit celým řetězcem zpracování. Firma to řeší vlastním systémem, který analyzuje i samotný obsah stránek, například sledováním hlavičky odpovědí, struktury stránky nebo poměru textu a skriptů.
- Chcete mít Lupu bez bannerů?
- Chcete dostávat speciální týdenní newsletter o zákulisí českého internetu?
- Chcete mít k dispozici strojové přepisy podcastů?
- Chcete získat slevu 1 000 Kč na jednu z našich konferencí?
Staňte se naším podporovatelem
