Názory k článku Jan Čurn (Apifier): V Americe jsme si pouštěli Queen. Hlavně Show must go on

Ty moc nevstrebavas psane slovo ze ? Kdyz dostali "credit" 25k $ do cloudu amazonu tak jedou zcela logicky na azure ;-)

Vse si muze uzivatel nakonfigurovat v ramci nastaveni crawleru. Muzete mrknout do sekce Advanced settings u prikladu na nasi home page.

Me by zajimalo, jestli mate v User-Agent identifikovany Vas crawler nebo jestli se maskujete jako browser. A taky by me zajimalo jestli ctite robots.txt.

Pokud bychom scrapovali par webu, tak bychom si pro investici taky nesli. My jsme ji dostali na nastroj, pomoci ktereho lze (nejen) scrapnout web za hodinu, coz je nekolikanasobne kratsi doba, nez kdyz si to clovek resi sam od zacatku.

Scrapoval jsem např. primu a novu - tam se struktura mění(la) každý půlrok. A proměnné v js jsou na nic, pokud změní strukturu, je třeba ji přepsat - někdy jeden znak, jindy celý prvek.

Ono scrapovat běžný web nemá smysl, pokud nemá unikátní data.

Ale nejvíc mě fascinuje, že na tohle jde dostat investici. Jak jsem psal, scrapoval jsem roky různé weby a vždy jsem to bral jako light underground job, nikdy by mě nenapadlo jít s tím na světlo a ještě dostat investici.

Moc pekny projekt, hodne stesti.

Ano, to je jedna z prekazek scrapingu, nicmene pro nase zakazniky ji umime take resit jako sluzbu. Navic po roce zkusenosti vime, ze se bezny web zas az tak casto nemeni. Nekdy dokonce ani zmena struktury nerozhodi nastaveni crawleru (pokud vyuzivame JS promenne nebo AJAX).

crawling / scraping má jednu nevýhodu. dost často, větší weby, mění strukturu - odzkoušeno po x letech crawlingu bez investice.

Pinterest by bez toho nikdy nevznikl.

Taktika je "rychle a doufat"

takze to pravdepodbne v poradku neni :D kdyz to delaji ty dva

Co se týká těch obrázků, podobně to dělají i Google Images nebo třeba Facebook při vytváření náhledů z externích URL...

Ah, kredit 25k na Amazonu, uz to vidim :)

Pekny tool na web scraping ! Hodne stesti.
Sam scrapuji realitni servery pro svuj realitymon.cz, je to peklo. Nejaky REPL by se hodil, treba Apifier neco takoveho ma ?
Zajimalo by me jak resi infrastrukturu, na jakem cloudu jedou (jestli tedy).

Otazka je jak se stavi scrapovane weby ke scrapovani, jaka je vlastne legalnost web scrapingu.
Napr v rohovoru zminovane realitio.cz po letmem pohledu stahuje i veskere image ze serveru a nasledne je hostuje z cloudfrontu, coz mi osobne neprijde uplne koser.... Ale co neni zakazano, to je povoleno, tak funguje dnesni svet.

Diky za feedback. Mame tam log konzoli kde je mozne vyuzivat ladici hlasky, nicmene na tom jeste zapracujem.

Zajímavá hračka, ale vyvíjet ten skript bez možností debuggeru je utrpení.