Super update, je pense surtout pour la détection de langue avec Fasttext. Je pique l'idée, j'avais pas vu que dans la doc il avait mis en place un model tout prêt. Je m'emmerdais pour rien 😂 En tout cas super ajout sur le crawler allez voir ça 👍
v0.3 is finally here! Exclusion patterns, custom XPath extractors, proxies, language detection... See the full list of new features here: crowl.tech/releases/
A client of ours brought up this SEO-focused crawl library that I wasn't aware of (@crowltech) bit.ly/2ZixEY1
It abstracts some of the stuff you'll likely need to build if you're scraping.
Sharing because it was new to me.