vecna @vecna@sociale.network

A Berlino, il 3 settembre, un'hackathon su come liberare dati da facebook e ripostarli nel fediverse https://mastodon.social/web/@Disappear_Doc/108844672055412610

Purtroppo non è che abbia usato mastodon quanto avrei voluto, ma non siamo mai in ritardo per riprendere :)

Prevalentemente parlerò di https://tracking.exposed — molti aggiornamenti da raccontare :)

Il primo riguarda l'evoluzione di https://libr.events, lo conoscete? lo scopo è di facilitare la migrazione delle persone da Facebook verso (mobilizon | gancio | gath.io)

https://libr.events

non possiamo aspettare l'interoperabilitá delle piattaforme, allora forziamola.

scraping degli eventi da facebook e liberazione degli stessi su mobilizone.

domani 11 giugno 2022 hackathon a berlino, c-base

si sa che il limite delle reti federate é solo nella massa critica, al momento prerogativo dei monopolisti.

https://libre.events é un meccanismo di liberazione dati pensato perché si possa stare su mobilizone/gancio/gath.io senza perdersi gli eventi pubblicati in via esclusiva su facebook

(andrebbe mantenuto, ma a maggio ci sará un'hackathon a berlino, per presentare questo tool ed altri complementari)

bentornato a me, che mi ero dimenticato di questo profilo.

https://tracking.exposed sta procedendo molto bene, il team cresce, la cosa piú difficile é la gestione delle persone.

e io che pensavo fosse il mantenimento degli scrapers 😅

Appare un pezzo in italiano su questa pubblicazione: https://networkcultures.org/blog/publication/covid-19-from-the-margins-pandemic-invisibilities-policies-and-resistance-in-the-datafied-society/ COVID19 FROM THE MARGING

c'è qualcosa di anacronistico in corso, sono arrivato nel 2021 a scrivere per la prima volta una wrapGetJsonCb

ho sempre fatto diversamente, ma devo/voglio mantenere una webapp fatta da un'altra, ed è scritta in jquery. mi sono affacciato a JS quando c'erano già framework migliori, quindi promises e async.

questa webapp mi da un mucchio di difficoltà ogni virgola che cambio si sminchia qualcosa. mi tocca rifarla in react? cosa sarebbe furbo fare?

e bella così che si trovano, almeno in italiano ed inglese, i post "spinti" da facebook nonostante non siano advertising. tra un po' potremo pubblicare qualche misurazione per capire quanto il fenomeno è esteso?

questo pomeriggio la ricerca va nell'individuare quei post che ufficialmente non sono sponsorizzati, ma popolano il newsfeed con una giustificazione di popolarità "Suggeriti per te"

l'effetto collaterale positivo di analizzare facebook è rompi la tua bolla, scoprendo pubblicità che non avresti mai visto:

Qualcuna parla cinese qui? o può darmi una mano a capire come si descrivono le date in cinese? grazie :)

e così ora appaiono i topic estratti a fianco dei post, con un link diretto all'RSS che viene aggiornato nonappena uno di quei topic riappare in un post.descritto meglio qui: https://facebook.tracking.exposed/zuckless-news/

e finalmente la pagina di evidenze è tornare a mostrare i post!
questa sera aggiorno l'estensione

Ripristinato all'operatività finalmente. Anche se lo screenshot potrebbe non dire molto.. Facebook aveva attivito un sistema di anti-scraping, giustamernte come ci si aspetterebbe, sofisticato. è avvenuto insieme al cambiamento di UX dell'autunno 2020. la fbtrex, la pipeline è stata rivista e questo ha stimolato una revisione generale dell'interfaccia e dei dati.

Un bel cambiamento nella routes/personal.js https://github.com/tracking-exposed/facebook/blob/master/routes/personal.js che è uno dei file principali da considerare, visto che regola come una collaboratrice accede ai suoi dati. prima veniva usato un processo batch che aggregava le timeline per avere statistiche giornaliere. ora invece con una aggregate+group https://docs.mongodb.com/manual/reference/operator/aggregation/#accumulators-group di mongodb si ottiene la stessa cosa

un sempreverde per collezionare dati con facebook.tracking.exposed, è questo userscrippt chiamato autoscroller. gli userscript vanno caricati tramite l'estensione tampermoneky. https://github.com/tracking-exposed/facebook/blob/6f040aba1b7dccc82fd0c6600bf330a2529637ac/I/autoscroll.user.js In questo modo il profilo che fa lo scraping di facebook si comporta in modo passivo come fosse una vera utente, che fa refresh 13 volte al giorno e fa scrolling per 4 minuti. al solo scopo di misurare/registrare come la timeline cambia nel tempo.

questi sono due pezzi di html, una volta che parserv l'ha processato, viene marchiato come "processed" e creata una entry in metadata

per ogni elemento inviato dal client, viene salvata un'impression. le variabili più importanti sono le ID necessarie a linkarla agli altri dati, e l'impressionOrder (l'ordine del post nella timeline). se è public, allora c'è un htmlId che punta all'html salvato.

la collezione "timelines" viene popolata ogni volta che un utente fa un refresh della timeline. se il browser non è sulla "/" del sito, marca la timeline come 'nonfeed', non da seguire.