Script per il bulk download da Archive.org

In questi giorni mi e` capitato di dover scaricare varie collezioni da archive.org, una libreria digitale multimediale la cui missione e` l'accesso universale a tutta la conoscenza.

Principalmente lo uso per scaricare tantissime registrazioni live di vari concerti registrati a mio avviso in maniera impeccabile.

Nel sito si trova una guida per scaricare in bulk usando wget e gli strumenti del sito, ma risulta piuttosto prolissa e complicata se si vuole fare un download al volo.

Questo e` lo script che uso, modificato da questo script: e` scritto in bash e funziona su tutte le distribuzioni sulle quali e` installato wget, tail e sed.

#!/bin/bash

# Write here the extension of the file that you want to accept
#filetype =.flac
#append this to line 24
#-A .$filetype
#Write here the extension of the file that you want to reject, divided by a comma
fileremove = .null

if [ "$1" = "" ]; then
  echo USAGE: archivedownload.sh collectionname
  echo See Archive.org entry page for the collection name.
  echo Collection name must be entered exactly as shown: lower case, with hyphens.
  exit
fi
echo Downloading list of entries for collection name $1...
wget -nd -q "http://archive.org/advancedsearch.php?q=collection%3A$1&fl%5B%5D=identifier&sort%5B%5D=identifier+asc&sort%5B%5D=&sort%5B%5D=&rows=9999&page=1&callback=callback&save=yes&output=csv" -O identifiers.txt
echo Processing entry list for wget parsing...
tail -n +2 identifiers.txt | sed 's/"//g' > processedidentifiers.txt
if [ "`cat processedidentifiers.txt | wc -l`" = "0" ]; then
  echo No identifiers found for collection $1. Check name and try again.
  rm processedidentifiers.txt identifiers.txt
  exit
fi
echo Beginning wget download of `cat processedidentifiers.txt | wc -l` identifiers...
wget -r -H -nc -np -nH -nd -e -R $fileremove robots=off -i processedidentifiers.txt -B 'http://archive.org/download/'
rm identifiers.txt processedidentifiers.txt
echo Complete.

Francesco Mecca

L'FBI contro la crittografia

Un argomento sul quale si è discusso molto negli ultimi tempi è quello della crittografia dei dati, un ufficiale dell’FBI ha testimoniato che lo scopo delle forze dell’ordine è quello di collaborare con una società tecnologica per prevenire la crittografia. Anche se le compagnie non dovrebbero mettere l’accesso alla crittazione dei clienti prima di preoccupazioni per la sicurezza nazionale, perché la maggiore priorità del governo è quella di prevenire l’uso di tecnologie che proteggono ogni cosa che le persone fanno online. Il loro scopo non è quello di usare una “back door”, termine usato dagli esperti per descrivere punti di accesso integrati, ma quello di accedere ai contenuti dopo essere passati per un processo giudiziario.

presa da: tophdgallery

Dopo le rivelazioni da parte di Edward Snowden dello spionaggio dell’NSA, alcune compagnie tecnologiche, quali per esempio Apple, hanno iniziato a proteggere i propri utenti con la crittografia, usandone una chiamata “end-to-end”, dove solo colui che manda e che riceve il messaggio sono in grado di leggerlo. Così queste compagnie non possono provvedere l’accesso alle forze dell’ordine, pure se munite di un ordine del tribunale.

D’altra parte questa situazione permette la sicurezza anche di criminali, rendendo più difficile alle forze dell’ordine di rintracciarli.

Alcuni esperti di crittografia affermano che usare questo tipo di soluzioni potrebbe compromettere la sicurezza, perché non c’è garanzia che un cracker non possa utilizzare la stessa “back door”. Per risolvere questo problema Michael Rogers ha pensato di dividere le chiavi per decodificare il messaggio per rendere più difficile la crittografia agli crackers.

Recentemente sono stati approvati due emendamenti per gli stanziamenti a un disegno di legge. Il primo, da Zoe Lofgren e Ted Poe, bloccherebbe al governo di forzare una compagnia per modificare misure di sicurezza per spiare gli utenti. Il secondo, da Thomas Massie, stopperebbe i fondi previsti per le agenzie che stabiliscono gli standard crittografici dall’essere usati per consultarsi con l’NSA a meno che non rafforzi la sicurezza delle informazioni.

fonte: washingtonpost

Gabriele Corso

Nativi digitali: oltre il recinto della Generazione Google

Facebook per molti utenti è l'unico sito visitato, tanto da essere per molti sinonimo e sostituto integrale di Internet. Qui le regole d'uso vengono decise unilateralmente, senza dibattito [...] È un ambiente chiuso, controllato secondo criteri bizzarri e soprattutto insindacabili. Il parco pubblico è stato sostituito dal centro commerciale. E ad un miliardo e cento milioni di utenti questo va benissimo.

I dati indicano che stiamo rinunciando progressivamente agli elementi tecnici fondamentali che hanno permesso lo sviluppo della Rete, sostituendoli con un ecosistema hardware e software progressivamente sempre più chiuso. La mia preoccupazione è che tutto questo non crea nativi digitali. Crea polli di batteria

 
Cosi` si chiude l'articolo di Paolo Attivissimo sui (falsi) nativi digitali, su quelli che per molti genitori sono piccoli Mozart della tecnologia capaci di maneggiare con naturalezza dispositivi piatti e lucidi e di navigare senza impacci in un mare di icone quadrate.

Ma fra queste icone non si cela la conoscenza.

Gli smartphone e tutti i dispositivi che molti di noi definiscono perfino intimi nonostante rendono la connessione al web trasparente, impalpabile, sono scatole chiuse sia fisicamente che legalmente, e ci privano quindi della possibilita` (e del diritto) di smontare, aprire, guardare e diventare hacker (nel senso originario del termine).

I dispositivi mobili non stanno costruendo la strada verso la conoscenza e la liberta` democratica, stanno fissando attorno a noi un alto recinto protetto dal falso mito di un Web 2.0 democratico.

Chi trova un amico... trova un business

Nel 1970 gli sviluppatori del sistema Xerox Star introdussero nei loro sistema il Desktop.
 La “scrivania” non e` altro che una metafora che venne usata da Alan Kay e dal centro di ricerca Xerox per poter permettere agli utenti di orientarsi in un ambiente del tutto estraneo utilizzando metafore che si ricollegano ad oggetti del tutto conosciuti.
40 anni dopo il desktop e` praticamente scomparso, non serve perche` ormai i nuovi dispositivi portatili sono fool-proof (almeno per i “nativi digitali”) ed invece si e` affermata una nuova metafora vincente: l'amicizia.

L'amicizia e` la metafora che alimenta il business delle piattaforme nel mondo del web sociale, e le stesse piattaforme agiscono da filtro per la nostra esperienza nel web e nel mondo reale. Cosi` come i fotografi con la passione e l'esperienza sviluppano l'occhio da inquadratura, i “nativi digitali” acquisiscono l'occhio da social, quella skill che permette loro di riconoscere l'occasione giusta per misurarsi con una condivisione in piu`.

Ma la metafora dell'amicizia sta anche alimentando attorno a noi una “filter bubble” che attraverso algoritmi sceglie cosa nasconderci. La ricerca di Google, in generale tutto il web della “smart personalization”, come definito da Eli Pariser nel suo libro "What the Internet is hiding from you", non fa altro che restituirci una ricerca distorta e chiusa tra noi e i nostri amici, dei risultati che “sono percepiti” come migliori.

Inoltre cosa succede quando, cosi` come lo studente reputato dal professore poco intelligente finisce per agire come tale, il nostro motore di ricerca e il nostro social network decidono chi siamo?

Che la rete non ci catturi

dsully: please describe web 2.0 to me in 2 sentences or less.
jwb: you make all the content. they keep all the revenue - bash.org

Se il Web di Tim Berners Lee era il Web della possibilita`, il Web 2.0 e` il Web della consapevolezza.
Dobbiamo imparare a tracciare un confine fra noi e le piattaforme, dobbiamo capire quanto sono alti i muri che “gli ecosistemi digitali”, termine quanto mai improprio, costruiscono attorno a noi, dobbiamo sapere quali dati sono nostri, quali dati possiamo barattare.

Per evitare che il servizio ci trasformi in servitori.

Per evitare che la piattaforma si trasformi in una gabbia dorata.

E soprattutto perche` per pensare digitale e` comunque necessario prima pensare.

fonte

Nei prossimi anni si creera` un divario sempre piu` ampio fra chi ha scelto come modellare la propria identita` digitale e chi, invece, non ha lo sguardo piu` lungo del suo schermo e si lascia guidare da un meccanicismo acritico quanto mai radicato nella moderna societa` dei consumi.

La strada per la riduzione del divario digitale e la democratizzazione del web passa per le scuole e l'istruzione, forse uno dei pochi settori dove le istituzioni pubbliche hanno piu` potere della macchina del denaro della Silicon Valley.

Francesco Mecca

Aerei FBI: pericolo per la privacy o sicurezza per i cittadini?

Recentemente l'Associated Press ha dichiarato che sono stati avvistati numerosi aerei americani che volavano a bassa quota nei pressi di alcune città americane. Dopo averli tracciati si è scoperto che gli aerei erano in possesso dell'FBI, che ne aveva menzionato ben 115 nel documento di bilancio federale del 2009.

Per molti anni questi aerei avevano aiutato l'FBI con le operazioni di sorveglianza al suolo, ora invece sono stati equipaggiati con telecamere hi-tech e dispositivi in grado di tracciare migliaia di telefoni e risalire ai propri possessori anche se non si stanno effettuando chiamate, anche se a quanto detto dall'agenzia quest'ultima tecnologia è usata raramente.

Charles Grasseley, presidente della commissione Giustizia del Senato, ha detto: "E' importante che le forze dell'ordine abbiano gli strumenti essenziali per rintracciare e catturare i criminali, ma quando un'operazione monitora anche i cittadini americani che non sono sospettati, dobbiamo essere sicuri di salvaguardare la libertà degli americani innocenti".

Logo dell'FBI, fonte wikipedia

L'FBI ha dichiarato che l'attrezzatura degli aerei serviva per investigazioni in corso e non per la sorveglianza di massa, associando a questi aerei 13 compagnie fittizie come  FVX Research, KQM Aviation, NBR Aviation e PXW Services. Queste finte aziende vengono utilizzate per proteggere la sicurezza dei piloti, l'FBI ha detto e per proteggere anche l'identità del velivolo in modo che i sospetti sul terreno non sanno che sono seguiti.
Per vedere il documento pubblico clicca qui

Ma l'FBI non è stata la prima ad adottare questi metodi, infatti la DEA, Drug Enforcement Administration, ha anche registrato imprese fittizie, secondo un rapporto dell' ispettore generale 2011 del Dipartimento di Giustizia.

Aspetti fondamentali del programma del FBI sono trattenuti dal pubblico nelle versioni censurate di rapporti ufficiali da ispettore generale del Dipartimento di Giustizia, e l'FBI è stata anche attenta a non rivelare i suoi voli di sorveglianza in atti giudiziari. L'agenzia non dirà quanti aerei sono attualmente nella sua flotta.

Nel corso delle ultime settimane sono stati rintracciati aerei della flotta del FBI su più di 100 voli su almeno 11 stati più il Distretto di Columbia, incluse parti di di Boston, Chicago, Dallas, Houston, Minneapolis, Phoenix, Seattle e California del sud.

Alcuni voli orbitavano attorno grandi edifici chiusi per lunghi periodi in cui la fotografia aerea sarebbe meno efficace che i segnali di raccolta elettronica
David Gomez, un ex agente dell'FBI , ha detto che il velivolo di sorveglianza dell'FBI sono utilizzati per aiutare la sorveglianza a terra, permettendo agli agenti durante un inseguimento di rimanere indietro e non far saltare la copertura.

L'FBI ha chiesto di non divulgare i nomi delle compagnie finte, ma l'Associated Press ha rifiutato la richiesta perchè queste sono elencate in documenti pubblici e in database governativi.

Le forze dell'ordine hanno detto che gli avvocati del Dipartimento di Giustizia hanno approvato la decisione di creare società fittizie e che la Federal Aviation Administration era a conoscenza della pratica. L'FBI ha messo in pratica questi metodi sin dal tardo 1980, secondo un rapporto del 1990 della General Accounting.

Eugenio Corso

I nostri video di presentazionie

Questi sono i link ai nostri video di presentazione:

Eugenio Corso
Gabriele Corso
Francesco Mecca

Guida pratica a LUKS

"When privacy is outlawed, only outlaws will have privacy"

Phil Zimmerman                                     

Questa e` una guida pratica all'uso di LUKS su Linux.

LUKS e` un acronimo che sta per Linux Unified Key Setup ed e` il formato standard per il disk-encryption, creato nel 2004, si distingue da molti altri formati crittografici per la particolareggiata documentazione e soprattutto per esser stato sottoposto ad auditing, ovvero il processo di controllo del codice sorgente per verificarne l'integrita`, l'efficacia e la robustezza degli algoritmi e l'assenza di backdoor o bug software critici.

Il primo passo per utilizzare LUKS e` installarlo sulla propria distribuzione, o controllare se e` gia` presente.

Preparare la partizione

In questo esempio la partizione /dev/sda1 viene formattata e sovrascritta.

# cryptsetup -y -v luksFormat /dev/sda1

WARNING!
========
This will overwrite data on /dev/sda1 irrevocably. Are you sure? (Type uppercase yes): YES
Enter LUKS passphrase:
Verify passphrase:
Command successful.

In questo post useremo i parametri di default che sono:

# cryptsetup -v --cipher aes-xts-plain64 --key-size 256 --hash sha1 --iter-time 1000 --use-urandom --verify-passphrase luksFormat  /dev/sda1

ed equivalgono al precedente; 
se si vuole adottare un livello di sicurezza maggiore e personalizzata si puo` eseguire

#cryptsetup benchmark

 e scegliere il cypher e l'algoritmo che si preferisce. Si ricorda che il numero relativo alla dimensione della chiave e` la meta` di quello usato da LUKS, ovvero 512 bit in questo caso.
Il prossimo comando inizializza il volume dopo aver inserito la chiave per il volume. Il terzo argomento e` il nome che si vuole scegliere per la partizione.
La password scelta non puo` esser in nessun modo recuperata.

#cryptsetup luksOpen /dev/sda1 testvolume

Enter passphrase for /dev/sda1:

Ora /dev/sda1 correttemente inizializzato viene mappato su /dev/mapper/testvolume. Per verificare lo stato del volume:

# cryptsetup -v status testvolume

/dev/mapper/testvolume is active.
type: LUKS1
cipher: aes-cbc-essiv:sha256 
keysize: 512 bits 
device: /dev/sda1 
offset: 4096
sectors size: 419426304 
sectors mode: read/write
Command successful.

Formattare la partizione

Ora ci si deve assicurare che in caso di un'analisi esterna ogni dato venga visto come una serie random di zero ed uno senza valore e assicurarsi che non ci sia un leak di informazioni relative all'uso del disco:

# dd if=/dev/zero of=/dev/mapper/testvolume

Ora si deve creare un filesystem In questo caso ext4

# mkfs.ext4 /dev/mapper/testvolume

 

Montare e chiudere il disco 

Per montare da /dev/mapper il disco e poterlo utilizzare digitare:

# mount /dev/mapper/testvolume /mnt/testvolume

e per chiudere il volume in maniera sicura:

#umount /mnt/testvolume
# cryptsetup luksClose testvolume

 

Cambiare password

LUKS supporta anche piu` di una password per volume quindi si procede aggiungendo una nuova password:

# cryptsetup luksAddKey /dev/sda1
Enter any passphrase:
Enter new passphrase for key slot:
Verify passphrase:

e poi rimuovendo quella precedente:

# cryptsetup luksRemoveKey /dev/sda1

Oppure in alternativa si puo` utilizzare

#cryptsetup luksChangekey /dev/sda1

Se si volesse rendere completamente inaccessibile il volume basta rimuovere la chiave attraverso il comando:

#cryptsetup luksErase /dev/sda

questa opzione non richiede password ed e` irreversibile.  

Francesco Mecca

La taglia unica del Web 2.0

In questo discorso al summit Web 2.0 del 2011 Chris Poole, il fondatore di 4chan, riflette sul concetto di identita` e di come stia cambiando con l'introduzione del Web 2.0.

Nel mare di Internet assistiamo a due spiagge molto lontane che delimitano lo spazio della nostra attivita`: l'anonimato e l'identita` virtuale (che ci identifica nel mondo reale).

E` un po` come misurare i due poli opposti, Facebook e Google Plus che richiedono il tuo nome vero e quindi ogni attivita` online e` un riflesso del proprio io reale, e 4chan, una delle poche risorse anonime nel Web che permette a ciascun utente di fare post anonimi e discutere quindi senza una forma di censura.

 

The core problem is not the audience, is who you share out

Secondo Chris Poole, quando Google introdusse sul proprio social network la feature “circles”, ovvero la possibilita` di condividere i propri post solo con una parte dei propri followers (l'equivalente delle smart list di Facebook), si e` perso di vista il problema principale, ovvero che non importa l'audience bensi` quale versione di te condividi ).

fonte

Il Chris che parla al summit e` un Chris diverso dal Chris figlio, Chris fondatore di una startup, Chris admin di 4chan e magari, in un ipotetico futuro, Chris padre.
L' identita` e` un prisma.
Facebook e gli altri giganti del web vogliono invece essere uno specchio della nostra identita`.

One size fits all

Il modello della taglia unica e` completamente opposto al principio per cui molte persone gestiscono vari account online. Su ogni account scegli di mostrare una parte di te e con il tempo ti costruisci un'identita` unica ed altrettanto vera.
E` preoccupante che con il passare del tempo queste possibilita` vengano erose dai giganti del web.

Spostiamo la nostra attenzione sulle generazioni future: da giovani si compiono naturalmente degli errori che poi ci lasciamo alle spalle crescendo.

In un mondo dove la linea offline/online sta sbiadendo e non si puo` prendere le distanze da una monolitica identita` virtuale non solo perdiamo la possibilita` di lasciarci alle spalle delle scelte o degli sbagli, ma corriamo incontro al rischio di veder scomparire ogni sfumatura della nostra personalita`.

Francesco Mecca