Hadoop è ampiamente utilizzato per l'archiviazione di dati distribuiti su larga scala. Sebbene sia altamente tollerante ai guasti, scalabile e funzionante su hardware standard, non fornisce una soluzione di archiviazione dati efficiente e ottimizzata. Quando un utente carica file con lo stesso contenuto su Hadoop, tutti i file vengono archiviati su HDFS (Hadoop Distributed File System) anche se il contenuto è identico, il che porta alla duplicazione dei contenuti e quindi a uno spreco di spazio di archiviazione. La deduplicazione dei dati è un processo che consente di ridurre la capacità di archiviazione richiesta, poiché vengono memorizzate solo le istanze uniche dei dati. Il processo di deduplicazione dei dati è ampiamente utilizzato nei file server, nei sistemi di gestione dei database, nell'archiviazione di backup e in molte altre soluzioni di archiviazione. Una strategia di deduplicazione adeguata utilizza in modo ottimale lo spazio di archiviazione disponibile nei dispositivi di archiviazione limitati. Hadoop non fornisce una soluzione di deduplicazione dei dati. In questo lavoro, il modulo di deduplicazione è stato integrato nel framework Hadoop per ottenere un'archiviazione dei dati ottimizzata.