5 parasta työkalua päällekkäisten tiedostojen etsimiseen ja poistamiseen Linuxissa


Kotihakemiston tai jopa järjestelmän järjestäminen voi olla erityisen vaikeaa, jos sinulla on tapana ladata kaikenlaista sisältöä Internetistä lataushallintaohjelmien avulla.

Usein saatat huomata, että olet ladannut saman mp3-, pdf- ja epub-tiedoston (ja kaikenlaisia muita tiedostopäätteitä) ja kopioinut sen eri hakemistoihin. Tämä voi saada hakemistosi täynnä kaikenlaista hyödytöntä kopioitua tavaraa.

Tässä opetusohjelmassa opit etsimään ja poistamaan päällekkäisiä tiedostoja Linuxissa rdfind-, fdupes-,- ja rmlint-komentorivityökalujen avulla. , sekä käyttämällä GUI-työkaluja nimeltä DupeGuru ja FSlint.

Varoitus – ole aina varovainen, mitä poistat järjestelmästäsi, koska se voi johtaa ei-toivottuihin tietojen katoamiseen. Jos käytät uutta työkalua, kokeile sitä ensin testihakemistossa, jossa tiedostojen poistaminen ei ole ongelma.

1. Rdfind – Etsi päällekkäisiä tiedostoja Linuxissa

Rdfind tulee redundantista tiedonhausta, joka on ilmainen komentorivityökalu, jota käytetään tiedostojen kaksoiskappaleiden etsimiseen useista hakemistoista tai useista hakemistoista. Se skannaa rekursiivisesti hakemistoja ja tunnistaa tiedostot, joilla on identtinen sisältö, jolloin voit suorittaa asianmukaisia toimia, kuten poistaa tai siirtää kopioita.

Rdfind luokittelee tiedostot algoritmin avulla ja havaitsee, mikä kaksoiskappaleista on alkuperäinen tiedosto, ja pitää loput kaksoiskappaleina.

Rankingin säännöt ovat:

  • Jos A löydettiin skannattaessa syöttöargumenttia aikaisemmin kuin B, A on korkeampi sijoitus.
  • Jos A löydettiin alempana kuin B, A on korkeammalla.
  • Jos A löydettiin aikaisemmin kuin B, A on korkeampi sijoitus.

Viimeistä sääntöä käytetään erityisesti silloin, kun samasta hakemistosta löytyy kaksi tiedostoa.

Asenna Rdfind Linuxiin

Asenna rdfind Linuxiin käyttämällä seuraavaa komentoa Linux-jakelusi mukaisesti.

sudo apt install rdfind         [On Debian, Ubuntu and Mint]
sudo yum install rdfind         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/rdfind  [On Gentoo Linux]
sudo apk add rdfind             [On Alpine Linux]
sudo pacman -S rdfind           [On Arch Linux]
sudo zypper install rdfind      [On OpenSUSE]    

Suorita rdfind hakemistossa kirjoittamalla rdfind ja kohdehakemisto.

rdfind /home/user

Kuten näet, rdfind tallentaa tulokset tiedostoon nimeltä results.txt, joka sijaitsee samassa hakemistossa, josta suoritit ohjelman. Tiedosto sisältää kaikki kaksoiskappaleet, jotka rdfind on löytänyt. Voit tarkistaa tiedoston ja poistaa tiedostojen kaksoiskappaleet manuaalisesti, jos haluat.

Toinen asia, jonka voit tehdä, on käyttää -dryrun -vaihtoehtoa, joka tarjoaa luettelon kaksoiskappaleista ilman mitään toimenpiteitä:

rdfind -dryrun true /home/user

Kun löydät kaksoiskappaleet, voit korvata ne kovilla linkeillä.

rdfind -makehardlinks true /home/user

Ja jos haluat poistaa kaksoiskappaleet, voit suorittaa sen.

rdfind -deleteduplicates true /home/user

Voit tarkistaa rdfind -sovelluksen muut hyödylliset vaihtoehdot rdfind -oppaan avulla.

man rdfind 

2. Fdupes – Etsi päällekkäisiä tiedostoja Linuxissa

Fdupes on toinen komentoriviohjelma, jonka avulla voit tunnistaa kaksoiskappaleet järjestelmässäsi. Se etsii hakemistoja rekursiivisesti vertaamalla tiedostokokoja ja sisältöä kaksoiskappaleiden tunnistamiseksi.

Se käyttää seuraavia menetelmiä tiedostojen kaksoiskappaleiden määrittämiseen:

  • Osittaisten md5sum-allekirjoitusten vertailu
  • Täysi md5sum allekirjoitusten vertailu
  • tavu-tavulta vertailun vahvistus

Aivan kuten rdfind, siinä on samanlaiset vaihtoehdot:

  • Hae rekursiivisesti
  • Sulje pois tyhjät tiedostot
  • Näyttää päällekkäisten tiedostojen koon
  • Poista kaksoiskappaleet välittömästi
  • Sulje pois tiedostot, joilla on eri omistaja

Asenna Fdupes Linuxiin

Asenna fdupes Linuxiin käyttämällä seuraavaa komentoa Linux-jakelusi mukaisesti.

sudo apt install fdupes         [On Debian, Ubuntu and Mint]
sudo yum install fdupes         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/fdupes  [On Gentoo Linux]
sudo apk add fdupes             [On Alpine Linux]
sudo pacman -S fdupes           [On Arch Linux]
sudo zypper install fdupes      [On OpenSUSE]    

Fdupes-syntaksi on samanlainen kuin rdfind. Kirjoita vain komento ja sen jälkeen hakemisto, jonka haluat tarkistaa.

fdupes <dir>

Jos haluat etsiä tiedostoja rekursiivisesti, sinun on määritettävä -r, kuten tämä vaihtoehto.

fdupes -r <dir>

Voit myös määrittää useita hakemistoja ja hakemiston, jota haetaan rekursiivisesti.

fdupes <dir1> -r <dir2>

Jos haluat, että fdupes laskee päällekkäisten tiedostojen koon, käytä -S-vaihtoehtoa.

fdupes -S <dir>

Voit kerätä yhteenvetotietoja löydetyistä tiedostoista käyttämällä -m-vaihtoehtoa.

fdupes -m <dir>

Lopuksi, jos haluat poistaa kaikki kaksoiskappaleet, käytä tätä vaihtoehtoa -d.

fdupes -d <dir>

Fdupes kysyy, mitkä löydetyt tiedostot poistetaan. Sinun on syötettävä tiedostonumero:

Ratkaisu, jota ei ehdottomasti suositella, on käyttää -N-vaihtoehtoa, joka johtaa vain ensimmäisen tiedoston säilyttämiseen.

fdupes -dN <dir>

Saat luettelon fdupesin käytettävissä olevista vaihtoehdoista käymällä ohjesivulla suorittamalla.

fdupes -help

3. Rmlint – Poista päällekkäiset tiedostot

Rmlint on komentorivityökalu, jota käytetään päällekkäisten ja nukkamaisten tiedostojen etsimiseen ja poistamiseen Linux-järjestelmissä. Se auttaa tunnistamaan tiedostot, joilla on identtinen sisältö, sekä erilaiset redundanssin tai nukkaamisen muodot, kuten tyhjät tiedostot, rikkinäiset symboliset linkit ja orvot tiedostot.

Asenna Rmlint Linuxiin

Asenna Rmlint Linuxiin käyttämällä seuraavaa komentoa Linux-jakelusi mukaisesti.

sudo apt install rmlint         [On Debian, Ubuntu and Mint]
sudo yum install rmlint         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/rmlint  [On Gentoo Linux]
sudo apk add rmlint             [On Alpine Linux]
sudo pacman -S rmlint           [On Arch Linux]
sudo zypper install rmlint      [On OpenSUSE]    

4. dupeGuru – Etsi päällekkäisiä tiedostoja Linuxista

dupeGuru on avoimen lähdekoodin ja monialustainen työkalu, jota voidaan käyttää tiedostojen kaksoiskappaleiden etsimiseen Linux-järjestelmästä. Työkalu voi joko skannata tiedostonimiä tai sisältöä yhdessä tai useammassa kansiossa. Sen avulla voit myös löytää tiedostonimen, joka on samanlainen kuin etsimäsi tiedostot.

dupeGuru on saatavana eri versioina Windows-, Mac- ja Linux-alustoille. Sen nopea sumea täsmäysalgoritmiominaisuus auttaa sinua löytämään päällekkäiset tiedostot minuutissa. Se on muokattavissa, voit vetää täsmälleen haluamasi kaksoiskappaleet ja poistaa ei-toivotut tiedostot järjestelmästä.

Asenna dupeGuru Linuxiin

Asenna dupeGuru Linuxiin käyttämällä seuraavaa komentoa Linux-jakelusi mukaisesti.

sudo apt install dupeguru         [On Debian, Ubuntu and Mint]
sudo yum install dupeguru         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/dupeguru  [On Gentoo Linux]
sudo apk add dupeguru             [On Alpine Linux]
sudo pacman -S dupeguru           [On Arch Linux]
sudo zypper install dupeguru      [On OpenSUSE]    

5. FSlint – Duplicate File Finder Linuxille

FSlint on ilmainen apuohjelma, jota käytetään erilaisten nukkamuotojen etsimiseen ja puhdistamiseen tiedostojärjestelmästä. Se raportoi myös kaksoiskappaleet, tyhjät hakemistot, väliaikaiset tiedostot, päällekkäiset/ristiriitaiset (binaariset) nimet, huonot symboliset linkit ja paljon muuta. Siinä on sekä komentorivi- että GUI-tilat.

On kuitenkin tärkeää huomata, että syyskuussa 2022 tietämykseni mukaan FSlint päivitettiin viimeksi vuonna 2013, eikä sitä välttämättä ylläpidetä aktiivisesti tai se ei ole yhteensopiva uudempien Linux-jakelujen kanssa.

Asenna FSlint Linuxiin

Asenna FSlint Linuxiin käyttämällä seuraavaa komentoa Linux-jakelusi mukaisesti.

sudo apt install fslint         [On Debian, Ubuntu and Mint]
sudo yum install fslint         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/fslint  [On Gentoo Linux]
sudo apk add fslint             [On Alpine Linux]
sudo pacman -S fslint           [On Arch Linux]
sudo zypper install fslint      [On OpenSUSE]    

Johtopäätös

Nämä ovat erittäin hyödyllisiä työkaluja löytääksesi päällekkäisiä tiedostoja Linux-järjestelmästäsi, mutta sinun tulee olla erittäin varovainen poistaessasi tällaisia tiedostoja.

Jos olet epävarma, tarvitsetko tiedoston vai et, on parempi luoda tiedostosta varmuuskopio ja muistaa sen hakemisto ennen sen poistamista. Jos sinulla on kysyttävää tai kommentteja, lähetä ne alla olevaan kommenttiosaan.