[SOLVED] Odzyskiwanie utraconych danych

[czapnaper]

Co do użycia programów windowsowych możesz użyć hiren’sbootcd albo WinPE 10-8 Sergei Strelec lub innego przygotowanego zestawu programów.

Manjaro KDE/Xfce - CPU - i5-7300HQ - GPU - Intel/NVIDIA GP107M [GeForce GTX 1050 Mobile]

[michaldybczak]

Ja w przeszłości korzystałem z tesdisk’a bo zmieniłem niechcący tabelę partycji na dysku windowsowym (nie należącym do mnie…). Odzyskał dane poprawnie, więc był dostęp do plików, ale windows niestety nie chciał się uruchomić.

https://wiki.archlinux.org/index.php/File_recovery

[majo]

Dotychczasowy raport z frontu:

Sprawdziłem system plików na tej partycji i nie ma żadnych błędów: „system plików jest nienaruszony”.

Pakiet extundelete pokazuje tylko kilkanaście usuniętych plików (chyba większość z nich jest ciągle dostępna w Koszu).
Pakiet do kosza.

Pakiet testdisk poprawnie pokazał w tej partycji nazwy 18 katalogów, które tajemniczo zniknęły.
Nie udało mi się zrobić analizy tylko dla wybranej partycji. Przez kilka godzin analizował cały dysk HDD (co powiększyło chaos).
Pokazał wiele szczegółowych informacji (których nie jestem w stanie jednoznacznie zinterpretować), jednak nie udało mi się, ani zobaczyć nazw plików znajdujących w tych zaginionych 18 katalogach, ani ich wyodrębnić.

Jutro (a w zasadzie dziś) jeszcze spróbuję z 2 programami. Może coś się uda więcej osiągnąć.

Edit.:
Zmieniam zdanie odnośnie pakietu extundelete. Wcześniej, w morzu plików „odzyskanych” z Kosza, co obserwowałem w konsoli, nie zauważyłem, że kilkaset plików, ok 5 GB zostało odzyskanych i zapisanych w ~/RECOVERED_FILES.

Manjaro [stable] LTS, Xfce - tego używam

[pavbaranov]

majo napisał(a):

23:26. Jest tu podejrzany wpis:
kwi 04 23:26:47 pcn systemd-coredump[17610]: Process 17430 (multibootusb)

Podejrzanych, nawet bardziej, wpisów jest tu sporo. Żaden jednak nie przybliżył mnie do tego abym zobaczył dlaczego pliki na jakiejś partycji zostały wykasowane.
Swoją drogą – zrobiłeś temu dyskowi jakiś S.M.A.R.T. test? Tego typu „przypadkowe” wcięcie znacznej ilości plików często jest związane ze stanem HDD (i to nawet nowego).

majo napisał(a):

3a. Jeśli któryś z programów będzie posiadał opcję „odzyskaj wszystko” chętnie skorzystam.

Taką opcję posiada np. extundelete:
$ extundelete /dev/sda4 --restore-all
I wiem, że tego programu już nie chcesz. Inna sprawa, że być może jego niewielka obecnie skuteczność związana jest z jakimiś wadliwie przyjętymi przez Ciebie ustawieniami programu. Wg tego, co zostało napisane na stronie programu winien on być dostarczany z jakimś plikiem README, którego w paczce programu nie widzę. Przedstawiam zatem to brakujące ogniwo ;)

A typical usage scenario is presented below.  Note that some
of the commands below require special permissions to
complete.  Adding 'sudo ' before the command is one way to
ensure you have the necessary permissions.  Assume you
have deleted a file called /home/user/an/important/file.
Also assume the output of the 'mount' command shows this
line (among others):
/dev/sda3 on /home type ext3 (rw)
This line shows that the /home directory is on the partition
named /dev/sda3, so then run:
umount /dev/sda3
and check that it is now unmounted by running the mount
command again and seeing it is not listed.
Now, with this information, run extundelete:
extundelete /dev/sda3 --restore-file user/an/important/file
If you have deleted the directory 'important', you can run:
extundelete /dev/sda3 --restore-directory user/an/important
Or if you have deleted everything, you can run:
extundelete /dev/sda3 --restore-all

Wychodzi zatem na to, że proponowana komenda winna odzyskać zarówno katalogi, jak i ich zawartość.

[azja]

… @majo -> należy być ostrożnym w wydawaniu zdecydowanych opinii na podstawie niewielkiej historii (szczególnie, gdy ogranicza się ona do jednego przypadku). Nie raz już przekonałem się, że konkretne narzędzie sprawdzało się lepiej lub gorzej, w zależności od konkretnej sytuacji. Może, to zależeć od wielu czynników – np. konfiguracji (jak zauważył @pavbaranov) czy rodzaju uszkodzenia jakie chcemy naprawić. Dlatego warto poznać i spróbować różnych młotków, bo nigdy nie wiadomo jaki gwóźdź przyjdzie nam wbijać. Próbować uważnie, rzecz jasna, aby nie roztrzaskać sobie palców :-)

Nie zadawaj pytania, jeżeli nie jesteś gotów usłyszeć odpowiedzi

[majo]

Parametry SMART dysku były i są OK. Zrobiłem właśnie kolejne 2 testy SMART, z poziomu gsmartcontrol oraz gnome-disk-utility. W obu przypadkach wszystkie parametry i cały dysk jest „OK” (bez żadnego ostrzeżenia ani błędu).

Jeśli chodzi o extundelete, to dokładnie z tej opcji skorzystałem:
extundelete /dev/sda6 --restore-all (gdzie /dev/sda6 to analizowana partycja)
Z rezultatem, jak wcześniej pisałem, miernym.

Czas na r-studio i jego klony oraz ext4magic.
Już nie liczę, że odzyskam całość (choć bym się miło zaskoczył), ale że uda mi się odzyskać co najmniej pliki z 2 katalogów. Pozostałem 16 katalogów, przy pewnym nakładzie pracy, jakoś posklejam i odtworzę z byłych archiwów linuksowych i windowsowych (ze starych komputerów).

Cd.

Zmieniam zdanie odnośnie pakietu extundelete. Wcześniej, w morzu plików „odzyskanych” z Kosza, co obserwowałem w konsoli, nie zauważyłem, że kilkaset plików, ok 5 GB zostało odzyskanych i zapisanych w ~/RECOVERED_FILES.
Niestety nie są to te pliki, na których najbardziej mi zależało.

Pakiet ext4magic działa podobnie jak extundelete, tj. znajduje te same pliki (choć umieszcza je w katalogach z prawami roota, co trochę utrudnia do nich dostęp).

Jeśli chodzi o dostępne pakiety z serii R-…, to najlepszą opcją jest r-linux, który jest pełną i aktualną wersją.
r-studio-for-linux to starsza wersja Demo, z ograniczeniami 256 KB wielkości odzyskiwanych plików.
Podobnie pakiet r-studio, którego obecnie nawet nie można zbudować (wyskakuje błąd).
Pakietem r-linux, też odzyskałem ok 5 GB. Pliki te nie pokrywają się w pełni z tymi odzyskanymi za pomocą extundelete czy ext4magic. W sumie można powiedzieć, że odzyskałem ok 6 GB mniej istotnych plików.

Na tym zakończę.
Chyba że podrzucicie mi pomysł, jak zmusić testdisk(, który jako jedyny widzi wszystkie usunięte katalogi główne w partycji, natomiast nie widzi już zawartości tych usuniętych katalogów), żeby zrobił analizę tylko wybranego katalogu.
Chciałbym co najmniej zobaczyć, nazwy usuniętych plików w newralgicznych katalogach.

Manjaro [stable] LTS, Xfce - tego używam

[pavbaranov]

majo napisał(a):

Podobnie pakiet r-studio, którego obecnie nawet nie można zbudować (wyskakuje błąd).

Oczywiście, że nie można zbudować, albowiem nie jest on tworzony ze źródeł. Natomiast przebudowanie do pkg.tar z dostępnego, zbudowanego przez autorów oprogramowania, pliku *.deb odbywa się prawidłowo. Jedynie suma kontrolna nie zgadza się dla paczki 64bitowej. Można obejść, albo wydać przed zbudowaniem polecenie updpkgsums Jest to – jak wszystkie wersje oprócz r-linux wersja demo, która staje się pełnoprawnym oprogramowaniem po zakupie licencji.

Jeśli chodzi o testdisk/photorec, to one – jeśli się nie mylę i dobrze pamiętam – nie posługują się w ogóle katalogami a działają „na całości” wybranej przestrzeni.

[majo]

Dobrze by było wyjaśnić przyczynę tej awarii, gdyż nachodzą mnie wątpliwości, czy ext4 jest właściwym i bezpiecznym formatem do przechowywania danych. Wcześniej, przez wiele lat, korzystałem z NTFS pod Windowsem i nigdy nie przydarzyła mi się tak poważna i rozległa awaria. Natomiast, gdy już coś zostało usunięte, to nawet, gdy przestrzeń dyskowa została nadpisana, można było co najmniej odczytać nazwy usuniętych plików.

Edit.:

Zastanawiając się co było przyczyną, przychodzą mi do głowy następujące opcje:
1. wadliwy pakiet multibootusb,
2. błędy Manjaro/Linuksa podczas aktualizacji pakietów z AUR,
3. błędy (jądra Linuksa?) w zarządzaniu ext4,
4. złożenie powyższych czynników.

Manjaro [stable] LTS, Xfce - tego używam

[azja]

… zajrzałem do tego wątku, bo chciałem coś napisać … ale zapomniałem, co chciałem. W trakcie prób przypomnienia sobie, o co mi chodziło, naszło mnie olśnienie (nie ma tego złego, coby na dobre nie wyszło) – dlaczego mówimy o testdisk’u, jako o narzędziu do odzyskiwania plików? Mylę się, będąc wręcz pewnym, że służy ono do ratowania partycji, a od plików jest photorec? Hmmm?

Nie zadawaj pytania, jeżeli nie jesteś gotów usłyszeć odpowiedzi

[majo]

Testdisk umożliwia odzyskanie danych, ale nie z ext4 (odzyskuje dane z FAT, exFAT, NTFS i ext2) , stąd nic mi się nie udało.
Z tego co widzę, photorec nie jest wyodrębnionym pakietem (jest zintegrowany z Testdisk).

Manjaro [stable] LTS, Xfce - tego używam

[azja]

… jeden pakiet z trzema komendami:

testdisk

$ testdisk --help
TestDisk 7.0, Data Recovery Utility, April 2015
Christophe GRENIER <grenier@cgsecurity.org>
http://www.cgsecurity.org
Usage: testdisk [/log] [/debug] [file.dd|file.e01|device]
       testdisk /list  [/log]   [file.dd|file.e01|device]
       testdisk /version
/log          : create a testdisk.log file
/debug        : add debug information
/list         : display current partitions
TestDisk checks and recovers lost partitions
It works with :
- BeFS (BeOS)                           - BSD disklabel (Free/Open/Net BSD)
- CramFS, Compressed File System        - DOS/Windows FAT12, FAT16 and FAT32
- XBox FATX                             - Windows exFAT
- HFS, HFS+, Hierarchical File System   - JFS, IBM's Journaled File System
- Linux btrfs                           - Linux ext2, ext3 and ext4
- Linux GFS2                            - Linux LUKS
- Linux Raid                            - Linux Swap
- LVM, LVM2, Logical Volume Manager     - Netware NSS
- Windows NTFS                          - ReiserFS 3.5, 3.6 and 4
- Sun Solaris i386 disklabel            - UFS and UFS2 (Sun/BSD/...)
- XFS, SGI's Journaled File System      - Wii WBFS
- Sun ZFS

fidentify

$ fidentify --help
Usage: fidentify [--check] [directory]
       fidentify --version
fidentify determine the file type, the 'extension', by using the same database than PhotoRec.

photorec

$ photorec --help
PhotoRec 7.0, Data Recovery Utility, April 2015
Christophe GRENIER <grenier@cgsecurity.org>
http://www.cgsecurity.org
Usage: photorec [/log] [/debug] [/d recup_dir] [file.dd|file.e01|device]
       photorec /version
/log          : create a photorec.log file
/debug        : add debug information
PhotoRec searches various file formats (JPEG, Office...), it stores them
in recup_dir directory.

Nie zadawaj pytania, jeżeli nie jesteś gotów usłyszeć odpowiedzi

[majo]

Aaa…
Nie doczytałem o tych pozostałych komendach.
photorec – po dotychczasowej próbie wygląda b. dobrze.
Jak na razie odzyskał 60 GB. Niestety udało mi się na szybko wygospodarować tylko tyle wolnej przestrzeni, i po przeanalizowaniu ok 30% analizowanej partycji, photorec się zatrzymał (mam nadzieję, że chwilowo):

Warning: not enough free space available. Please select a destination to save
the recovered files.

Spróbuję podłączyć dysk USB i go wskazać. Zobaczymy jak będzie przebiegać przerzucanie dotychczasowych odzyskanych danych.
Dotychczas była „phase 1”. Wiele plików jest bez nazw. Mam nadzieję, że jak dojdzie do „phase 2”, to nazwy się pojawią. (A może także struktura skasowanych katalogów.)

Edit.:
Szybko podłączyłem dysk USB, przygotowałem na nim za pomocą gparted 68 GB partycję w ext4 na transfer danych, jednak teraz widzę, że w międzyczasie photorec się wywalił :( Czyżby znudziło mu się czekanie?

Trudno. Zrobię porządki na dysku, wygospodaruję odrobinę więcej wolnego miejsca i powtórzę procedurę.

Manjaro [stable] LTS, Xfce - tego używam

[majo]

Po ponownym uruchomieniu photorec, przywitało mnie przyjazne zapytanie „czy kontynuować?”. Dalej photorec mielił partycję, aż zapełnił kolejne 68 GB. Znowu poprosił o wskazanie kolejnego wolnego miejsca, co uczyniłem.
Ostatecznie photorec odzyskał, w ramach pass 1, ponad 140 GB danych (i tyle pozytywnych wieści).

Niestety, tuż po analizie ostatniego sektora, pakiet się wywalił, z uciętym komunikatem „error, inter”, a po kolejnej próbie włączenia, nie było już wznowienia, tylko chciał robić wszystko od początku (co trwałoby kolejne 5 godzin).

Odzyskane pliki są w większości bez nazw i katalogów, w ponad 304 000 plików! Tego, w rozsądnym czasie, nie da się ręcznie przeglądnąć, poprawić i posegregować :)

Spróbuję jeszcze sprawdzić, jak działa ten pakiet, na jakieś małej roboczej partycji i zobaczę, czy są kolejne fazy i czy odzyskuje wszystkie(lub większość) nazw i katalogów i ew. powtórzę.

Edit:
I po teście. Niestety, kolejnych faz nie ma. Katalogi nie są odzyskiwane. Tylko niektóre nazwy są odzyskiwane.

Edit2:
Udało mi się dostać do tego katalogu z poziomu XP. Niestety, testowane programy windowsowe (nieliczne obsługujące ext4) nie były w stanie, ani pokazać mi nazw usuniętych plików, szczególnie z jednego katalogu, ani ich odzyskać.

Podsumowując, nie udało mi się odzyskać najbardziej istotnych danych w ext4.
Najwięcej jakościowo (nazwy plików i katalogów) udało mi się odzyskać za pomocą extundelete, ext4magic i r-linux.
Najwięcej ilościowo (bez nazw plików) udało mi się odzyskać za pomocą photorec, jednak ogarnięcie i uporządkowanie 300 tys. plików zajęłoby wiele miesięcy, więc w sumie, w tym przypadku, pakiet jest dla mnie bezużyteczny.

Dzięki wszystkim za pomocne uwagi.

Kończę zabawę.
Pro forma oznaczę wątek jako [SOLVED], choć z miernym efektem.

Manjaro [stable] LTS, Xfce - tego używam

[azja]

… coś tam można:
# typ pliku pokaże nam file;
# filmy i ISO znajdziemy po rozmiarze;
# jeżeli jest dużo plików multimedialnych, to możemy wykorzystać irfanview, którego możemy tak skonfigurować (domyślnie jest, to wyłączone, chyba), że będzie proponował zmianę rozszerzenia na prawidłowe;
# jeżeli odzyskiwane, są również daty plików, to i one mogą nam pomóc;
# zapewne można by wymyślić wiele innych patentów i poszukać wiele innych narzędzi – kwestia motywacji i indywidualnej oceny sytuacji: warto/nie warto;
# brak nazw plików w przypadku photorec jest wynikiem specyfiki działania programu (jak podejrzewam), który w jakiś sposób 'omija’ (cokolwiek się za tym kryje) system plików i … odzyskuje pliki z surowego nośnika? Coś tak, ale szczegółów nie znam. Ma, to swoje lepsze strony i mniej lepsze :-) jak wszystko.

Nie zadawaj pytania, jeżeli nie jesteś gotów usłyszeć odpowiedzi

[majo]

Wiele można. Jednak ręczne przeglądnięcie 300 tys. plików, umieszczonych w ok 500 katalogach roboczych, w kolejności przetwarzania sektorów przez photorec, w większości bez daty pliku i ew. dalsze obrobienie (kwalifikacja, zmiana nazwy, umieszczenie we właściwym katalogu), to robota na długie miesiące, jeśli nie lata.

Najbardziej zależało mi na plikach z jednego usuniętego katalogu, którego w dużej części nie miałem nigdzie zarchiwizowanego. Nie udało mi się, ani zobaczyć ich nazw, ani ich odzyskać.
Wiem, że duża ich cześć była w .pdf, więc wyselekcjonowałem odzyskane 1070 plików tego typu. Jednak, jak na razie, ręcznie przeglądając te pliki, nie znalazłem tych poszukiwanych znalazłem dopiero kilka (może znajdę więcej – to byłoby plus dla photorec).

Manjaro [stable] LTS, Xfce - tego używam

[Autor]

Posty