30.11.2022, 21:22 UTC+1

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Lieber Besucher, herzlich willkommen bei: Knoppix Forum | www.KnoppixForum.de. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

1

21.07.2022, 23:14

Knoppix mit Overlay-Partition auf USB-Stick - zu welchen Zeitpunkten werden Änderungen im Overlay gespeichert/wird tatsächlich auf den USB-Stick geschrieben?

Hallo!

Ausgangslage:

Knoppix 8.6.1 / 9.1 mit Overlay-Partition. Auf USB-Stick installiert.

Zielsetzung:

Ich möchte mittels dd ein Image des ganzen USB-Stick erstellen.
Normalerweise boote ich dazu Knoppix von DVD und benutze das von DVD gebootete Knoppix, um ein dd-Image des USB-Stick auf einer externen Festplatte zu erstellen.

Fragen in diesem Zusammenhang:

Mich interessiert, ob es auch problemlos möglich ist, Knoppix von demjenigen USB-Stick/Medium zu booten, dessen dd-Image erstellt werden soll?

Wenn ich es richtig sehe, läuft Knoppix erstmal prinzipiell im Arbeitsspeicher.

Wenn es, während Knoppix gebootet/geladen ist und aus dem Arbeitsspeicher heraus läuft, nicht dazu kommt, dass Daten ins Overlay auf dem USB-Stick geschrieben werden, etwa, weil erst beim Herunterfahren tatsächlich auf den USB-Stick geschrieben wird, sodass also der Inhalt des zu sichernden Mediums, von dem gebootet wurde, sich nicht ändert während dd läuft, dann müsste es möglich sein, Knoppix von einem USB-Stick zu booten und dann ein dd-Image desjenigen Zustands zu machen, den der besagte USB-Stick beim Booten/Laden von Knoppix hatte.

Deshalb: Zu welchen Zeitpunkten werden Änderungen im Overlay gespeichert/wird tatsächlich auf den USB-Stick geschrieben?


Mit freundlichem Gruß


IchHabNeFrage14

2

23.07.2022, 19:25

Zu welchen Zeitpunkten werden Änderungen im Overlay gespeichert/wird tatsächlich auf den USB-Stick geschrieben?


das kann dir vermutlich niemand wirklich so ganz genau sagen.
Wenn du dich im laufenden System als User knoppix angemeldet hast (also default), so liegt dein Heimatverzeichnis ja in der Overlay und alle Programme, die geöffnet werden, legen dann schon Daten auf die Overlay, verändern diese also und zwar ganz egal, ob das schon wirklich auf dem Stick gelandet ist, oder nicht. Deshalb ist es immer eine schlechte Idee, mittels dd ein System im laufenden Betrieb zu klonen.

Nebenbai startet Knoppix nicht per default im RAM. Es lädt nur das, was jeweils benötigt wird, hierhin. Der größte Teil von Knoppix liegt weiter auf dem Stick.

Also, ganz generell gesagt und nicht nur für Knoppix: mit dd oder rsync oder so, arbeitet man nicht aus dem laufenden System, um dieses zu kopieren. Es ist einfach viel sicherer und zuverlässiger, es von einem anderen System aus zu machen und dieses mit dem Knoppix-Stick zu füttern.

Das ist aber im Falle von Knoppix auch gar nicht wirklich notwendig, denn von manuellen Methoden abgesehen, kann man Knoppix ja aus einem laufenden System auf ein Medium neu installieren. Das ist sogar viel besser und gelingt mit dem Flash-Install-Script.
Ob man dann die Overlay übernehmen möchte?
Man hat da grundsätzlich die beiden Möglichkeiten, eine leere Overlay auf dem neuen System zu erzeugen und später die Daten etwa mittels rsync von der alten Overlay zu übertragen, oder man wählt mittels remaster die Option, die alte Overlay fest zu schreiben und relativ zu ihr eine neue und noch leere zu erstellen. Denk mal drüber nach, ich finde das eleganter, um ein neues System zu etablieren.

3

06.08.2022, 20:02

Es geht darum, ein Image des USB-Stick auf Backup-Festplatte zu haben, damit aus dem Image ein neuer USB-Stick erzeugt werden kann wenn der alte kaputtgegangen ist.

Wenn der alte kaputt ist, kann ich da kein Flash-Knoppix ausführen (und remastern oder auch nicht remastern).

> Also, ganz generell gesagt und nicht nur für Knoppix: mit dd oder rsync oder so, arbeitet man nicht aus dem laufenden System, um dieses zu kopieren. Es ist einfach viel sicherer und zuverlässiger, es von einem anderen System aus zu machen und dieses mit dem Knoppix-Stick zu füttern.

Im Grunde weiss ich das. Im Prinzip wollte ich wissen, ob ausnahmsweise mal Umstände vorliegen, unter denen es doch geht.

Da ich auf dem Rechner nur ein Betriebssystem gleichzeitig von einem echten USB-Stick booten kann, wäre es nett gewesen, den Stick booten zu können, dessen Image geschrieben werden soll und ein bisschen in der gewohnten Computer-Umgebung surfen und herumspielen zu können während man auf die Fertigstellung des Image wartet.
Dass das Image die während der Image-Erzeugungs-Sitzung zustandekommenden Änderungen nicht enthält, wäre nicht so dramatisch gewesen.

Ich habe es inzwischen aber ausprobiert, und es funktioniert nicht wirklich, sodass sich jede weitere Erörterung meinerseits erübrigt:

dd läuft durch ohne Fehlermeldungen.
Der Vergleich mittels cmp während der selben Session, in der man dd laufen hatte, also ohne Reboot zwischendurch, ergibt aber Unterschiede, was nicht der Fall sein dürfte wenn erst beim Herunterfahren tatsächlich ins Overlay/auf den Stick geschrieben würde.

Was mich dabei wundert, ist, dass dd keine Fehlermeldungen ausspuckt. Schreiben auf dasjenige Medium, das gerade fürs dd-Image gelesen wird, sollte doch zu einer Fehlermeldung führen?

Habe grade nachgegoogelt - dd scheint es geneell nicht zu jucken, ob nebenher in die Quelle fürs Image hineingeschrieben wird.

Also muss ich mal schauen, ob ich ein Skript hinbekomme, welches überprüft, ob die Quelle für Images Dateisysteme enthält, die gemountet sind und selbige ggf unmountet/aushängt und, wenn das nicht klappt, Fehlermeldungen ausgibt.

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »IchHabNeFrage14« (06.08.2022, 20:28)


4

06.08.2022, 20:44

oih. nein und ja und nein.

Zunächst glaube ich, diese Fragen schon wirklich oft so gut beantwortet zu haben, wie ich das eben nur kann und habe keine große Lust, das nochmal zu tun.
Sodann besteht die große Chance, dass ich deine Frage vollkommen falsch verstehe und deshalb auch vollkommen falsche Antworten gebe.
Deshalb halte ich mich erst mal kurz und fordere dich auf, selbst weiter zu fragen.

Ganz grob.
Knoppix funktioniert als Live-System und ist in mehreren Teilen gespeichert, die dann beim Booten live zusammengeführt werden.
Es berücksichtigt dabei sowohl veraltete 32Bit-Systeme, als auch moderne Rechner.
Damit dies gut geht, legt das eigene Flash-Install_script Knoppix auf ein beliebiges Medium und formatiert dies in einem FAT (damit es EFI-tauglich ist).
So weit so gut und so sollte man Knoppix nutzen.

Macht man irgendwas an diesem System, was über einen Neustart erhalten werden soll, braucht man eine Overlay.
Die Overlay ist eben ein Teil des Live-Systems und enthält alle gemachten Änderungen.

Will man nun Knoppix irgendwo neu etablieren, so kann man ganz einfach wie gewohnt das flash-install_script laufen lassen und anschließend die Overlay hinzu fügen, die den gewünschten Stand der Änderungen enthält.

Du wirst mir aber nachsehen, dass ich nicht einfach blind weiter beschreiben möchte.
Vielleicht liege ich ja vollkommen falsch.
Lass uns genau das heraus finden, was du eigentlich möchtest.

dd und Konsorten scheinen mir hier vollkommen fehl am Platze!

5

07.08.2022, 18:13

also, ich muss vielleicht nochmal nachfragen oder einwenden:
Es geht dir darum, dass du kein anderes System hast, aus dem heraus du das Flash_install script benutzen kannst? Und ohne dieses bekommst du keinen neuen Stick mit Knoppix? Wenn der alte mal kaputt geht?

Das Problem beim dd-Verfahren ist dies, dass du es nicht aus dem laufenden System heraus verwenden solltest. Wenn du aber kein anderes System hast, welches ein dd ausführen könnte, bist du auch damit blockiert.

Mir erscheint die allereinfachste Lösung: einen weiteren Stick kaufen und darauf ebenfalls ein Knoppix legen. Wenn du zeitnahe Kopien deiner Overlay anfertigst, hast du so einen guten Schutz gegen Ausfall des ersten Sticks.
Bei den Preisen, die man für einen einfachen 8G oder 16G Stick bezahlen muss, ist es doch wohl kein Problem, sich einen solchen Stick auf Vorrat zu kaufen und im Falle eines Falles parat zu haben.
Mit einem solchen zweiten Stick hättest du dann auch ein zweites System, das dd kann und so ein Image des ersten Sticks schreiben könnte.

Du erwähnst eine Backup-Festplatte.
Je nachdem, könnte auch dort ein Knoppix drauf gelegt werden. Das will ich nicht erörtern, weil ich die Umstände nicht kenne. Aber es ist wirklich nicht dumm, einige GB auf seiner (externen)-Backup-Platte zu opfern und dafür die Möglichkeit zu erhalten, ein Knoppix davon starten zu können. Ist die Platte aber bereits vollständig in Gebrauch und hat keine geeigneten Partitionen angelegt, kann das schwierig werden, bzw, wenn man nachträglich Partitionen ändert, könnte es zu einem Datenverlust führen und ist mit entsprechender Vorsicht zu genießen.

6

07.08.2022, 23:34

Also, ganz generell gesagt und nicht nur für Knoppix: mit dd oder rsync oder so, arbeitet man nicht aus dem laufenden System, um dieses zu kopieren. Es ist einfach viel sicherer und zuverlässiger, es von einem anderen System aus zu machen und dieses mit dem Knoppix-Stick zu füttern.
[/i]
Im Grunde weiss ich das. Im Prinzip wollte ich wissen, ob ausnahmsweise mal Umstände vorliegen, unter denen es doch geht.

Ich verstehen nicht so ganz warum man etwas tun will von dem man weiß dass man es nicht tun sollte oder kann.

Zitat

Da ich auf dem Rechner nur ein Betriebssystem gleichzeitig von einem echten USB-Stick booten kann, wäre es nett gewesen, den Stick booten zu können, dessen Image geschrieben werden soll und ein bisschen in der gewohnten Computer-Umgebung surfen und herumspielen zu können während man auf die Fertigstellung des Image wartet.
Dass das Image die während der Image-Erzeugungs-Sitzung zustandekommenden Änderungen nicht enthält, wäre nicht so dramatisch gewesen.

Wenn man eine Sicherheitskopie vom Knoppixstick haben möchte SOLLTE man sich nicht einen Rechner SUCHEN der nur noch unter diesem Stick gebootet werden kann.

Zitat

Normalerweise boote ich dazu Knoppix von DVD und benutze das von DVD gebootete Knoppix, um ein dd-Image des USB-Stick auf einer externen Festplatte zu erstellen.

Sondern einen mit andere Bootmöglichkeit

Zitat

Da ich auf dem Rechner nur ein Betriebssystem gleichzeitig von einem echten USB-Stick booten kann,

Ich kann eigentlich immer nur ein einziges OS gleichzeitig auf einem Rechner booten. Auch wenn man eine VM verwendet boot man ein OS in dem VM-Rechner. Ob man den "root"- wechsel in Linux als booten bezeichent weiß ich nicht.

Mit dem Cheat Code "noimage" kann man die Verwendung des Oveerlays ausschalten. Falls das Overlay aus einer eigenen Partition besteht kann man diese (mit dem Overlay) sichern und zurück spielen.

Das eigentliche Knoppix kann und muss man natürlich getrennt sicher -aber nur einmal- und zurückspielen - das geht aber nicht mehr mit einem kaputen Stick

Wie das mit einem Overlay in einem File aussieht weiß ich nicht.

7

08.08.2022, 15:16

Falls das Overlay aus einer eigenen Partition besteht kann man diese (mit dem Overlay) sichern und zurück spielen.


die Overlay-Datei ebenfalls und sogar noch einfacher, weil sie nur als eine einzige Datei behandelt wird. Sie ist quasi ein Image und enthält eben alle Änderungen am System.
"Zur Not", also wenn man das unbedingt möchte, kann sie auch gemountet werden und enthüllt dann ihr Innenleben.

8

08.08.2022, 15:27

vielleicht nochmal nach gefasst.

Das Flash-Install script macht nichts, das man nicht auch manuell machen könnte und je nach Situation kann man einen speziellen Knoppix-Stick auch einfach ohne dieses Script schnell anfertigen.
Der wesentliche Bestandteil, bei dem man sich leicht ins Knie schießen kann, ist das Schreiben des MBR mit Syslinux. Und richtig: will man nur EFI-booten, braucht man diesen Schritt ja nicht unbedingt und hat somit dann so manche Möglichkeit für eine alternative "Installation" von Knoppix.

Doch ist dies ja nicht nötig, wenn man eine (geprüfte) Knoppix-DVD booten kann, lässt sich daraus ja auch das Flash-Install-script starten und ich bin nun grad nicht sicher, glaube aber, es gab sogar einen Cheatcode zum direkten Aufruf des Scripts, ohne dass erst gebootet werden muss.
Alles, was Knoppix ausmacht, ist immer gleich und liegt in unveränderlichen Dateien im ISO. Die werden durch Flash-Install einfach auf das Medium kopiert.
Alles, was man am System verändert hat, liegt in der Overlay und die braucht man nur zu sichern und ins neue System über zu siedeln.

Deshalb gibt es eigentlich gar keinen Grund, sich ein dd-Image eines Knoppix-Sticks zu ziehen. Ich würde sogar tippen, dass das Schreiben eines 8G Images mittels dd langsamer geht, als das neu Aufsetzen mittels flash-install.

Hat man aber kein Linux-System und nur den einen Stick mit einem Knoppix, sind die Möglichkeiten schon etwas begrenzt.
Und deshalb nochmal mein Rat: nicht warten, bis er stirbt sondern gleich einen Ersatz für den einen Stick kaufen und vorbereiten.

9

08.08.2022, 17:07

Overlay File

Hi Pit
nur kurze Nachfrage: Ich arbeite immer mit der Partition.
Wo liegt denn das Overlay File und kann man es im laufenen Betrieb im Cheat Code "noimage" auch zurückspielen?

10

08.08.2022, 18:05

Die Overlay-Datei wird unter /KNOPPIX als knoppix-data.img angelegt und ist im laufenden System also unter /mnt-system/KNOPPIX zu finden.
Damit liegt sie für gewöhnlich auf dem FAT-Bereich des Sticks, wodurch die Größe auf 4GB begrenzt ist. Das genügt allerdings für fast alles.
Will man eine größere Overlay-Datei, müsste man sich von FAT an der Stelle verabschieden, was durchaus möglich wäre.

Weil die Datei auf dem FAT-Bereich liegt, kann sie einfach kopiert werden (also auch aus einem Windows).

Wenn ich recht entsinne, schaut Knoppix beim Booten, ob es die Datei KNOPPIX/knoppix-data.inf findet und lesen kann, wo die Overlay-Partition liegt und welches Dateisystem diese hat. Das wird zuerst ausgewertet.
Gibt es diese Datei nicht, wird nach der knoppix-data.img gesehen und diese genommen.
Mit Cheatcode "noimmage" wird keine Overlay (und afaik) auch kein weiteres Image (Thema Remastern) hinzu genommen.
Ein einfaches Umbenennen der Overlay-Datei genügt aber auch. So hatte ich auch schon mehrere unterschiedliche Dateien gespeichert, um damit zu testen.

Früher hatte ich immer nur Partitionen genommen, inzwischen liebe ich die Datei und habe gelernt, dass sie weit besser zu mir passt, denn ich will nicht viel in der Overlay speichern.
Deshalb genügen mir die 4GB auf einem FAT. Aus Interesse habe ich aber verschiedene andere Systeme probiert und zwar dann zusätzlich zu einer kleinen FAT, die nur den Boot-Anteil bei EFI-Boot enthält. Sowohl auf einem BTRFS, als auch einem NTFS, konnte ich Overlays > 4GB spielend erzeugen, was ja auch klar ist, wenn man sich ansieht, wie das gemacht wird.
Das Erzeugen der Datei und schließlich der Umgang damit erscheinen mir viel robuster und gleichzeitig flexibler, als die Partition.

11

12.08.2022, 04:54

Zunächst glaube ich, diese Fragen schon wirklich oft so gut beantwortet zu haben, wie ich das eben nur kann und habe keine große Lust, das nochmal zu tun.
Dafür habe ich vollstes Verständnis. ;-) Und bin Dir auch sehr dankbar für Deine ganzen Erklärungen hier im diesem Forum.
Du wirst mir aber nachsehen, dass ich nicht einfach blind weiter beschreiben möchte.
Vielleicht liege ich ja vollkommen falsch.
Lass uns genau das heraus finden, was du eigentlich möchtest.
Ich habe ja schon geschrieben, dass ich inzwischen ausprobiert habe, ob das, was ich möchte, machbar ist, und es geht wohl nicht ohne Frickelei.
Es ist auch nicht so furchtbar wichtig, dass man sich dafür einen Wolf schreiben müsste.
Ich kann auch damit leben, dass es nicht geht. ;-)

Aber für den Fall, dass Dich trotzdem interessiert, auf was für Ideen seltsame Leute wie ich kommen, erläutere ich es nochmal:

Als ich mit Knoppix anfing und hier im Knoppixforum aufschlug, habe ich ja auch mal ziemlich gemotzt. Aber es lag ja an mir und nicht an Knoppix. ;-)
Inzwischen habe ich einen ziemlichen Sinneswandel hingelegt: Es ist derzeit so, dass ich alles, was ich am Computer mache, auf einem Knoppix-USB-Stick habe und, ausser zum Datensichern, eigentlich nichts anderes mehr als diesen Stick benutze.
(Ich mache natürlich regelmäßig Datensicherungen auf alle möglichen Arten, auf ein RAIID mit mehreren Festplatten verschiedenen Alters. Das RAIID ist an einen kleinen Raspberry Pi angeschlossen. Der Raspberry Pi stellt es, wenn es denn angeschlossen und eingeschaltet ist, als Samba-Freigabe bereit. Bei dem RAIID wiederum habe ich nie alle Festplatten gleichzeitig eingeschaltet, sondern es wird auf eine Festplatte gesichert, und nur wenn das geklappt hat, lasse ich das RAIID zuerst die zweite Festplatte synchronisieren, und wenn das geklappt hat, die dritte. So sind nie alle Festplatten des RAIID gleichzeitig eingeschaltet, und das Risiko, dass alle drei Sicherungen gleichzeitig kaputtgehen, ist etwas reduziert. Im Notfall ist das RAIID selbst auch bootbar - falls der Raspberry Pi den Geist aufgibt und ich es woanders anschliessen muss, zB um aus dem Image der Speicherkarte mit dem Betriebssystem des Raspberry Pi eine neue Speicherkarte mit Betriebssystem für den/einen neuen Raspberry Pi zu erstellen... )

Aber zurück zum USB-Stick mit Knoppix. Ich habe da allerlei Einrichtungen und Konfigurationen vorgenommen. Ich bewohne ihn sozusagen. Virtuell.
(Einschub: Desktop-Hintergrundbild geändert; bei CompizConfig-Einstellungen bei den Fenstern den ganzen Transparent- und Animations-Schnickschnack weggemacht; Compose-Key konfiguriert; Uhrzeitanzeige im LXDE-Panel angepasst; in Thunderbird den Abruf meiner E-Mailaccounts und meine Lieblings-Newsgroups eingerichtet; diverse Skripte geschrieben und aufm Desktop verlinkt -- zB den Neustart des LXDE-Panels wenn das mal wieder nach dem Hochfahren nicht richtig angezeigt wird, zB Rechner nach Ablauf einer Zeitspanne automatisch runterfahren lassen, zB den Runterfahr-Countdowen abbrechen, zB ssh-Session zum Raspberry Pi aufbauen wenn der gefunden wird zwecks Administrierens/Herunterahrens des selben, zB Samba-Freigabe mounten wenn die gefunden wird, zB bestimmten Monitor auswählen und den anderen abschalten sofern diese Monitore gefunden werden, zB Bildschirm bis zur nächsten Mausbewegung oder Tastendruck dunkel machen wenn ich grade nur ein Hörspiel höre und nebenher eine Datenauswertung laufen lasse; diverse Programme, die ich nie brauche, runtergeschmissen, andere Sachen installiert/geupdatet -- zB Chromium aktualisiert, zB das mitgelieferte total veraltete TeX Live runtergeschmissen und dafür das neue Vanilla TeX Live 2022 installiert, GhostScript aktualisiert, GIMP aktualisiert, ein neues Emacs und aus Schelmerei auch ein neues Vim installiert, R installiert, knitR und sweave zum Laufen gebracht, perl, python, java, gcc, FreePascal etc aktualisiert, Drucker und Scanner eingerichtet, ... Einschub Ende.)

Ich mache verschiedene Arten von Datensicherung:
  • Wenn ich keine großartigen Installationen/Einstellungen vorgenommen habe, die mir wichtig sind, sichere ich mittels rsync diejenigen Ordner, in denen ich meine eigenen Datendateien habe - Textdokumente, Quelltexte von kleinen selbstgeschriebenen Programmen, mit GIMP gebastelte Bildchen, pdf-Dateien, aber auch den Ordner mit den Lesezeichen des Browsers (Chromoum) und den Ordner, in dem Thunderbird meine E-Mails und Usenet-Postings etc speichert.
  • Wenn ich Installationen/Einstellungen vorgenommen habe, die mir wichtig sind, sichere ich die Overlay-Partition.
  • Wenn ich mit Flash-Knoppix oder "von Hand" einen neuen Stick gemacht und dabei remastern lassen habe, mache ich mit dd ein Image des ganzen remasterten Sticks. Dann kann ich ohne viel Frickelei einen komplett eingerichteten Stick inklusive Overlay neu erzeugen, indem ich das dd-Image auf den neuen Stick schreiben lasse und - wenn nötig - die Größe der Overlay-Partition und den auf ihr liegenden overlay-AUFS-Datenblock anpasse.
  • Mit dem Remastern ist es so eine Sache: Knoppix kommt im Prinzip als AUFS-Dateisystem daher. Das besteht salopp gesagt aus Datenblöcken, die ihrerseits Dateien sind. Beim Einlesen können später gelesene Datenblöcke den aufgrund der früher eingelesenen Datenblöcke bestehenden Inhalt des Dateisystems ändern. Einer der Datenblöcke des AUFS-Dateisystems ist nicht "fest", sondern liegt auf der Overlay-Partition und ist beschreibbar. Beim sogenannten Remastern wird der beschreibbare Datenblock der Overlay-Partition im Prinzip zu einem weiteren zusätzlichen festen Datenblock des AUFS-Dateisystems. Bei jedem Remastern kommt also ein weiterer AUFS-Datenblock zu den festen Datenblöcken hinzu, der den Datenbestand enthält, der vor dem Remastern im Datenblock auf dem Overlay gespeichert war. Auf diese Weise akkumuliert man mit der Zeit auf dem USB-Stick viele Daten, die man nicht braucht: Wenn das AUFS-Dateisystem gelesen wird, werden oft Daten, die in Datenblöcken stehen, die zuerst eingelesen werden, ersetzt durch Daten, die in späteren Blöcken stehen, oder durch spätere Blöcke annuliert/"gelöscht". Bei meinem USB-Stick mache ich deshalb ab und zu ein "totales Remastering", d.h., ich erzeuge ein neues AUFS-Dateisystem, bei dem es bei den "festen" Teilen/bei nicht in der Overlay Partition liegenden Datenblöcken nicht vorkommt, dass später eingelesene Datenblöcke Daten ersetzen/annulieren, die aus früher eingelesenen Datenblöcken stammen.


Wenn ich nach einem Remastering das dd-Image des ganzen Sticks auf die Samba-Freigabe schreiben lasse, dann dauert das eine gewisse Zeit.

In der Zeit habe ich nicht den fraglichen USB-Stick gebootet, sondern ein anderes System. ZB Knoppix von DVD/anderem USB-Stick oder sonst etwas, wass dd-Images schreiben kann.
Dieses System ist nicht unbedingt so eingerichtet, wie ich es gewohnt bin. Bei Knoppix von DVD ist zB die ganze nervige Fensterwackelei noch da. Und der Browser ist nicht aktuell. Die Konsole (bzw Terminator) ist in anderen Farben, was mich tatsächlich sehr aus dem Tritt bringen kann, ...

Und da dachte ich halt, dass es nett wäre wenn ich für das dd-Image auch ebenjenen Stick booten könnte, dessen Image erzeugt werden soll.

Dann hätte ich, während ich warte bis das Image geschrieben ist, meine gewohnte "Umgebung" und könnte da nebenher irgendwas machen.

Wenn zB nur beim Herunterfahren tatsächlich ins Overlay geschrieben werden würde, könnte das funktionieren.

Aber dem ist halt nicht so.

War halt so ein Gedanke. Nicht so furchtbar wild.

Zur Zeit versuche ich, durch den Flash-Knoppix-Mechanismus durchzusteigen, denn da wird - so hat es zumindest den Anschein - ja auch im laufenden Betrieb der gebootete USB-Stick ganz ausgelesen. Also ist es grundsätzlich machbar. Der Mechanismus bietet aber nicht die Möglichkeit, statt auf ein neues Speichermedium eine Image-Datei zu schreiben. Vielleicht bietet er sie doch, aber ich bin bisher zu blöd, es zu raffen.

Im Moment frickle ich ausserdem daran herum, es hinzubekommen, Knoppix auf eine Weise zu booten, bei der die AUFS-Datenblöcke in der Overlay-Partition auch wie feste/nicht beschreibbare Datenblöcke gehandelt werden, sodass alles, was während der Session an Daten geschrieben wird, nur in der RAM-Disk landet, wie wenn man Knoppix ohne Overlay-Partition von DVD gebootet hätte. Und vielleicht beim Runterfahren ins Overlay geschrieben wird. Ich vermute, dass das mittels irgendwelcher Cheat-Codes oder dergleichen bereits machbar sein könnte, es mir diesbezüglich aber an der Fähigkeit des sinnentnehmenden Lesens mangelt. ;-)



Mit freundlichem Gruß

IchHabNeFrage14

KnoppixOpa

Schüler

Beiträge: 162

Geschlecht: Männlich

12

12.08.2022, 11:49

Wenn ich nach einem Remastering das dd-Image des ganzen Sticks auf die Samba-Freigabe schreiben lasse, dann dauert das eine gewisse Zeit.

In der Zeit habe ich nicht den fraglichen USB-Stick gebootet, sondern ein anderes System. ZB Knoppix von DVD/anderem USB-Stick oder sonst etwas, wass dd-Images schreiben kann.
Dieses System ist nicht unbedingt so eingerichtet, wie ich es gewohnt bin. Bei Knoppix von DVD ist zB die ganze nervige Fensterwackelei noch da. Und der Browser ist nicht aktuell. Die Konsole (bzw Terminator) ist in anderen Farben, was mich tatsächlich sehr aus dem Tritt bringen kann, ...
Zum Image-Kopieren brauchst Du doch keinen Browser. Und die ganze Fensterwackelei kannst Du beim Starten mit dem Cheatcode "no3d" abschalten. Oder Du startest gleich in die Shell (ich glaube das war Cheatcode "2").

Um die Kopier-Zeit zu verkürzen, ist eine Kopie auf eine interne Festplatte am besten. Wenn das nicht möglich ist, dann ein möglichst schnelles USB-Gerät (z.B. USB 3.0). Und möglichst viel RAM als Pufferspeicher.

Zitat

Und da dachte ich halt, dass es nett wäre wenn ich für das dd-Image auch ebenjenen Stick booten könnte, dessen Image erzeugt werden soll. Dann hätte ich, während ich warte bis das Image geschrieben ist, meine gewohnte "Umgebung" und könnte da nebenher irgendwas machen.
Am besten ist es, den Rechner beim Kopieren in Ruhe zu lassen. Dann kann er einen Leseskanal und einen Schreibkanal aufbauen, und Lesen und Schreiben quasi gleichzeitig machen. Bei größeren Kopien öffne ich in der Regel noch eine zweite Shell, um immer mal zu schauen, wie viel er schon kopiert hat.

Zitat

Wenn zB nur beim Herunterfahren tatsächlich ins Overlay geschrieben werden würde, könnte das funktionieren.
Du kannst Knoppix ohne Overlay starten, und dann vor dem Herunterfahren das Zeug aus der RAM-Disk auf einen Stick kopieren (z.B. alles aus /home/knoppix ).

Zitat

Zur Zeit versuche ich, durch den Flash-Knoppix-Mechanismus durchzusteigen, denn da wird - so hat es zumindest den Anschein - ja auch im laufenden Betrieb der gebootete USB-Stick ganz ausgelesen. Also ist es grundsätzlich machbar. Der Mechanismus bietet aber nicht die Möglichkeit, statt auf ein neues Speichermedium eine Image-Datei zu schreiben. Vielleicht bietet er sie doch, aber ich bin bisher zu blöd, es zu raffen.
Soweit ich weiß, kann man Ort und Name einer Image-Datei angeben, wenn man das Flash-Install-Script aus der Shell startet.
Um den Flash-Knoppix-Mechanismus zu verstehen, ist es am besten, sich in Ruhe die Vorträge von Klaus Knopper anzuschauen. Auf meiner Website unter http://fraenkiru.de/clt/ sind in der Zeile "K.Knopper" Links zu seinen Vorträgen auf den Chemnitzer Linux-Tagen 2019, 2021 und 2022 und eine Sammlung von Vorträgen aus YouTube.

Zitat

Im Moment frickle ich ausserdem daran herum, es hinzubekommen, Knoppix auf eine Weise zu booten, bei der die AUFS-Datenblöcke in der Overlay-Partition auch wie feste/nicht beschreibbare Datenblöcke gehandelt werden, sodass alles, was während der Session an Daten geschrieben wird, nur in der RAM-Disk landet, wie wenn man Knoppix ohne Overlay-Partition von DVD gebootet hätte. Und vielleicht beim Runterfahren ins Overlay geschrieben wird. Ich vermute, dass das mittels irgendwelcher Cheat-Codes oder dergleichen bereits machbar sein könnte, es mir diesbezüglich aber an der Fähigkeit des sinnentnehmenden Lesens mangelt. ;-)
Du kannst einen USB-Stick ohne Overlay erzeugen, dann hast Du diesen Effekt. Pit234a hatte zudem irgendwo beschrieben, wie man vorhandene Overlays deaktivieren kann.

RalfonLinux

Erleuchteter

Beiträge: 2 986

Geschlecht: Männlich

13

12.08.2022, 18:16

Ein Device welches im Zugriff ist sollte nicht gecloned werden, aber gibt es den Cheatcode 'toram' nicht mehr ?
Auf Wunsch gibt es nur noch Text und keine Bilder mehr in der Signatur.
Keine ? ....... :evil:

Quellcode

1
2
3
4
5
6
7
8
.
    ~
   - -          M
   /V\         - *
  // \\        /V\
 /( _ )\      // \\
  ^~ ~^      /( _ )\
              ^~ ~^

14

12.08.2022, 20:43

War halt so ein Gedanke. Nicht so furchtbar wild.


Ich zitiere nur diesen einen Satz, der außerdem ja auch noch weniger wichtig ist. Damit will ich nur zeigen, auf welchen Beitrag ich mich beziehe und dafür ausdrücklich danken. Du hast dir sehr viel Mühe gemacht mit dieser Antwort und mir ist nun vieles viel besser verständlich und klarer geworden.

Lass mich deine Reihenfolge zunächst mal aufgreifen und zunächst einige Gedanken über RAID loslassen. Vorab: ich will hier nicht missionieren! Ich verstehe deine Motivation und wenn das für dich so funktioniert, ist das für mich schon lange in Ordnung.
Nur, ich selbst habe schon lange die Linux-Welt verlassen und mit meinem immer noch geliebten FreeBSD auch schon vor Jahren ZFS kennen gelernt. Zunächst als verteiltes Dateisystem auf meinem Fileserver, später aber noch viel lieber als DAS Dateisystem für alle meine PCs. Linux kann inzwischen auch ZFS (in fact gibt es wohl in der Freien Welt nur noch ZFS-On_Linux) und hat mit BTRFS auch ein eigenes COW-Dateisystem, aber ich kann damit nicht wirklich warm werden und es ist mir trotz aller Performance-Vorteile doch zu sehr Dateisystem-Lastig.
ZFS hat praktisch nur Vorteile und die etwas schlechtere Performance kann man auch ausgleichen. AFAIK benutzt Netflix auf seinen Servern nichts anderes und hat auch viel zur Verbesserung des Codes beigesteuert.
Den Vorteil, den ich nutze, ist die flexible Redundanz. Du gibst nicht an, welches Raid du haben möchtest, also klassisches Raid1 oder Raid5 oder so, sondern du sagst in etwa, einen Pool mit sechs Platten und davon zwei Redundant. Dann können zwei Platten gleichzeitig kaputt gehen und der Pool bleibt doch funktionell. Mehr als zwei Platten sind mir noch nie gleichzeitig verreckt, deshalb nutze ich das so und mein Fileserver ist auch immer am Laufen.
Ich nutze zur Datensicherung der Unix-Rechner NFS und SAMBA nur für die wenigen Gäste, die dieses brauchen.
Das mache ich dann auch noch mittels rsync, obwohl zfs auch einen eigenen Mechanismus anbietet.
Von meinem Hauptrechner mache ich außerdem Backups auf einen internen, zweiten und unabhängigen zpool. Das hat den Vorteil, dass es sehr schnell geht und ich die Daten auch intern direkt verfügbar habe. Vom System mache ich nie einen Backup, das ist ja im Zweifel schnell wieder aufgesetzt.

Lass mich deshalb nun zu Knoppix kommen.
Eine wichtige Frage ist die Overlay und deren Größe, denn die steht ja quasi für die Möglichkeiten an Veränderungen am System. Dass man sie auch zum Speichern benutzen kann, lasse ich mal außen vor.
Es hat mich sehr gefreut, dass du die Sache mit dem AUFS vermutlich besser verstanden hast, als ich selbst. Viele Nutzer scheitern an dieser Hürde und in einem Pawlowschen Reflex reagiere ich dann oft etwas wirsch, wenn Fragen dazu aufkommen.
Du siehst das aber genau, wie ich selbst es sehe: es gibt die festen Teile Knoppix, Knoppix1 usw (9.1 hat nicht mehr) und die beschreibbare Overlay. Alles wird mittels AUFS zu einem laufenden System verbunden und durch das Remastern wird der Inhalt einer Overlay zu einem neuen Knoppix(n) und die Overlay ist wieder frei. Derzeit sind (afaik) maximal n=9 Knoppix-Teile möglich (kann man aus dem Script ablesen).
OK, diese kannst du ja ganz bequem und einfach sichern.
Ebenso die Overlay, was du ja auch machst.
Die "Struktur" des Sticks ist für Knoppix relativ uninteressant. Deshalb eine Sicherung mit dd nicht sooo sinnvoll.

Es gibt zwei Fälle:
-LEGACY
-EFI

Knoppix erschlägt beide Fälle durch einen gemeinsamen Trick: es legt alle unveränderlichen Teile auf ein FAT, welches gleichzeitig auch die EFI-System-Partition ist und weshalb die jeweilige Größe der einzelnen AUFS-Bestandteile, der festen Teile, auf jeweils 4GB beschränkt ist.
Wird eine Overlay-Datei benutzt, gelten die 4G auch hier.
Zusätzlich schreibt es einen Bootloader in den MBR, der von LEGACY-Systemen befolgt wird. Dazu wird syslinux benutzt, syslinux ist freie SW und kann von jedermann benutzt werden, um einen entsprechenden Code in einen MBR zu schreiben. Das ist kein großes Ding und kann natürlich auch aus dem Flash-Install-Script abgelesen werden.
Die Frage ist, ob man überhaupt noch LEGACY braucht?

Also, mit LEGACY:
ein Medium (Stick) so vorbereiten, dass es eine FAT-Partition hat, auf der SYSLINUX (/boot /efi ) kommt und nachher syslinux ausführen, um den MBR zu schreiben (dazu ist syslinux auf dem PC notwendig, der die Installation macht).
als zweite Partition kann eine Overlay gewählt werden, wie Knoppix das macht und wenn die Fat groß genug ist, können alle Teile von Knoppix auch darauf liegen, weil sie kleiner 4G sind.
es könnte aber neben einer kleinen FAT auch eine große NTFS-Partition gewählt werden! Auch darauf haben die Teile von Knoppix Platz und es kann anschließend eine Overlay-Datei auf NTFS etabliert werden, die größer ist als 4GB! Knoppix hat NTFS-Unterstützung im Kernel eingebaut, das geht so tatsächlich.

Also ohne LEGACY:
Bei Rechnern mit EFI ist es noch einfacher, weil man den SYSLINUX-Quatsch nicht braucht, um einen Bootloader in den MBR zu schreiben.
Eine kleine FAT, /boot und /efi rein kopieren, eine NTFS mit allen Teilen Teilen von Knoppix, falls gewünscht eine Overlay-Partition in einem Linux-tauglichen Dateisystem oder besser, einfacher und flexibler, einer Overlay-Datei.

Was ich damit sagen will: alle Schritte sind recht bequem von Hand durchführbar, so, warum davon etwas sichern? Knoppix macht hier gar nichts besonders magisch. Das kann man von Hand machen.
Hat man Zweifel: einfach das flashinstall-Script auf ein Knoppix-ISO loslassen und einen neuen Stick bauen, dann die festen Knoppix Teile darauf kopieren und anschließend die Overlay kopieren oder syncen.

Wenn du LEGACY brauchst, müsste ich erst wieder nachlesen. Ich habe sowohl syslinux als auch einen anderen Bootloader schon erfolgreich mit Knoppix eingesetzt.
Wenn du nur EFI brauchst, können wir mal hier einen Stick gemeinsam aufsetzen, damit du siehst, wie einfach das geht. Vollkommen ohne Script.


Flash-Install kann ein DVD-ISO erzeugen, aber ich denke, dass die Größe hier begrenzt ist, weiß das aber nicht genau.

Wie machst du ein "totales Remastering"? Damit bin ich grad überfordert.

15

12.08.2022, 20:58

Zum Image-Kopieren brauchst Du doch keinen Browser
Dafür nicht, aber um die Wartezeit herumzubringen... ;-) Ich hab oft so dermaßen Schmerzen, dass ich um jede Ablenkung froh bin...
Soweit ich weiß, kann man Ort und Name einer Image-Datei angeben, wenn man das Flash-Install-Script aus der Shell startet.
Danke für diesen Tip. War mir so nicht bewusst. Werde ich auf jeden Fall ausforschen.
Um den Flash-Knoppix-Mechanismus zu verstehen, ist es am besten, sich in Ruhe die Vorträge von Klaus Knopper anzuschauen. Auf meiner Website unter http://fraenkiru.de/clt/ sind in der Zeile "K.Knopper" Links zu seinen Vorträgen auf den Chemnitzer Linux-Tagen 2019, 2021 und 2022 und eine Sammlung von Vorträgen aus YouTube.
Danke auch dafür!
Du kannst einen USB-Stick ohne Overlay erzeugen, dann hast Du diesen Effekt.
Jein. Dann hab ich das System so, wie es ohne Overlay wäre/ist. Ich will aber dass alle AUFS-Komponenten, auch das Overlay, gelesen werden. Bloss soll Overlay bzw der ganze Stick halt nicht beschrieben werden können, weil er ja durch dd ausgelesen werden soll.
aber gibt es den Cheatcode 'toram' nicht mehr ?
Den gibts, aber wie bei vielen anderen Cheatcodes, die in /mnt-system/KNOPPIX/knoppix-cheatcodes.txt beschrieben sind, habe ich keine Ahnung, was dieser Cheatcode genau bewirkt - da steht halt lapidar "Copy to RAM and run from there". Was wird da wann in den RAM kopiert und von da gerannt? Und verhindert dieser Cheatcode das Schgreiben auf den USB-Stick?

Dann gibt da zB auch noch "knoppix forensic -- Don't use swap and mount read-only" Was für ein swap? Was wird da nur readonly gemountet und verhindert dieser Cheatcode das Schgreiben auf den USB-Stick?

16

12.08.2022, 22:09

Bei größeren Kopien öffne ich in der Regel noch eine zweite Shell, um immer mal zu schauen, wie viel er schon kopiert hat.

das Zitat steht unterhalb eines Textes, der sich mit dd befasst. Sofern es um dd geht, kennt das die Option status=progress und zeigt dann das Voranschreiten direkt an.
Wenn es um andere Programme geht, etwa kopieren oder tar-Archive füttern, liefert pv einen recht schönen grafischen Überblick in der Shell und ist einfach zu benutzen.
progress als Programm ist vielleicht auch eine Alternative, aber für mich nicht so einfach zu handhaben.
pv kennt eine ganze Reihe von Optionen und ist natürlich außerhalb der man und info-pages an zahlreichen Orten im Netz anhand von Beispielen beschrieben.
Manche Leute haben sich so daran gewöhnt, dass sie es auch mit Befehlen einsetzen, die bereits eine entsprechende Option mitbringen, wie etwa rsync, was ich eh für das bessere cp halte. Statt also der eingebauten Option -P (--progress), kann das Kommando auch zu pv "gepiped" und dann der Fortschritt mit den Lieblingsoptionen dieses Programmes angezeigt werden. Das geht natürlich ganz ähnlich auch mit dd, wo eine pipe zu pv den Eingang (if="") zum Ausgang (of="") weiter leiten kann.
Konkret also

Quellcode

1
 dd if=/dev/sdx bs=1M of=/pfad/zu/sdx-image

kann mittels

Quellcode

1
dd if=/dev/sdx bs=1M of=/pfad/zu/sdx-image status=progress
zur Verwendung der eingebauten Fortschritsanzeige benutzt werden oder mittels

Quellcode

1
dd if=/dev/sdx bs=1M | pv -optionen | dd of=/pfad/zu/sdx-image
über pv geleitet werden. Ohne Optionen funktioniert pv hier auch und eine Animation, die nicht sehr sinnvoll ist, wie ich finde, aber immerhin sieht man, dass sich etwas bewegt und braucht dazu nicht erst eine neue Shell zu starten.

Du kannst einen USB-Stick ohne Overlay erzeugen, dann hast Du diesen Effekt. Pit234a hatte zudem irgendwo beschrieben, wie man vorhandene Overlays deaktivieren kann.

Ja, das geht ganz einfach, falls der cheatcode dazu versagt.
Eine Overlay-Datei benennt man um und die Partitionsinformation kann man ebenfalls einfach umbenennen und schon wird keine Overlay mehr gefunden. Hier ist das Knoppix-Boot script ganz pingelig an den Namen orientiert, die müssen ganz genau passen, sonst werden sie einfach ignoriert.

17

12.08.2022, 22:16

Den gibts, aber wie bei vielen anderen Cheatcodes, die in /mnt-system/KNOPPIX/knoppix-cheatcodes.txt beschrieben sind, habe ich keine Ahnung, was dieser Cheatcode genau bewirkt - da steht halt lapidar "Copy to RAM and run from there". Was wird da wann in den RAM kopiert und von da gerannt? Und verhindert dieser Cheatcode das Schgreiben auf den USB-Stick?

Dann gibt da zB auch noch "knoppix forensic -- Don't use swap and mount read-only" Was für ein swap? Was wird da nur readonly gemountet und verhindert dieser Cheatcode das Schgreiben auf den USB-Stick?


es wird kaum jemand alle Cheatcodes unter allen Knoppix-Versionen testen, inklusive Klaus Knopper selbst.

Die komplizierte Methode: finde sie im Script und sieh nach, was sie machen sollen.
Das schreibe ich ausdrücklich deshalb, weil wir in letzter Zeit erfahren haben, dass eine ganze Reihe von Cheatcodes nur noch unter bestimmten Bedingungen zu funktionieren scheinen.

Deshalb empfiehlt sich hier natürlich die unkomplizierte Methode: einfach testen und sehen, was passiert. Womöglich gehen sie gar nicht und dann hat sich alles Weitere eh erledigt.

RalfonLinux

Erleuchteter

Beiträge: 2 986

Geschlecht: Männlich

18

12.08.2022, 22:19

"toram" war ein Cheatcode um den kompletten Datenträger ins RAM zu kopieren.
War zu CD-Zeiten eine gute Möglichkeit das System zu beschleunigen.
Zu DVD-Zeiten brauchte der PC dann aber schon etwas mehr Arbeitsspeicher und mit Aufkommen der grossen USB-Sticks wurde es "unnötig" erst alles ins RAM zu kopieren.

Nach erfolgreichem Copy konnte der Datenträger dann ausgeworfen werden (um zB eine CD zu brennen)

Aus der Historie würde ich also sagen das "toram" den USB-Stick ins RAM kopiert.
Da deine Overlays dann aber trotzdem gezogen werden (welche es so auch schon zu CD-Zeiten gab), sollten also auch diese im RAM vorliegen und der USB-Stick ist "frei" zum Clonen.

"forensic" wird benutzt um fremde Systeme zu untersuchen.
Knoppix mounted sich eine vorhandene (Linux-)SWAP-Partition default mit ein, würde aber die sich dort befindlichen Speicherbereiche, überschreiben.
Ist bei forensischen Untersuchungen aber suboptimal. Schliesslich muss ich ja schauen ob sich im ausgelagerten Arbeitsspeicherbereich verdächtige/unerwünschte/verbotene Daten befinden. (URL-Cache/Bilddateien/Passwörter/...)

Das dann auch nur ReadOnly gemountet wird sollte klar sein. Schliesslich soll ich ja nicht Beweise unterschieben oder Dateizugriffszeiten ändern.
Daher bezieht sich das aber alles auch nur auf neu gemountete Datenträger, also zB die C:\ oder der USB-Stick des Verdächtigen.

Hth
Ralf
Auf Wunsch gibt es nur noch Text und keine Bilder mehr in der Signatur.
Keine ? ....... :evil:

Quellcode

1
2
3
4
5
6
7
8
.
    ~
   - -          M
   /V\         - *
  // \\        /V\
 /( _ )\      // \\
  ^~ ~^      /( _ )\
              ^~ ~^

19

13.08.2022, 01:03

Knoppix mounted sich eine vorhandene (Linux-)SWAP-Partition default mit ein


was ja aber generell kein gutes Verhalten ist, weil... nein, das will ich nun abkürzen.
Deshalb gibt es aber den cheatcode noswap oder so ähnlich, der auch außerhalb von forensic (falls es das überhaupt noch gibt) das Einbinden fremden SWAPs verhindert und was ich deshalb auch in meine configs eingetragen habe.


Thema cheatcodes die nicht mehr gehen:
failsafe haben wir bisher nicht als Alternative zu dem Problem des Threads genannt, sollte noch funktionieren und womöglich so viel abschalten, dass gar kein vernünftiges Knoppix mehr erscheint. Meiner Meinung nach sollte es sogar den 32Bit Kernel starten, was dann eine mögliche Lösung für ein Problem aus einem anderen Thread sein könnte, aber probiert habe ich das nicht.

KnoppixOpa

Schüler

Beiträge: 162

Geschlecht: Männlich

20

13.08.2022, 12:50

Bei größeren Kopien öffne ich in der Regel noch eine zweite Shell, um immer mal zu schauen, wie viel er schon kopiert hat.
das Zitat steht unterhalb eines Textes, der sich mit dd befasst. Sofern es um dd geht, kennt das die Option status=progress und zeigt dann das Voranschreiten direkt an.
Wenn es um andere Programme geht, etwa kopieren oder tar-Archive füttern, liefert pv einen recht schönen grafischen Überblick in der Shell und ist einfach zu benutzen. ...
Danke für den Tipp! Man lernt immer dazu (wenn man denn will).

Linux HardwareLinux Computer & PCs | Linux Notebooks & Laptops | Geek Shirts | Geek und Nerd Shirt Shop