Herr-Breier.de Blog

Linux Basics - awk Grundlagen

2025-12-16T00:00:00+00:00

awk - ein mächtiges Linuxtool zur Verarbeitung von Textdaten

Das Programm awk wurde in den 1970er Jahren bei den Bell Labs entwickelt und ist also schon etwas älter. Der Name des Programms leitet sich dabei von den Namen der drei Entwickler Aho, Weinberger und Kernighan ab. Das Programm selber wurde entwickelt um strukturierte Daten aus Dateien auszulesen und anderweitig auszugeben, beispielsweise zur Erstellung von Reports. Dabei ist awk mittlerweile so komplex dass es rein formal eine vollwertige Programmiersprache darstellt, das keyword hier ist formal denn obwohl man prinzipiell mit awk Programme schreiben könnte ist das tool nicht dafür ausgelegt und awk Programme sind eher als Kuriosität zu betrachten. Da awk mittlerweile ein paar Jahre auf dem Buckel hat, wird das ursprüngliche Programm heute eigentlich nicht mehr verwendet, sondern die meisten Linux Distributionen bringen Weiterentwicklungen von awk mit wie bspw. gawk, mawk oder nawk. Diese sind in der Regel alle miteinander kompatibel, erweitern aber das Grundprogramm um eine Reihe von Funktionen, short cuts und quality-of-life Verbesserungen.

Warum sollte ich awk verwenden?

Egal wie man es dreht und wendet, awk ist schon ein wenig angestaubt aufgrund seines Alters. Trotzdem ist awk ein unglaublich starkes tool - sofern man sich innerhalb der Grenzen seines Einsatzbereiches bewegt. Sprachen wie Perl oder Python sind mit Sicherheit vielseitiger, aber wenn man “nur” Daten bspw. aus einer Log-Datei extrahieren möchte ist awk eines der besten tools die man nutzen kann da die Skripte relativ kurz sind (oft nur 1-2 Zeilen lang) und awk wesentlich schneller arbeitet als beispielsweise ein Python Skript. Ebenfalls eignet sich awk laut meiner Erfahrung ganz wunderbar zur Formatierung von Output, beispielsweise wenn man das Ergebnis einer SQL Abfrage ein wenig umformatieren und aufhübschen möchte. Ein weiterer Faktor den man nicht unterschätzen darf ist die Tatsache dass awk in praktisch jeder Linux Distribution mitgeliefert wird und man nicht erst noch weitere Softwarepakete installieren muss.

Ein Awk-Programm besteht aus einer Reihe von Muster-Aktion Paaren. Das bedeutet, dass awk eine oder mehrere Dateien zeilenweise durchsucht und mit dem vorgegebenen Muster abgleicht. Wird eine passende Zeile gefunden, so wird die zugewiesene Aktion durchgeführt. Muster können hier beispielsweise durch regular expressions, Vergleichsoperationen auf Zahlen, Zeichenketten, Feldern, Variablen usw. vorgegeben sein.

Awk bietet also durchaus die Möglichkeit auch komplexere Skripte zu schreiben.

Arbeitsweise und Syntax von awk

awk arbeitet indem es Daten zeilenweise einliest und anhand eines vorgegebenen Delimiters ¹ in Felder zerlegt und diese dann ausgibt. Die Funktionsweise ist sed sehr ähnlich, aber erlaubt wesentlich komplexere Konstrukte.

Ein typischer awk Aufruf könnte beispielsweise so aussehen:

awk 'MUSTER { AKTION }' dateiname.txt

Dabei erfolgt der Aufruf von awk mittels des Programmnamens awk, einem sogenannten Muster-Aktionen-Paar und (in aller Regel) einer Datei auf welche die Operationen angewendet werden sollen (awk kann aber natürlich auch mit Daten aus einem Eingabestrom zurechtkommen).

Der Delimiter (Feld-Separator)

Standardmäßig verwendet AWK einen oder mehrere aufeinanderfolgende Leerzeichen oder Tabs als Feld-Separator.

Man kann den Separator (Delimiter) jedoch frei bestimmen, was für die Analyse von Log-Dateien, die oft durch Doppelpunkte, Kommas oder Semikola getrennt sind, essenziell ist.

Der Feld-Separator wird mit der Option -F definiert:

# Trennt die Eingabe am Doppelpunkt
awk -F':' '{ print $1 }' /etc/passwd

Hierbei steht $1 für das erste Feld (Spalte), $2 für das zweite, und so weiter.

Muster-Aktionen-Paare im Detail

Wie bereits erwähnt, besteht ein AWK-Programm aus Muster-Aktionen-Paaren. Eine Aktion wird nur ausgeführt, wenn das Muster für die aktuelle Zeile zutrifft. Fehlt das Muster, wird die Aktion auf jede Zeile angewendet. Fehlt die Aktion, wird die gesamte Zeile (print $0) ausgegeben, wenn das Muster zutrifft.

1. Muster: Reguläre Ausdrücke (RegEx)

Die gebräuchlichste Form des Musters ist der reguläre Ausdruck. Er wird von Schrägstrichen (/) umschlossen.

Beispiel: Fehlermeldungen filtern

Wenn Ihr eine Log-Datei nach Zeilen durchsuchen möchtet, die das Wort error enthalten, nutzt Ihr einen regulären Ausdruck:

# Durchsucht die gesamte Zeile ($0) nach dem Muster 'error'
awk '/error/ { print $0 }' logfile.txt

Da die Aktion die Standardaktion (print $0) ist, kann man diese sogar weglassen:

awk '/error/' logfile.txt

2. Muster: Vergleichsoperationen auf Feldern

Hier wird eine Bedingung für den Inhalt oder Wert eines bestimmten Feldes gestellt.

Beispiel: HTTP-Status-Codes filtern

Um alle Zeilen aus der access.log zu finden, bei denen der HTTP-Status-Code (Feld 9) gleich 404 ist, verwendet Ihr einen numerischen Vergleich:

# Zeigt alle Zeilen mit einem 404-Fehler
awk '$9 == 404 { print $0 }' access.log

3. Muster: `BEGIN` und `END`

Diese beiden Muster sind bspw. für die Erstellung von Reports interessant, da sie Aktionen vor der eigentlichen Verarbeitung und nach Abschluss der Verarbeitung definieren. Dadurch kann man beispielsweise einer Auswertung eine Kopf- und Fußzeile hinzufügen:

awk '
BEGIN {

    # Setzt den Output Field Separator (OFS) für schönere Ausgabe

​    OFS="\t"

    # Gibt den Header aus

​    print "--- Start des Reports ---"
​    print "IP\tStatus\tLetztes Feld"
​    print "-------------------------"
}
{

    # Hauptaktion: Wird auf jede Zeile angewendet

​    print $1, $9, $NF
}
END {

    # Gibt die Fußzeile aus und meldet, wie viele Zeilen verarbeitet wurden

​    print "-------------------------"
​    print "Ende des Reports. Verarbeitete Zeilen: " NR
}' access.log

Felder und Variablen

AWK definiert beim Einlesen jeder Zeile automatisch einige spezielle Variablen:

Variable	Beschreibung
`$0`	Die komplette eingelesene Zeile.
`$1`, `$2`, `$N`	Das erste, zweite oder N-te Feld (die N-te Spalte).
`NF`	Die Anzahl der Felder in der aktuellen Zeile (Number of Fields).
`NR`	Die Zeilennummer der aktuellen Zeile (Number of the Record).
`FS`	Der Feld-Separator (Field Separator). Kann mit `-F` überschrieben werden.

Beispiel: Felder filtern und ausgeben

Angenommen, Sie haben eine Log-Datei (access.log) mit Leerzeichen als Separator, und Sie möchten nur die IP-Adresse (Feld 1) und den HTTP-Status-Code (Feld 9) ausgeben.

# Access.log: 192.168.1.1 - [10/Feb/2023:10:00:00] "GET /index.html" 200 ...
awk '{ print "IP: " $1, " | Status: " $9 }' access.log
# Ausgabe: IP: 192.168.1.1 | Status: 200

Beispiel: Das letzte Feld ausgeben

In manchen Log-Dateien ändert sich die Anzahl der Felder. Um immer das letzte Feld auszugeben (z.B. eine Fehlermeldung), nutzt man die Variable NF:

# Gibt immer das letzte Feld der Zeile aus
awk '{ print $NF }' logfile.txt

sed und awk arbeiten wunderbar zusammen

Man kann awk sehr gut mit sed kombinieren. Anbei ein paar Beispiele. Eine kurze sed Einführung gibt es im Artikel zu sed.

Weitere Informationen

Dieser Artikel kann und soll nur einen groben Überblick geben. Umfangreichere Informationen und eine ganze Liste der vordefinierten Variablen, Parameter etc. findet man entweder lokal in den man und info pages oder aber online.

Als refresher: die man pages ruft man auf über man awk und die info pages über info awk.

Als einfache und gute Alternative kann ich hier allerdings noch das Tool tldr empfehlen, über das ebenfalls nochmal ein Artikel folgen wird.

Fußnoten

Ein Delimiter kann beispielsweise ein Leerzeichen, Tab, Doppelpunkt, Komma o.ä. sein und in awk frei bestimmt werden. ↩

Karakeep als Alternative zu Pocket

2025-06-08T00:00:00+00:00

Vorwort

Pocket wird Anfang Juli ‘25 abgeschaltet und im Oktober wird kurzer Prozess gemacht und die Konten werden gelöscht, also brauchen wir eine Alternative. Am besten selbstgehostet und open source. Nach etwas herumsuchen bin ich bei Karakeep gelandet, es gibt aber zum Glück eine ganze Batterie an Alternativen:

und das sind nur ein paar der Optionen.

Schlussendlich hatte ich bei meiner kurzen Recherche den Eindruck dass Karakeep (vormals Hoarder) und Wallabag den besten Eindruck machen. Beide verfügen über eine solide UI, Extensions für die gängigen Browser und mobile Apps für unterwegs.

Karakeep wirbt zusätzlich noch mit einer AI Integration von Ollama oder ChatGPT für automatisches Tagging, Video Transcription, OCR usw. Da ich gerade mit einer ChatGPT Plus Membership experimentiere bin ich deshalb erst einmal bei Karakeep gelandet.

Administration

Installation

Die Installation gestaltet sich dank Docker Compose sehr einfach:

services:
  Karakeep:
    image: ghcr.io/karakeep-app/karakeep:${KARAKEEP_VERSION:-release}
    restart: unless-stopped
    volumes:
      # By default, the data is stored in a docker volume called "data".
      # If you want to mount a custom directory, change the volume mapping to:
      - /dein/lokaler/Datenordner:/data #mappt lokales Filesystem auf den /data Ordner im Container
      #- data:/data
    ports:
      - 3000:3000 # Port außen:Port im Container
    environment:
      NEXTAUTH_SECRET: # hier zufälliger Key -> bspw. generieren über: openssl rand -base64 36
      MEILI_ADDR: http://meilisearch:7700
      BROWSER_WEB_URL: http://chrome:9222
      # OPENAI_API_KEY: ...

      # You almost never want to change the value of the DATA_DIR variable.
      # If you want to mount a custom directory, change the volume mapping above instead.
      DATA_DIR: /data # DON'T CHANGE THIS
  chrome:
    image: gcr.io/zenika-hub/alpine-chrome:123
    restart: unless-stopped
    command:
      - --no-sandbox
      - --disable-gpu
      - --disable-dev-shm-usage
      - --remote-debugging-address=0.0.0.0
      - --remote-debugging-port=9222
      - --hide-scrollbars
  meilisearch:
    image: getmeili/meilisearch:v1.13.3
    restart: unless-stopped
    environment:
      MEILI_NO_ANALYTICS: "true"
      MEILI_MASTER_KEY: # hier zufälliger Key -> bspw. generieren über: openssl rand -base64 36
    volumes:
      - meilisearch:/meili_data
volumes:
  meilisearch: null
  data: null
networks:
  nginx-net:
    external: true

Das ist erstmal die Basiskonfiguration laut Anleitung bei Karakeep. Zu beachten fand ich hierbei dass man einmal selbst die Auth-Keys generieren muss mit denen NextAuth und MeiliSearch arbeiten. Das geht aber ganz einfach aus der Kommandozeile mit dem Befehl:

openssl rand -base64 36

Was mich aber eine Weile zur Verzweiflung getrieben hat war dass ich ständig eine Exception bekommen habe beim Aufruf der Applikation. Am Ende hat sich herausgestellt dass ich, weil ich mit Docker Compose über Dockge die Container starte, die Einträge für die beiden Keys direkt wie oben angegeben als environment Variablen in der docker-compose.yml übergeben musste. Den separaten Eintrag aus dem .env file will entweder Dockge oder Docker Compose in diesem Fall nicht korrekt verarbeiten.

Apropos env File:

Environment Variablen

Das .env File sollte laut Anleitung folgende Standard Variablen enthalten:

KARAKEEP_VERSION=release
NEXTAUTH_SECRET=super_random_string
MEILI_MASTER_KEY=another_random_string
NEXTAUTH_URL=http://localhost:3000 # falls ihr eine Subdomain habt kommt die hier rein

eine ausführliche Liste mit Variablen, bspw. zur Integration von OpenAI findet sich hier. Nachfolgend die Variablen die ich angepasst habe:

Name	Funktion
OPENAI_API_KEY	Euer OpenAI Api Key, näheres zur Einrichtung weiter unten
INFERENCE_LANG	Die Sprache mit der Tags generiert werden, Standard ist englisch
INFERENCE_CONTEXT_LENGTH: 2048	Abhängig dieser Tokenlänge wird der Text mit AI gecrawled um die Tags zu erstellen. Längerer Text bedeutet besseres Ergebnis aber ggf. auch teurer bzw. benötigt mehr Rechenleistung
CRAWLER_FULL_PAGE_SCREENSHOT: True	versucht einen kompletten Screenshot der Seite anzulegen, verbraucht naturgemäß mehr Speicher
CRAWLER_VIDEO_DOWNLOAD: True	Versucht bspw. YouTube Videos herunterzuladen. Benutzt im Hintergrund yt-dlp
CRAWLER_VIDEO_DOWNLOAD_MAX_SIZE: 100	Setzt die max. Größe des runtergeladenen Videos, Qualität wird entsprechend angepasst
OCR_LANGS: deu,eng,equ,fra,spa	Setzt die Sprachen für OCR. equ setzt die Erkennung für math. Formeln! Benutzt im Hintergrund Tesseract
MAX_ASSET_SIZE_MB: 100	Setzt die max. Asset Size. Standard sind 4MB was mit der SingleFile Extension s.u. zu wenig ist

OpenAI Api Key erstellen

Damit Karakeep auf die OpenAI API zugreifen kann benötigt man einen API-Key. Diesen kann man im OpenAI Dashboard in seinem Account erstellen:

Diesen Key direkt kopieren, er wird nur einmal angezeigt. Danach dann den Key in die OPENAI_API_KEY Variable eintragen.

Container starten, Reverse Proxy konfigurieren und andere Arbeiten

Im Anschluss, abhängig von eurer Konfiguration müsst ihr den Karakeep Hauptcontainer starten und noch in euer Container-Netzwerk einbinden. Ich habe hier ein eigenes Netz für einen NGINX Proxy Manager eingerichtet der sich um die Zertifikate kümmert und Anfragen an die Subdomain weiterleitet die ich für Karakeep eingerichtet habe. Betreibt ihr Karakeep lokal sollte es einfach über http://localhost:3000 erreichbar sein.

In meinem Fall sah der weitere Workflow so aus:

Container starten

läuft in meinem Fall über die Dockge WebUi, ansonsten über

docker compose up -d

checken ob die Container hochgekommen sind

docker ps|grep kara

Falls kein Docker Netzwerk vorhanden, eins anlegen

docker network create nginx-net

Container in das Netzwerk hängen

Es sollte mehrere Karakeep Container geben, ihr braucht den Hauptcontainer der auf dem in der Compose Datei festgelegten Ports antwortet. Den Namen könnt ihr aus dem Ergebnis des docker ps Befehls kopieren:

docker network connect <Netzwerkname> <Containername>

checken ob der Container im Docker Netzwerk hängt

docker network inspect <Netzwerkname>

Wenn alles geklappt hat können wir nun die Karakeep Login Seite entweder über localhost:3000 oder den in eurem Reverse Proxy konfigurierten Link erreichen:

Beim ersten Login/Sign Up wird automatisch ein Admin Benutzer angelegt. Da

Man kann nun entweder über das NEW ITEM Feld einen Link, Notiz oder Screenshot einfügen oder direkt Webseiten über die Browser Extensions oder mobile Apps hinzufügen. Die Apps sind selbsterklärend und erwarten die URL für eure Karakeep Instanz und eure Zugangsdaten für euren Karakeep User.

User Einstellungen

In den User Einstellungen kann man dann weitere Dinge konfigurieren wie RSS Feeds die gecrawled werden sollen, Prompts für die AI Zusammenfassung von Texten usw. Die User Settings erreicht ihr über das Menü rechts oben:

Hier kann man dann alles von AI über Webhooks, RSS Feeds oder auch Imports aus anderen Tools wie Omnivore, Pocket, Linkwarden usw. durchführen oder auch API Keys generieren. Wir werden einen API Key im nächsten Teil benötigen, also könnt ihr auch direkt einen anlegen.

Einträge bearbeiten

Einzelne Einträge sehen so aus:

Über die beiden Symbole rechts unten kann man entweder weitere Optionen über die ... anzeigen (bspw. einen neuen Crawl anstoßen, Eintrag archivieren, löschen…)

Oder man kann den detaillierten Eintrag aufrufen über das maximieren Symbol. Hier findet man bspw. die Option Tags zu bearbeiten, findet einen Transcript zum Inhalt und kann sich auf Wunsch eine Zusammenfassung per AI einfügen lassen oder eigene Notizen schreiben:

Die Zusammenfassung mittels AI sieht dann bspw. so aus:

Achtet nur darauf, dass dies ggf. OpenAI Tokens kostet und damit nicht kostenfrei ist. Ich beobachte mal wie teuer der ganze Spaß ist und poste dann einen Nachtrag in ein paar Wochen oder Monaten.

Einbinden SingleFile Extension als Workaround für Captcha Sites

Leider musste ich feststellen, dass Seiten die durch CAPTCHAS gesichert sind nicht so einfach mit Karakeep funktionieren (was technisch natürlich auch so gewollt ist). Ein Workaround ist momentan die Verwendung der SingleFile Extension als Browser Extension für Firefox oder Chrome. Diese Extension erlaubt es eine ganze Website als html Datei zu speichern. Karakeep erlaubt es dann diese Seite als Asset hochzuladen und zu verarbeiten.

Momentan funktioniert diese Lösung nur mit dem aktuellen Nightly Release, soll aber mit in das nächste Release einfließen. Deshalb verweise ich hier nur auf die Anleitung bei Karakeep selbst, da sich natürlich noch einiges ändern kann und nicht jeder den instabilen Nightly Build verwenden möchte.

Hier die momentane Anleitung in Stichpunkten:

Installiere die SingleFile extension.
In den Einstellungen der Extension auswählen Destinations.
Wähle upload to a REST Form API.
Bei der URL folgendes eintragen: https://YOUR_SERVER_ADDRESS/api/v1/bookmarks/singlefile.
Beim authorization token den API Token eintragen den ihr euch in den User Settings von Karakeep generiert habt
Dasdata field name auffile.
DasURL field name auf url.
(Optional) Fügt &ifexists=MODE zum URL Feld hinzu MODE entspricht einem der Werte: skip, overwrite, overwrite-recrawl, append, oder append-recrawl. Bei mir steht dies gerade auf overwrite
Man sollte außerdem noch die MAX_ASSET_SIZE_MB: 100 in den ENV Variablen setzen. Standard ist 4MB und das könnte zu wenig sein, da die gerippten Seiten ggf. relativ groß werden

Shorts - PIPESTATUS

2025-03-04T00:00:00+00:00

Shorts - PIPESTATUS um die Fehlercodes verketteter Befehle auszugeben

`$?` gibt nur den Exit Code des letzten Befehls aus

Es kommt öfter vor dass man den Exit Status eines Befehls oder Scripts abrufen möchte. Dazu kann man bspw. die $? Variable verwenden wie in folgendem Beispiel:

#!/bin/bash
grep unbekannt.meineDomain.com /etc/hosts
if [ "$?" -ne "0" ]; then
    echo "Ich kann keinen Eintrag in der hosts Datei finden!"
  exit 2
fi

Die $? Variable gibt den Exit Code des letzten ausgeführten Befehls aus, in unserem Beispiel oben wird also in der if-Bedingung geprüft ob der Exit Code des vorigen Befehls ungleich (-ne) “0” ist (“0” bedeutet “success”, alles andere “fail”). Soweit, so gut.

Was macht man aber wenn man bspw. eine Pipe hat, also mehrere Befehle aneinander kettet? Hier kann einem die PIPESTATUS Variable dienlich sein.

Nehmen wir unser voriges Beispiel, aber pipen wir die Ausgabe von grep in tee:

#!/bin/bash
grep unbekannt.meineDomain.com /etc/hosts 2>&1 | tee /tmp/grep_results.txt
if [ "$?" -ne "0" ]; then
    echo "Ich kann keinen Eintrag in der hosts Datei finden!"
  exit 2
fi

In diesem Fall würde $? den Exit Code von tee und nicht von grep ausgeben.

Visuell lässt sich das bspw. auch so darstellen, auch wenn das Beispiel konstruiert ist:

❯ true | false | true | false | true
❯ echo $?
0

Die Befehle true und false machen genau das was drauf steht und geben “true” (also Exit Code 0) oder “false” (also einen Exit Code ungleich 0) aus. Wie man sieht gibt $? nur den Exit Code des letzten Befehls wieder, egal ob in unserer Pipe irgendwo etwas schiefgelaufen ist.

PIPESTATUS speichert als Array Variable alle zuletzt gelaufenen Befehle

Wie in der Überschrift steht handelt es sich bei PIPESTATUS um eine Array Variable welche die Exit Codes unserer zuletzt ausgeführten Befehle:

❯ true | false | true | false | true
❯ echo $pipestatus
0 1 0 1 0

Achtung: Ich benutze hier die Z-Shell, deshalb nennt sich die Variable hier $pipestatus in Bash würde die Variable groß geschrieben werden und $PIPESTATUSheißen!

Die crux an der Sache ist leider, dass $PIPESTATUS nicht persistent ist und in unserem Beispiel direkt durch den Exit Code vom echo Befehl überschrieben wird. Hier muss man ggf. mit einer Hilfsvariable arbeiten und das Array zwischenspeichern wenn man die Ergebnisse später analysieren möchte.

Shorts - tldr man pages light

2024-05-31T00:00:00+00:00

Shorts - tldr: man pages light

tldr, benannt nach einem alten Internet-Akronym für too long; didn’t read, ist ein tool das getreu seinem Namen die teilweise unnötig langen man pages ergänzen soll. Im Prinzip handelt es sich dabei um ein online repository von in Markdown verfassten Kurzanleitungen (oft mit Beispielen) für diverse Kommandozeilen Tools (primär Linux, aber ebenfalls MacOS und Windows!). Es gibt sowohl lokal installierbare Clients als auch eine online Version des Tools. Während ich diesen Artikel verfasse gibt es bereits über 16.000 Seiten die ständig von einer aktiven Community erweitert werden.

Zur Veranschaulichung hier ein Beispiel wie der Kommandozeilen-Client aussieht, gezeigt ist der Node.js Client:

Der Aufruf erfolgt ganz einfach über

tldr <Befehl>

Wie man sieht erhält man in der Regel eine Kurzbeschreibung was der Befehl eigentlich macht sowie eine Liste mit Aufrufparametern und ggf. Vorschläge für alternative Programme die ähnliche Funktionen erfüllen.

Die Hilfeseiten selbst sind in Markdown geschrieben und werden von der Community erstellt und verwaltet.

Installation

Wie eingangs geschrieben kann man die tldr Seiten auch online über diese Website abrufen, es gibt aber auch diverse Clients die man installieren kann. Der momentan laut Projektseite beste Client ist der Node.js Client. Dieser lässt sich mittels NPM ganz einfach wie folgt installieren:

npm install -g tldr

Weitere Clients kann man im Wiki finden, es gibt bspw. auch einen Python Client.

Update

Nach der Installation kann man über

tldr update

ein Update der lokal gespeicherten Pages anstoßen.

Übersetzungen

Es gibt ebenfalls ein Projekt das versucht die tldr pages in möglichst viele Sprachen zu übersetzen um diese zugänglicher zu machen. Den Status des Projekts kann man hier abrufen.

Unterstützung

Man kann das Projekt auch unterstützen. Dies bietet sich gerade für Anfänger an die noch nicht viel mit Git gearbeitet haben. Das Projekt ermuntert jeden dazu eigene Seiten im Repository des Projekts anzulegen oder bestehende zu verbessern. Dazu einfach im /pages Verzeichnis des Repository anlegen oder bearbeiten und danach ein pull request anstoßen. Bitte beachtet aber die Contributing Guidelines!

Linux Basics - sed Grundlagen

2023-01-20T00:00:00+00:00

sed - ein mächtiges Tool zur Verarbeitung von Text/Streaming-Daten

Nachdem wir uns zuletzt angesehen haben wie data streams funktionieren und wie man Daten von einem Programm ins nächste pipen kann, wollen wir uns heute eines der beliebteren Tools für diesen Zweck ansehen.

Der Name sed steht für stream editor und mit dem tool lassen sich weitreichende Änderungen an Texten durchführen wie beispielsweise search, delete oder replace Operationen.

Dabei kommt sed auch mit regular expressions (kurz: RegEx) klar und erlaubt so die Suche und den Austausch von Textstrings mittels pattern matching.

Sed funktioniert dabei so dass es Ausgangsdaten entweder aus einer Datei oder direkt aus einem output stream erhält, diese Daten in einem working space ablegt und nach Ausführung dann in einen output stream (meistens stdout) ausgibt. Dabei werden die Ausgangsdaten (also auch Ausgangsdateien) erstmal nicht verändert, es sei denn man forciert dies durch Nutzung des -i (für in place) Schalters.

Syntax

Sed folgt den normalen Konventionen eines Programmaufrufs unter Linux:

# Triviale Syntax, bei einzelnem command kann man dies einfach angeben, bei mehreren Operationen muss man den -e Schalter vorsetzen

sed [optional:flags] command <filename>

# In diesem Beispiel sucht und ersetzt sed im kompletten Text der Datei Beispieltext.txt das Wort "dieses" durch "jenes"

sed -e s/dieses/jenes/g Beispieltext.txt

# Man kann auch direkt Daten aus einem Datenstream ersetzen

echo "I hate you!" | sed s/hate/love/

Was passiert hier also?

Der sed Befehl ruft das Programm auf, im einfachsten Fall folgt dann eine durchzuführende Operation und der Dateiname. In unseren Beispielen oben führen wir dabei eine (s)ubstitution durch. Zwischen den Slashes “/” werden dabei der Suchbegriff und der Ersatzbegriff eingeschlossen. Die Slashes werden dabei als Delimiter bezeichnet und können durch beliebige andere Symbole, bspw. Doppelpunkte (“:”), ersetzt werden. Damit wäre also


echo "I hate you" | sed s:hate:love:

ebenfalls eine valide Schreibweise!

Beim ersten Beispiel folgt der (g)lobal Schalter der angibt dass der Ersatz global, also für den gesamten Text erfolgen soll. Ohne den global-Schalter würde nur das erste Auftreten von “dieses” ersetzt.

Im zweiten Beispiel haben wir den (g)lobal-Schalter weggelassen da wir sowieso nur das eine Wort ersetzen wollen.

Das zweite Beispiel illustriert dabei dass sed nicht unbedingt mit einer Datei gefüttert werden muss sondern auch direkt Daten bspw. aus einem anderen Befehl erhalten kann.

sed kann noch viel mehr, dies zu beschreiben würde aber den Umfang dieses (Einstiegs-)Artikels sprengen. Gegebenenfalls lasse ich nochmal einen weiteren Artikel mit ein paar umfangreicheren Beispielen folgen. Wichtig ist nur zu verstehen dass sed sehr mächtig ist um Textdaten nicht-interaktiv und automatisiert bearbeiten zu können.

Im nächsten Schritt gehen wir etwas weiter und schauen uns das häufig gemeinsam mit sed verwendete tool awk an.

Abschließend bleibt vielleicht noch festzuhalten dass man sämtliche Operationen die wir mit sed und awk durchführen werden auch mit einem Perl-, Python oder anderweitigem Skript durchführen könnte. sed und awk gehören aber zum Standardumfang quasi aller moderner Linux Distributionen und bieten daher sowohl den Vorteil immer “mit an Bord” zu sein und die tools sind sehr klein und können in der Regel auch auf einem ausgelasteten Server laufen um bspw. große log files zu bearbeiten ohne einen nennenswerten impact auf die performance zu haben.

Linux Terminal und file streams

2022-09-14T00:00:00+00:00

Was sind file streams/descriptors

Wenn man unter Linux ein Programm ausführt sind per default Verhalten immer drei file streams aktiv (manchmal auch descriptors genannt):

Name	symbolischer Name	Wert	Beispiel
standard input	stdin	0	Tastatur
standard output	stdout	1	Terminal
standard error	stderr	2	log Datei

Normalerweise sind diese file streams dabei so belegt dass die Standardeingabe von der Tastatur kommt während die Standardausgabe und die Fehlerausgabe an das angeschlossene Ausgabegerät, also den Bildschirm gesendet wird. Wie man diese Ausgaben umleiten kann erläutere ich gleich ebenfalls noch.

I/O Umleitungen und praktische Anwendung

Da ich selber dieses Konzept am Anfang auch schwer verständlich fand schauen wir uns ein paar Beispiele an:

Nehmen wir an wir haben ein Programm, dann können wir im Linux Terminal diesem Programm durch Verwendung des kleiner als (“<”) eine beliebige Datei als input zuweisen, es bietet sich an das < als einen Richtungspfeil zu interpretieren:

/$ Programm < Input_Datei

Dadurch wird das Programm aufgerufen und gleichzeitig die Input_Datei als Input an das Programm gesendet. Möchte man umgekehrt den output eines Programms an eine Datei schicken würde man die Richtung des “Pfeils” ändern, also ein größer-als Zeichen verwenden:

/$ Programm > Output_Datei

Hier würde analog der Output des Programms an “Output_Datei” weitergeleitet.

Wichtig ist an dieser Stelle dass < und > beides prinzipiell short-hands darstellen und man für den Output rein formal auch schreiben könnte:

/$ Programm 1> Output_Datei

Dies ist wichtig zu verstehen da unser Beispielprogramm gegebenenfalls auch noch Fehlercodes erzeugt, diese würden in unserem Beispiel weiterhin an die Standardausgabe gehen, also vermutlich auf dem Monitor ausgegeben werden. Um die Errorausgabe in eine Datei auszugeben würde man analog zum obigen Beispiel folgendes machen:

/$ Programm 2> Error_Datei

In diesem Beispiel wird der Output des Programms an die Standardausgabe geschickt während etwaige Fehler in Error_Datei landen.

Möchte man sowohl Output als auch Fehlermeldungen in die gleiche Datei umleiten gibt es auch hierfür eine Kurzfassung:

/$ Programm > Output_Datei 2>&1

Der Zusatz 2>&1 sagt dabei einzig und alleine aus dass Fehlermeldungen (“2>”)an die gleiche Stelle ausgeleitet werden sollen wie der standard output (&1), in diesem Fall würden also Output und Fehlermeldungen beide in Output_Datei gespeichert werden.

Unter Bash geht das Ganze sogar noch kürzer indem man die descriptors einfach auslässt da diese impliziert sind:

/$ Programm >& Output_Datei

Umleitung mittels der Pipe in ein anderes Programm

Nachdem wir nun gelernt haben wie man den Output eines Programms in eine Datei umleitet gibt es unter Linux auch die Möglichkeit den Output eines Programms direkt in ein anderes Programm umzuleiten, also den stdout eines Programms als stdin in ein weiteres Programm zu leiten - oder anders ausgedrückt: zu pipen!

Verwendet wird dafür die so genannte Pipe, also das Symbol was auf einer deutschen Tastatur erscheint wenn man AltGr+< drückt. Das Symbol für die Pipe ist ein vertikaler Strich: |.

Programme die über eine Pipe einen Datenstrom empfangen werden auch Filter genannt.

Achtung! Wichtig zu beachten ist dass Pipes unidirektional sind! Das heisst Daten werden immer von | links | nach | rechts durch die Pipes geleitet.

Syntax

Die Syntax ist relativ einfach:

command_1 | command_2 | command_3 | .... | command_N

man führt also command_1 aus wie man es immer ausführen würde, also bspw. inklusive aller Parameter. Der stdout von command_1 wird dann in command_2 als stdin gepiped und so weiter.

Beispiele

Kommen wir nun zu ein paar anschaulichen, aber auch nützlichen Beispielen dafür wie man die Pipe nutzen kann:

Nehmen wir an wir möchten eine sortierte Liste mit allen Benutzern des aktuellen Systems. Das kann man relativ leicht wie folgt durchführen:

cat /etc/passwd | sort | awk -F: '{print $1}'

Zur Erklärung: Als erstes wollen wir die Einträge aller User des Systems aus /etc/passwd mittels cat auslisten. Da diese Liste allerdings nicht sortiert ist, pipen wir sie in das sort Programm, dort werden die Zeilen dann alphabetisch sortiert. Als letztes wird es (nur ein bisschen) komplizierter weil wir nun unsere sortierte Liste mit Usern noch bereinigen möchten. Wir benötigen nämlich eigentlich nur die Liste der Namen, der Rest ist uns erstmal egal. In diesem Beispiel verwende ich dafür das Programm awk das wir an anderer Stelle auch nochmal besprechen werden.

Das Ergebnis obiger Operation könnte bspw. so aussehen:

Man könnte nun noch weiter gehen. Möchtest du wissen wieviele Benutzer das System hat? Einfach das Ergebnis obiger Operation in das Programm wordcount mit dem -l flag pipen:

cat /etc/passwd | sort | awk -F: '{print $1}' | wc -l 

Das Beste an der ganzen Sache ist dass nur der Datenstrom zwischen den Programmen angepasst wird, die ursprüngliche passwd Datei wird nicht verändert!

Gerne wird die Pipe auch mit grep verwendet um das Ergebnis einer vorigen Operation nochmal mit irgendwelchen regular expression Regeln zu filtern.

Bleiben wir bei unserem passwd Beispiel könnten wir beispielsweise einfach nach einem bestimmten User filtern, also beispielsweise:

cat /etc/passwd | grep TestUser

Dies würde nur die Zeile der passwd auswerfen die den String “TestUser” enthält.

Ein anderes gern benutztes Programm in der Pipe ist uniq über das sich doppelte Einträge etc. ausfiltern lassen. Der Fantasie sind hier keine Grenzen gesetzt und es ist eine gute Idee sich mit dem Thema zu beschäftigen. Leider ist die Pipe dabei nur so mächtig wie das eigene Verständnis von den Tools die auf dem System verfügbar sind, aber wenn man das Prinzip einmal verstanden hat kann man sich richtig mächtige, automatisierte Workflows zusammen bauen die einem viel Arbeit abnehmen.

Shorts - Achtung beim Klonen von Virtualbox VMs

2022-01-19T00:00:00+00:00

Das Ausgangsproblem

Ich war dabei eine Testumgebung aufzubauen um mehrere VMs mit verschiedenen dockerisierten Applikationen laufen zu lassen. Da ich faul bin habe ich mir gedacht dass ich eine VM aufsetze, Docker installiere und die Maschine dann klone. Normalerweise organisiere ich mir solche Setups mit mehreren VMs über ein Tool wie Vagrant. Diesmal habe ich aber einfach eine Maschine in Virtualbox aufgesetzt und diese dann geklont.

BÖSER FEHLER!

Denn obwohl ich daran gedacht habe beim klonen der VM anzuhakeln dass die neue Maschine eine neue Mac-Adresse bekommt, war das nicht ausreichend!

Nach dem Klonen der VM konnte ich beide VMs hochfahren, musste aber feststellen dass diese sich im Netzwerk nicht sehen konnten. Nach kurzer Suche dann die große Verwirrung: beide Maschinen bekamen die gleiche IP zugewiesen!

The plot thickens!

Nach 1,5 Stunden Sucherei und herumprobieren dann die Erkenntnis:

zusammen mit der Maschine wurde auch die machine-id geklont

Das war mir so nicht bewusst, obwohl es natürlich logisch ist. Die machine-id ist eine Identifikationsnummer die normalerweise während der Installation des Systems zufallsgeneriert wird und den Host eindeutig identifizieren soll.

Abrufen kann man die machine-id beispielsweise über:

cat /etc/machine-id

Wer nochmal genauer nachlesen möchte kann eine deutsche Übersetzung der Manpage bspw. bei Debian finden.

Die Lösung

Um mein Problem mit den doppelten IPs zu lösen musste ich also eine neue machine-id generieren.

Das kann man wie folgt machen:

sudo rm -f /etc/machine-id
sudo dbus-uuidgen --ensure=/etc/machine-id
sudo rm /var/lib/dbus/machine-id
sudo dbus-uuidgen --ensure
reboot

Nach einem Reboot wurden dann endlich vom DHCP Server verschiedene IP-Adressen vergeben.

In Zukunft werde ich aber doch wieder Vagrant verwenden…

Shorts - Windows Server remote rebooten

2021-12-04T00:00:00+00:00

der Shutdown Befehl

Neulich hatte ich ein Kundensystem das keine RDP Session mehr aufbauen wollte. In solchen Fällen ist es nützlich dass der shutdown Befehl auch übers Netzwerk ausgeführt werden kann:

shutdown /r /m \\{RemoteRechner} /t 60

dabei sind die einzelnen flags:

/r Restart

/m \{IP/Hostname} Remote Rechner

/t time delay

Microsoft hat ebenfalls einen eigenen Artikel zum shutdown Befehl und allen seinen flags.

Windows Kommando Referenz

In diesem Zusammenhang ist sicher auch die Windows Kommando Referenz sehr interessant. Hier findet man einen A bis Z Glossar aller Windows Server und Client Befehle für die Kommandozeile. Es lohnt sich hier mal durch zu scrollen!

Linux Basics Teil 3 - Terminal, Shell, Command Line und Prompt

2021-09-19T00:00:00+00:00

Worum geht es hier überhaupt?

Fängt man mit Linux an stößt man unweigerlich irgendwann auf die Kommandozeile. Viele Benutzer schrecken hiervor anfangs zurück weil die Eingabe von Befehlen und die Ausgabe auf einer Textzeile anfangs gewöhnungsbedürftig sind und viele Benutzer sich überfordert fühlen. Dieses Problem wird auch nicht dadurch besser dass viele Artikel und auch andere Benutzer in Foren und auf social media wie selbstverständlich mit unbekannten Fremdwörtern um sich werfen. Dem möchte ich ein wenig mit diesem Artikel entgegen wirken.

Ein wenig Historie und der Begriff des Terminals

Ein Terminal, auch genannt Konsole oder auch klassisch deutsch als Datensichtgerät bezeichnet war früher^TM tatsächlich ein externes Gerät zur Abfrage und Eingabe von Daten auf einem Server. Im Prinzip handelte es sich dabei um einen Bildschirm samt Tastatur um auf einem Großrechner aus der Entfernung seine Arbeiten zu verrichten. Die Dinger sahen so aus:

[^Terminal]

Heute gibt es Terminals in dieser Form kaum noch und in den meisten Firmen und Einrichtungen haben sich die individuellen Personalcomputer durchgesetzt.

Was hat das nun mit Linux zu tun

Nachdem die Hardware Terminals im wesentlichen den Weg des Dodos gegangen sind ist das Software Terminal unter Linux nach wie vor lebendig.

Hierunter versteht man im wesentlichen eine Softwareemulation eines Terminals. Wenn man also sowas sieht hat man ein Softwareterminal vor sich:

Der Begriff des Terminalemulators meint dabei das Fenster bzw. das äußere Programm. Selber macht der Terminalemulator mehr oder weniger viel, er bietet im wesentlichen den anderen Programmen nur eine Bühne um ausgeführt zu werden. Einige Terminals, wie beispielsweise kitty welches ich momentan nutze, haben ein paar besondere Funktionen wie keyboard shortcuts, Tabbing, geteilte Fenster oder sogar ein eigenes Skripting-System. Teilweise verschmelzen hier auch ein wenig die Grenzen zur Shell. Damit wären wir dann auch…

Die Shell

Erinnert ihr euch noch als wir im ersten Artikel über die GNU Core Utils gesprochen haben? Im Prinzip ist die Shell das Programmgerüst über das diese weiteren Programme ausgeführt werden. Verschiedene Shells bringen verschiedene Funktionalitäten und Standardprogramme mit sich. Korn, Bash, Zsh und viele andere sind Beispiele für Shells die sich mal mehr und mal weniger voneinander unterscheiden.

Welche Shell Ihr momentan verwendet könnt Ihr auf verschiedene Arten herausfinden:

Zum einen könnt ihr direkt in die Konfigurationsdateien hineinschauen.

less /etc/passwd|grep user

Unter /etc/passwd sind Informationen zu dem einzelnen Usern abgelegt, rufe ich beispielsweise oberen Befehl für meinen User david auf, so bekomme ich folgenden output:

less /etc/passwd|grep david
david:x:1000:1000:david,,,:/home/david:/usr/bin/zsh

Die Einträge in dieser Datei sind durch : geteilt und enthalten beispielsweise Informationen zum Usernamen, Home-Directory des Nutzers und so weiter. Wir werden uns diese Datei nochmal ansehen sobald wir behandeln wie man User anlegt und verwaltet. Uns interessiert gerade nur der letzte Eintrag:

:/usr/bin/zsh

Dieser sagt aus dass jedes neues Terminal dass für meinen User aufgerufen wird, erstmal mit ZSH als Shell startet. Hier könnte auch eine andere shell, beispielsweise die bash stehen.

Ebenfalls kann man aber auch die Shell über Umgebungsvariablen herausfinden:

echo $SHELL

gibt beispielsweise die default Shell an die das System benutzt. Hier ist zu beachten dass dies nicht zwangsläufig auch die aktuell laufende Shell sein muss, sondern nur die mit der das Terminal normalerweise startet!

Etwas hackig aber funktioniert normalerweise auch wäre dieser Befehl:

echo $0

wobei $0 den aktuell laufenden Prozess anzeigt, in der Regel ist das die Shell. Eine andere Art den aktuellen Prozess anzuzeigen wäre aus der Variable $$ und wenn man es ganz genau wissen will kann man über den ps Befehl die Prozess-ID heraussuchen und auf den Namen des Prozesses filtern, das sieht dann so aus:

ps -p "$$" -o command=""

Es gibt noch weitere Varianten die aber zum Teil auf spezifische Features einer Shell zugreifen. Selbst ps -p funktioniert anscheinend nicht auf allen Systemen, das habe ich persönlich allerdings noch nicht erlebt.

Eine Liste der auf eurem System installierten Shells findet ihr bei den meisten Distributionen unter /etc/shells Also beispielsweise anzeigbar über den Befehl:

cat /etc/shells
# /etc/shells: valid login shells
/bin/sh
/bin/bash
/usr/bin/bash
/bin/rbash
/usr/bin/rbash
/bin/dash
/usr/bin/dash
/usr/bin/tmux
/usr/bin/sh
/usr/bin/fish
/usr/local/bin/fish
/bin/zsh
/usr/bin/zsh

kleine Liste von Shells

Hier möchte ich kurz ein paar Shells vorstellen damit Ihr euch eine Vorstellung machen könnt wo die Unterschiede liegen.

Diese Liste soll sukzessiv zusammen mit weiteren Artikeln zu den einzelnen Shells erweitert werden.

Bash

Bash ist die meines Wissens am weitesten verbreitete Shell, gehört zum GNU Projekt und wurde Ende der 80er Jahre veröffentlicht und wird bis heute weiterentwickelt. Unter anderem Ubuntu setzt auf die Bash und auch in MacOS kam sie lange Jahre zum Einsatz und wurde nur aus lizenzrechtlichen Gründen ersetzt.

Fußnoten

Shorts - Windows für mehrere RDP Sessions konfigurieren

2021-09-12T00:00:00+00:00

Problemstellung

Seit Windows Server 2012 ist es nicht mehr möglich mehrere RDP Sessions zu dem gleichen Server herzustellen. Man kann dieses Feature durch eine Anpassung der Gruppenrichtlinien jedoch wieder aktivieren. Wie das geht wird im folgenden beschrieben:

Howto: Mehrere RDP Sessions erlauben

Auf dem Server einloggen auf dem Remote Desktop Services installiert sind
den Gruppenrichtlinieneditor gpedit.msc öffnen (Windows-Start -> gpedit.msc in Suchfeld eingeben)
Computerkonfiguration –> Administrative Vorlagen –> Windows-Komponenten –> Remotedesktopdienste –> Remotedesktopsitzungs-Host –> Verbindungen
die Richtlinie „Remotedesktopdienste-Benutzer auf eine Remotedesktopdienste-Sitzung beschränken„ deaktivieren
Danach kann in der Richtlinie „Anzahl der Verbindungen einschränken“ die maximale Anzahl von RDP-Sessions konfiguriert werden.¹

Fußnoten

Ich habe hier mehrfach gehört dass es egal ist wieviele Sessions man hier einträgt, die maximale Anzahl Sessions ist »2«. Das habe ich aber bisher noch nicht nachgeprüft. ↩

Linux Basics Teil 2 - Distributionen

2021-08-22T00:00:00+00:00

Rekapitulation Teil 1

Im letzten Artikel haben wir kurz besprochen dass der Kernel das eigentliche Linux Basissystem darstellt, welches die Schnittstelle zwischen Software und Hardware bereitstellt.

Darauf setzen dann die Basis- oder auch coreutils auf. Die meisten Systeme benutzen hierfür die vom GNU Projekt erstellten open source Varianten der tools, die bereits aus dem proprietären UNIX System bekannt waren. Das daraus entstehende System wird (laut Richard Stallmann) GNU/Linux genannt, auch wenn es hier keine Einigkeit gibt und wir der Einfachheit halber in Zukunft nur von “Linux” sprechen werden.

Die Unterscheidung ist dennoch wichtig da es auch Linux Systeme gibt die komplett ohne Beteiligung des GNU Projekts auskommen. Dazu gehören bspw. Alpine Linux oder diverse BSD Varietäten, wodurch nicht immer sichergestellt ist dass jedes tool auf jedem System gleich funktioniert. Man muss also ggf. seine Scripte regelmäßig prüfen und vor dem Rollout auf einem neuen System die Kompatibilität checken.

Was ist eine Linux Distribution?

Eine Linux Distribution nimmt schließlich das GNU/Linux Basissystem und erweitert dieses um weitere Softwarepakete um ein komplettes Betriebssystem zu bauen. Hier wird es leider kompliziert da es eine ganze Reihe an Linux Distributionen gibt die sich teils in der zugrundeliegenden Philosophie, teils im Anwendungsbereich und der technischen Funktionalität unterscheiden.

So gibt es die klassischen Desktop-Distributionen die im Prinzip ein komplettes Betriebssystem für den Endanwender bereitstellen,inklusive grafischer Oberfläche und einem üppigen Softwarepaket.

Daneben gibt es reduzierte Varianten die beispielsweise im Serverbereich auf die grafische Oberfläche verzichten oder sogar so weit reduziert sind dass sie nur die notwendige Funktionalität bieten um bspw. einen Kleinstcomputer oder eine Waschmaschine zu steuern.

Daneben gibt es auch Varianten die für einen speziellen Zweck vorkonfiguriert wurden und bestimmte Softwarepakete direkt mitliefern, beispielsweise im Bereich Hacking und PenTesting.

Ebenso gibt es Distributionen die sich philosophisch unterscheiden. Beispielsweise gibt es diverse Distributionen die auf Software des GNU Projekts verzichten oder keine proprietäre Software einbinden für die der Quellcode nicht offen liegt (bspw. Grafikkarten- oder Druckertreiber).

Dementsprechend ist das Linux Umfeld riesengroß und es fällt einem Anfänger sicherlich schwer eine geeignete Distribution zu finden. Je nach Quelle gibt es mehrere hundert bis etwas über eintausend aktiv entwickelte Distributionen. Da fällt es schwer die richtige zu finden.

Um einen Einstieg zu finden wollen wir uns ein paar der beliebtesten Distributionen kurz anschauen und diskutieren.

Enterprise Linux

Auch wenn Linux momentan noch ein Schattendasein auf dem Desktop fristet ist es ein ernstzunehmendes Serverbetriebssystem und hat dort, nach Microsoft Windows, den zweithöchsten Marktanteil mit >13% (siehe Statista). Im wesentlichen gibt es hier nur zwei wirkliche Konkurrenten: Suse Linux Enterprise (SLES) und Red Hat Linux. Beide führe ich hier nur der Vollständigkeit auf, da entsprechende Lizenzen für diese Betriebssystem auch wirklich “Enterprise” sind und mehrere tausend Euro betragen können.

Trotzdem ist es für den geneigten Nutzer vielleicht ganz spannend sich mit beiden auseinander zu setzen, da sowohl Suse als auch Redhat eigene Fortbildungen und Zertifizierungen anbieten. Für Suse wäre hier ein guter Startpunkt der Suse Certified Administrator (SCA) und für Red Hat der Red Hat Certified Systems Administrator (RHCSA).

Als Alternative lässt sich sicherlich noch die Distributions-agnostische Zertifizierung LPIC-1(und höhere) des Linux Professional Institute. Der Vorteil ist dass diese Prüfung sich nicht auf ein spezielles Linuxsystem stützt sondern allgemein gehalten ist.

Preislich liegt die LPIC-1 Zertifizierung mit 160€/Prüfung auf dem gleichen Niveau wie die Suse Zertifizierung. Red Hat schert hier ziemlich aus und ruft mit 515€ schon eine ganze Stange mehr Geld auf.

Welche Zertifizierung man tatsächlich bevorzugt ist im wesentlichen Geschmackssache, inhaltlich ähneln diese sich doch relativ stark und es gab auch einmal die Möglichkeit sich von Suse ein LPIC-1 Zertifikat ausstellen zu lassen.

Dekstop Linux

Debian/Ubuntu Derivate

Debian ist eine sehr lang gereifte (Bj. 1993) Linux Distribution deren Markenzeichen es ist nur absolut sichere und getestete Software auszuliefern. Dadurch ist Debian immer etwas hinter der Zeit, erkauft sich damit aber eine sehr hohe Systemstabilität. Debian ist aus diesem Grund insbesondere im Serverumfeld sehr beliebt und eignet sich für Desktop User, die nicht nur 10 Jahre alte Software nutzen möchten, eher weniger.

Ubuntu

Hier kommt Ubuntu ins Spiel das als Abkömmling von Debian konzipiert wurde mit dem Ziel Debian für den Normaluser nutzbar zu machen. Mittlerweile ist Ubuntu ebenfalls eine sehr ausgereifte Distribution (Bj. 2004) und veröffentlicht in einem halbjährlichen Rhythmus eine neue Version, sowie alle zwei Jahre ein long term release mit erweitertem Support. Ebenfalls dringt Ubuntu langsam aber sicher in den Enterprise Raum vor und nimmt Suse und Red Hat anscheinend Anteile ab. Allerdings ist das nur meine persönliche Erfahrung, mir sind hierzu keine aussagekräftigen Statistiken bekannt.

Eigenschaften von Ubuntu

Ubuntu basiert wie eingangs erwähnt auf Debian und benutzt deshalb auch den Debian Package Manager der es sehr einfach macht Software auf dem System zu installieren. Da Ubuntu kein reines Community Projekt ist, sondern von der Firma Canonical weiterentwickelt wird, steht hier auch ordentlich Manpower hinter dem Projekt. Software sowie Betriebssystem selber werden umfassend getestet und auf qualitativ hohem Niveau weiterentwickelt. Die Dokumentation ist exzellent und man findet quasi zu jeder Frage die man hat eine Antwort. Im Gegensatz zu vielen anderen Distributionen gibt es für Ubuntu ebenfalls eine große deutschsprachige Community falls man sich als Anfänger nicht direkt den englischen Fachjargon einiger Foren zutraut. Ubuntu ist eine GNU/Linux Distribution und schwimmt damit im Mainstream mit, was gerade Anfängern entgegen kommen sollte. Als Standard-Shell kommt Bash zum Einsatz, eine weitverbreitete und beliebte Shell. Für den Window Manager (also die grafische Benutzeroberfläche) greift Ubuntu in seiner Standard Version auf Gnome zurück, einen soliden und weitverbreiteten Window Manager der eine gute Balance zwischen Ressourcenverbrauch, Usability und Eye Candy findet. Gnome sollte auf allen heute noch gebräuchlichen Computern und Laptops einwandfrei laufen. Solltest Du planen Ubuntu auf einem Kleinstrechner wie einem Raspberry PI zu installieren bietet Ubuntu allerdings auch andere Flavours an.

Fazit

Ubuntu ist ein Allrounder. Dabei macht Ubuntu nichts schlecht, geht aber auch keine Risiken ein. Dadurch dass das System von einer Firma weiterentwickelt wird und auch im Enterprise Umfeld aktiv ist kann man davon ausgehen dass Ubuntu nicht über Nacht vom Markt verschwindet, was gerade Anfängern Sicherheit geben sollte. Der Großteil der verwendeten Software entspricht dem Standard und die Dokumentation ist hervorragend und die Community riesig. Gerade Anfängern sollte das entgegen kommen.

openSUSE

Suse führe ich hier aus drei Gründen auf. Zum einen, um das einmal vorweg zu nehmen, stand das S.u.S.E. in SuSE Linux ursprünglich als Akronym für Software- und System-Entwicklung. Das ist deshalb so weil SUSE ursprünglich aus Deutschland kommt und 1992 in Nürnberg das Licht der Welt erblickte.

Eigenschaften von SUSE

Neben diesem kleinen Ausflug in den Lokalpatriotismus bietet SUSE, bzw. sein freier Ableger openSUSE auch einige andere interessante Eigenschaften.

Zum einen ist SUSE quasi eine Eigenentwicklung die, im Gegensatz zu vielen anderen Distributionen, eben nicht auf einer der größeren Distributionen wie Debian/Ubuntu, Arch und wie sie alle heißen basiert. Das kann man als Vor- oder Nachteil sehen, hebt SUSE aber mit einer Reihe an Software Eigenentwicklungen aus der Masse heraus. So benutzt SUSE einen eigenen Package Manager, ein eigenes Snapshot- und bringt, jedenfalls in der Enterprise Version, auch professionelle Tools für Aufgaben wie Hochverfügbarkeit, Storage Management oder Cotainerverwaltung mit. Daneben ist SUSE Linux auch der Partner der Wahl für SAP.

Insgesamt stellt SUSE damit ein umfangreiches, stabiles System mit mehreren Jahrzehnten dar. Dies ist eine der Distributionen die nicht so schnell verschwinden werden.

Dabei wird SUSE in verschiedenen Varianten entwickelt. SLES, also SUSE LINUX ENTERPRISE SERVER, ist das kommerzielle Enterprise Angebot von SUSE.

Daneben gibt es noch die “freie” Variante openSUSE die von einer starken und aktiven Community getrieben wird und in zwei Varianten daher kommt: einem rolling release¹ (Tumbleweed) und einem statischen release (Leap).

Fazit

SUSE verfügt über eine sehr aktive Community und hat eine große Firma die das Projekt mittlerweile über Jahrzehnte voran treibt. Neben Red Hat Linux ist SUSE die zweite Distribution die fest im Enterprise Bereich verankert ist, was es sicherlich für Menschen mit beruflichen Ambitionen im Linuxumfeld zusätzlich interessant macht. Aus dem größeren Backing ergeben sich unter anderem auch Neu- und Weiterentwicklungen die andere, kleinere Projekte vermutlich so nicht stemmen könnten, gerade das Snapshot und Backup Konzept von SUSE ist schon sehr ausgereift. Für Anfänger ist es außerdem sehr angenehm dass SUSE quasi alle administrativen Aufgaben die auf dem System anfallen in seiner YAST Software unter einer einheitlichen Oberfläche vereint.

ZorinOS

ZorinOS ist eine weitere, Ubuntu basierte, Distribution die sich an Anfänger richtet und insbesondere Umsteiger von Windows ansprechen soll.

Zorin OS wurde erst kürzlich in Version 16 veröffentlicht (Stand 08/2021) und kommt sowohl in einer kostenlosen Core als auch einer kostenpflichtigen pro Version daher.

Die pro Version soll $39 kosten und beinhaltet ein paar Goodies die der Core Version fehlen. Doch dazu später mehr.

Wie eingangs erwähnt scheint sich ZorinOS vorwiegend an Windows-Umsteiger zu richten und bietet im Auslieferungszustand ein sehr sauberes, helles und an Windows angelehntes, fast schon minimalistisches Design.

Die Installation verläuft, wie bei den meisten Distributionen, über einen grafischen Installer. Nach der Installation wird man vom System mit einer geführten Tour durch die wichtigsten Systemfunktionen begrüßt. Ich hatte beim ausprobieren den Eindruck, dass es ZorinOS insbesondere Anfängern einfach machen will. So scheinen die verfügbaren Einstellungen auf das wesentliche reduziert worden zu sein und bieten eine Reihe aussagekräftiger Presets an, beispielsweise kann man bei den Layouts zwischen mehreren Vorlagen auswählen: Windows, Mac, Ubuntu,…).

Auch bei der Software geht ZorinOS keine Kompromisse ein und bietet out of the box Support für seine eigenen Software-Repositories, die von Ubuntu sowie Flathub und Snap, was eigentlich alles abdecken sollte.

Selbst die Integration von Wine zur Installation von Windows Software ist über einen Rechtsklick aus dem Kontextmenü zu erreichen und schön in das System integriert.

Darüber hinaus bietet ZorinOS alle Annehmlichkeiten die man auch von anderen Ubuntu/Debian basierten Distributionen kennt.

Education Version

ZorinOS bietet eine Education Version seines Betriebssystems die direkt mit diverser freier, dem Zweck angemessener, Software kommt.

Unter anderem gehören dazu Lernsoftware zu diversen Themen, aber auch Software für Videoconferencing und eine Software die eine hierarchische Steuerung/Überwachung der Schüler-Rechner von einem zentralen Lehrer-PC aus erlaubt (Veyon.io).

Pro Version

Neben der Core und der Education Version gibt es ebenfalls eine Pro Version von ZorinOS.

Disclaimer: Ich selber habe die Pro Version nicht getestet und beziehe mich nur auf die Informationen von der Website.

Die Pro Version soll $39 kosten und beinhaltet, soweit ich sehen konnte, hauptsächlich weitere freie Software Packages die aber bereits kuratiert und ordentlich in das System integriert zu sein scheinen.

Man zahlt also weniger für spezielle Software, sondern vielmehr für eine saubere und nahtlose Integration in das System. Eine genaue Liste mit Features der Pro Version lässt sich auf der Homepage einsehen.

Persönlich scheint es mir als würde sich diese Version an Firmenkunden richten, denn neben dem was ZorinOS als Professional-grade creative suite of apps und Advanced productivity software bewirbt, sind bspw. eine touch-/Stift-fähige Notizsoftware (Xournal++), eine Software zur Bildübertragung per Wi-Fi oder Miracast (bspw. für Präsentationen) und eine Software die einen KVM Switch nachahmt (Barrier) enthalten. Insbesondere Barrier stellt einen Segen dar, denn sie erlaubt es Maus/Tastatur, aber auch Dinge wie die Zwischenablage zwischen Computern zu teilen. Ihr könnt also ganz einfach gleichzeitig an eurem Desktop, einem Raspberry PI und beispielsweise eurem Laptop arbeiten ohne die Hand von der Tastatur nehmen zu müssen. Sehr praktisch!

Ebenfalls nennenswert ist vielleicht dass ZorinOS für seine Pro Version einen Update Support bis mindestens 04/2025 angekündigt hat und für seine Kunden einen Installationssupport bietet.

Zorin Grid

Grid wurde bisher nur angekündigt und scheint ein Tool zu sein dass die Linie der Pro Version fortsetzen soll. Die Software soll wohl eine Art Administrationsoberfläche für ein Netzwerk aus ZorinOS Rechnern bieten. Das geht zwar alles bereits jetzt schon mit anderer Software. Die meisten tools richten sich dabei aber an den professionellen Administrator und bieten häufig nur, für den Laien, unzugängliche Kommandozeilentools.

Grid scheint sich für mich eher an “Freizeit-Admins” zu richten, beispielsweise in kleineren Firmen oder Schulen, die die Administration nebenher erledigen sollen und für die eine einfach zugängliche UI ohne große Einarbeitungszeit wichtig ist.

Bisher ist Grid noch nicht erschienen, es lohnt sich aber die Augen offen zu halten.

Fazit

ZorinOS bringt ein auf Hochglanz poliertes Gesamtpaket mit bei dem zwar nur wenig wirklich neue Software auf den Tisch kommt, dafür aber die vorhandene Software exzellent in das System integriert wurde und besonderes Augenmerk darauf gelegt wurde, dass alles wie aus einem Guss funktioniert.

Wer momentan Windows nutzt, aber gerne einmal sein Glück mit Linux versuchen möchte der sollte einen genauen Blick auf ZorinOS werfen.

Vor allem kleinere Firmen, Schulen und Selbstständige könnten darüberhinaus mit der Pro Version glücklich werden. Diese scheint sich mit ihrem geringen Preis und der Software an professionelle User zu richten, ohne direkt die Kosten für eine echte Enterprise Distribution wie Red Hat oder Suse zu verursachen.

Fedora

CentOS

Manjaro

ElementaryOS

Fußnoten

Unter einem rolling release versteht man eine Distribution ohne feste Versionsnummern. Diese Distribution wird ständig und nach Bedarf weiterentwickelt und nicht nach einem festgelegten Zeitplan. ↩

Linux Basics Teil 1 - Einführung

2021-08-14T00:00:00+00:00

Was ist Linux überhaupt? Eine kurze Einleitung.

Sicherlich haben die meisten schon von Linux gehört, insbesondere Leute die (vermutlich gezielt) nach einem Blog wie meinem suchen. Deshalb möchte ich mich auch nicht mit ausschweifenden Erklärungen aufhalten. Dennoch gibt es ein paar (historische) Begriffe und Zusammenhänge die vielleicht ganz interessant zu wissen sind. Vielleicht sollte man diesen Abschnitt als eine Art sehr rudimentären Glossar betrachten.

Linux

Linux.com sagt zu der Frage was Linux ist folgendes:

Just like Windows, iOS, and Mac OS, Linux is an operating system. In fact, one of the most popular platforms on the planet, Android, is powered by the Linux operating system. An operating system is software that manages all of the hardware resources associated with your desktop or laptop. To put it simply, the operating system manages the communication between your software and your hardware. Without the operating system (OS), the software wouldn?t function.

Das ist soweit auch richtig, aber doch in der Definition sehr breit gezogen. Spricht man von Linux im engeren Sinne meint man damit eigentlich immer den Linux Kernel. Dabei versteht man unter dem Linux Kernel schlicht die basale Softwareebene die quasi die Kommunikation zwischen der Hardware (sprich: Prozessor, Arbeitsspeicher, Festplatten, …) sicherstellt und die Kommunikation mit dem “eigentlichen” Betriebssystem sicherstellt. Hier drängt sich natürlich der Verdacht auf dass auch andere Betriebssysteme etwas wie einen Kernel verwenden und so ist es auch: sowohl Microsoft Windows als auch MacOS (bzw. Darwin als Grundlage) verwenden ebenfalls einen Kernel. Da diese Systeme dem Nutzer aber weniger Mitspracherecht einräumen bekommt man von dieser Systemkomponente (im Guten wie im Schlechten) kaum etwas mit.

Die Aufgabenbereiche des Linux Kernels¹

GNU/Linux, Unix, Posix und die coreutils

Im Zusammenhang mit Linux hört man immer wieder Begriffe wie Unix, GNU, coreutils und andere und das kann sehr verwirrend werden. Ich möchte die Begrifflichkeiten hier etwas entwirren.

Unix war ursprünglich ein von Bell Labs entwickeltes Betriebssystem das Ende der 1960er Jahre entwickelt wurde. Allgemein eines der Features war dass Firmen das Betriebssystem an ihre Bedürfnisse anpassen konnten. Dadurch entwickelten sich sehr viele unterschiedliche Ableger des ursprünglichen Systems. Der Begriff UNIX ist übrigens eine eingetragene Marke und darf nur von zertifizierten Produkten verwendet werden. Unix-artige Systeme werden deshalb in aller Regel als “Unix” bezeichnet.

Die Unix-artigen Systeme kann man dabei hauptsächlich in zwei Gruppen einteilen:

Unix-derivate Systeme
Unixoide Systeme

Unix Derivate

Unter Unix Derivaten versteht man im wesentlichen Betriebssysteme die auf dem alten Unix Quellcode von Bell Labs aufbauen und entwickelt wurden. Dazu zählen bspw. das ursprüngliche BSD, HP-UX, AIX, Solaris und auch MacOS.

Unixoide Systeme

Im Gegensatz dazu stehen die Unixoiden Systeme die zwar mit Unix (mehr oder weniger) kompatibel sind und den zugrundeliegenden POSIX Standard erfüllen, aber ohne den ursprünglichen Quellcode von Bell Labs entwickelt wurden. Hierzu gehören beispielsweise das (moderne) BSD, aber auch zum Beispiel Linux.

POSIX und die Kompatibilität

Wie zuvor angedeutet gibt es einen Standard der die Funktionalitäten eines Unix Systems regelt um eine Portabilität und Kompatibilität zwischen den diversen Unix Derivaten zu gewährleisten. Das Reglement des Standards findet man beispielsweise hier: POSIX.

GNU und die coreutils

GNU (steht für “GNU is not UNIX”) wurde ursprünglich als Initiative gegründet um ein Unix-artiges System mit kompatiblen Tools zu entwickeln welches eine komplett freie Alternative zum Produkt der Bell Labs darstellen sollte. Zu diesem Zweck wurden beispielsweise die ganzen Basisprogramme von Unix für das GNU Projekt neu geschrieben (“coreutils”).

Dabei wurde aber bewusst an einigen Stellen der POSIX Standard verletzt und es wurden Programme teils um diverse Funktionen erweitert die so in anderen Unix Systemen nicht vorkommen!

Leider handelt es sich dabei sehr häufig um tatsächlich genutzte Funktionalitäten. Ein Beispiel wäre folgendes

sed -i 's/x/u/' meineDatei

In diesem Beispiel durchsucht das Programm “sed” die Datei “meineDatei” und ersetzt jedes “x” durch ein “u”. Sed ist eigentlich aber ein Stream-Editor und verändert deshalb nur den output ohne die ursprüngliche Datei zu verändern. Dafür ist das -i flag da, das sed signalisiert dass es die ursprüngliche Datei überschreiben soll.

Dieses flag ist nicht POSIX konform!

Das bedeutet dass das -i flag so nur unter den GNU coreutils verfügbar ist. Damit sind beispielsweise entsprechend verfasste Skripte nicht frei auf andere Unix-Systeme übertragbar und es kann durchaus vorkommen dass man auf seinem Ubuntu System ein Skript schreibt und dieses dann auf dem Mac vom Chef nicht lauffähig ist.

Leider ist mir nicht bekannt dass es irgendwo eine ausführliche Liste dieser inkompatiblen flags geben würde. Man ist hier also leider ein wenig der Göttin Fortuna ausgeliefert.

Alternativen

Ich möchte allerdings nicht verschweigen dass es auch POSIX kompatible Alternativen gibt, beispielsweise Plan 9 from User Space.

Diese Alternativen zu den GNU coreutils bringen allerdings ganz eigene Probleme mit sich, unter anderem den reduzierten (POSIX entsprechenden) Funktionsumfang und teilweise auch die Größe der Projekte und die dadurch entstehenden Risiken was die Zukunft, Bugfixing etc. eines Projekts angeht.

Es gibt auch komplette, GNU freie, Linux Distributionen wie beispielsweise Alpine

Fußnoten

Das Bild wurde aus dem umfangreichen Artikel auf Wikipedia übernommen ↩

Herr-Breier.de Blog

Linux Basics - awk Grundlagen

awk - ein mächtiges Linuxtool zur Verarbeitung von Textdaten

Warum sollte ich awk verwenden?

Arbeitsweise und Syntax von awk

Der Delimiter (Feld-Separator)

Muster-Aktionen-Paare im Detail

1. Muster: Reguläre Ausdrücke (RegEx)

Beispiel: Fehlermeldungen filtern

2. Muster: Vergleichsoperationen auf Feldern

Beispiel: HTTP-Status-Codes filtern

3. Muster: BEGIN und END

Felder und Variablen

Beispiel: Felder filtern und ausgeben

Beispiel: Das letzte Feld ausgeben

sed und awk arbeiten wunderbar zusammen

Weitere Informationen

Fußnoten

Karakeep als Alternative zu Pocket

Vorwort

Administration

Installation

Environment Variablen

OpenAI Api Key erstellen

Container starten, Reverse Proxy konfigurieren und andere Arbeiten

Container starten

checken ob die Container hochgekommen sind

Falls kein Docker Netzwerk vorhanden, eins anlegen

Container in das Netzwerk hängen

checken ob der Container im Docker Netzwerk hängt

Login und Usage

User Einstellungen

Einträge bearbeiten

Einbinden SingleFile Extension als Workaround für Captcha Sites

Shorts - PIPESTATUS

Shorts - PIPESTATUS um die Fehlercodes verketteter Befehle auszugeben

$? gibt nur den Exit Code des letzten Befehls aus

PIPESTATUS speichert als Array Variable alle zuletzt gelaufenen Befehle

Shorts - tldr man pages light

Shorts - tldr: man pages light

Installation

Update

Übersetzungen

Unterstützung

Linux Basics - sed Grundlagen

sed - ein mächtiges Tool zur Verarbeitung von Text/Streaming-Daten

Syntax

Linux Terminal und file streams

Was sind file streams/descriptors

I/O Umleitungen und praktische Anwendung

Umleitung mittels der Pipe in ein anderes Programm

Syntax

Beispiele

Shorts - Achtung beim Klonen von Virtualbox VMs

Das Ausgangsproblem

The plot thickens!

Die Lösung

Shorts - Windows Server remote rebooten

der Shutdown Befehl

Windows Kommando Referenz

Linux Basics Teil 3 - Terminal, Shell, Command Line und Prompt

Worum geht es hier überhaupt?

Ein wenig Historie und der Begriff des Terminals

Was hat das nun mit Linux zu tun

Die Shell

kleine Liste von Shells

Fußnoten

Shorts - Windows für mehrere RDP Sessions konfigurieren

Problemstellung

Howto: Mehrere RDP Sessions erlauben

Fußnoten

Linux Basics Teil 2 - Distributionen

Rekapitulation Teil 1

Was ist eine Linux Distribution?

Enterprise Linux

Dekstop Linux

Debian/Ubuntu Derivate

Ubuntu

openSUSE

ZorinOS

3. Muster: `BEGIN` und `END`

`$?` gibt nur den Exit Code des letzten Befehls aus