Nützliche Kleinigkeiten

Im Laufe der Zeit meiner Beschäftigung mit Computern haben sich unzählige kleine und größere Skripte, Ideen, Erkenntnisse und Erfahrungen zu allen möglichen Aufgaben in der täglichen Arbeit mit Computersystemen und -netzen angesammelt. Auf dieser Seite will ich in der kommenden Zeit einige dieser nützlichen Gedanken und Methoden zusammentragen. Vermutlich wird Diese Seite daher eine der am häufigsten ergänzten Seiten meiner Website werden.

Vorläufig gibt es hier drei Dinge aus der jüngsten Vergangenheit:

Überwachung eines DSL-Links

Nachdem Ich vor kurzem (Anfang Juni 2007) mit regelmäßigen Verbindungsabbrüchen meiner DSL-Leitung zu kämpfen hatte, stellte sich die Frage nach dem Warum. Ein Ansatz ist, die DSL (oder genauer die PPPoE) Statuspakete anzusehen. Der folgende tcpdump Filterausdruck filtert diese heraus:

tcpdump -l -n -i eth0 'ether[12:2] & 0x8868 == 0x8860 && ether[20:2] != 0x0021 && ether[22:1] & 0xfc != 0x08'

Der erste Term ether[12:2] & 0x8868 == 0x8860 filtert alles aus was nicht mit PPPoE zu tun hat. Der zweite Term ether[20:2] != 0x0021 filtert alle PPPoE Pakete aus, die IP Nutzdaten transportieren. Der dritte Term ether[22:1] & 0xfc != 0x08 schließlich eliminiert die PPPoE Echo-Pakete, welche der Überprüfung, ob die Gegenstelle noch "lebt", dienen. Dieser dritte Term ist nicht 100% genau, er filtert außer dem Pakettypen 0x09 und 0x0a auch noch den Typ 0x0b aus.

Eine Schwierigkeit hierbei war, dass die von tcpdump -vv ausgegebenen Paketlängen nicht ganz zu den Offsets in den entsprechenden C-Headerdateien passten.

Ad-hoc Webstatistik

Manchmal sitzt man vor einem langen Weblog oder anderen Protokolldateien und hat ein paar dringende Fragen an die Daten, aber leider kein passendes "richtiges" Analysewerkzeug zur Hand. Glücklicherweise bringen Unix-Systeme wie Linux, *BSD und andere alles mit, was man für eine Ad-hoc Lösung braucht. Der folgende Einzeiler liest ein Apache Zugriffslog und ersetzt dabei die IP-Adressen im Log durch die zugehörigen Hostnamen.

touch ipcache.txt ; grep -e '"GET /.*\.html HTTP/1.1" [23]' <$ACCESSLOG | ( ipc=0 ; while read ip h ; do ipt[$ipc]=$ip ; ht[$ipc]="$h" ; ((ipc++)) ; done <ipcache.txt ; while read ip m u d ; do h="" ; for ((i=0;i<ipc;i++)) ; do if [ ${ipt[$i]} == $ip ] ; then h=${ht[$i]} ; break ; fi ; done ; if [ -z "$h" ] ; then h=$(host $ip | grep -v -e 'connection timed out' -e 'Warning: ID' | sed -e 's%^[0-9.]\+in-addr.arpa domain name pointer %%' ) ; if [ ! -z "$h" ] ; then ipt[$ipc]=$ip ; ht[$ipc]="$h" ; ((ipc++)) ; echo "$ip $h" >>ipcache.txt ; else h=$ip ; fi ; fi ; echo $h $u $d; done ; ) 2>&1 | tee mainlog2.txt | less -M

Das besondere an diesem Einzeiler ist, das er mit einem Cache für die IP-auf-Hostnamen Umsetzung arbeitet, was zum einen freundlicher zum nächstgelegenen Nameserver ist, und zum anderen die Abarbeitung erheblich beschleunigt - insbesondere bei wiederholter Ausführung!
Der besseren Lesbarkeit wegen dasselbe nochmal etwas platzgreifender formatiert:

touch ipcache.txt ; grep -e '"GET /.*\.html HTTP/1.1" [23]' <$ACCESSLOG | (
   ipc=0 ; while read ip h ; do
      ipt[$ipc]=$ip ; ht[$ipc]="$h" ; ((ipc++)) ;
   done <ipcache.txt ;
   while read ip m u d ; do
      h="" ; for ((i=0;i<ipc;i++)) ; do
         if [ ${ipt[$i]} == $ip ] ; then h=${ht[$i]} ; break ; fi ;
      done ;
      if [ -z "$h" ] ; then
         h=$(host $ip | grep -v -e 'connection timed out' -e 'Warning: ID' | sed -e 's%^[0-9.]\+in-addr.arpa domain name pointer %%' ) ;
         if [ ! -z "$h" ] ; then
            ipt[$ipc]=$ip ; ht[$ipc]="$h" ; ((ipc++)) ; echo "$ip $h" >>ipcache.txt ;
         else
            h=$ip ;
         fi ;
      fi ;
      echo $h $u $d;
   done ;
) 2>&1 | tee mainlog2.txt | less -M

Im konkreten Fall interessierte mich welche Hosts an jedem Tag auf die betreffende (niedrig-freuentierte) Site zugegriffen hatten. Daher fand sich an der Stelle "<$ACCESSLOG | (" statt dessen "<$ACCESSLOG | cut -d : -f 1 | uniq | (" was im normalen Apache Zugriffslog genau hinter der Tagesnummer eines jeden Eintrags abschneidet.

My Image Gallery 1.5.0

Für eine andere Website als diese hier suchte ich kürzlich (Ende Juni 2007) eine möglichst simple, einfach zu installierende PHP-basierte Bildergalerie. MiG-1.5.0 schien das Programm der Wahl, stellt es doch eine Im Dateisystem angelegte Ordnerhierarchie 1:1 als Galerie dar, ergänzt um Vorschaubilder und eine übersichtliche Navigation. Einziges Problem: Verzeichnisse mit Umlauten im Namen führen zu einem "404 - Nicht gefunden". Der folgende Patch behebt das Problem:

--- ../../mig-index.php.orig    2007-06-27 13:05:20.000000000 +0200
+++ index.php   2007-06-25 11:22:51.000000000 +0200
@@ -289,7 +289,7 @@
 
     // Create a URL-encoded version of $currDir
     $enc_currdir = $currDir;
-    $currDir = htmlentities(rawurldecode($enc_currdir));
+    $currDir = htmlspecialchars(rawurldecode($enc_currdir));
 
     $directories = array ();                    // prototypes
     $counts = array ();

Zwar kein Bug, aber mich trotzdem störend, ist die schlechte Unterscheidbarkeit von Unterverzeichnissen von reinen Bilder, wenn Unterverzeichnisse durch ein (zufällig gewähltes) Vorschaubild eines der in ihnen enthaltenen Bilder dargestellt werden. Um dieses zu ändern, habe ich MiG so angepasst, dass zusätzlich zum Vorschaubild auch ein Ordnersymbol angezeigt wird:

@@ -505,6 +505,10 @@
         // was specified).
         if ($samples[$file] || $mig_config['usethumbfile'][$file]) {
             $sep = '<br />';
+                       // if we use a thumbnail, then prepend foldername with
+                       // folder-icon, to make it more obvious that we have a
+                       // folder here
+                       $sep .= '<img src="' .  $mig_config['imagedir'] . '/folder.gif" alt="folder icon" >';
         } else {
             $sep = ' ';
         }
@@ -521,7 +525,7 @@
         if ($mig_config['viewfoldercount'] &&
                 (($counts[$file] > 0) || ($countdir[$file] > 0)) )
         {
-            $directoryList .= $sep . '<acronym title="(folders/files)">('
+            $directoryList .= ' <acronym title="(folders/files)">('
                             . $countdir[$file] . '/' . $counts[$file]
                             . ')</acronym>';
         }