Seite wählen

NETWAYS Blog

git-archive – Dateien ignorieren

Über die Datei .gitattributes können in einem Git Repository Attribute auf Dateien und Pfaden gesetzt werden, die bestimmte Git Befehle beeinflussen. Wer git-archive nutzt, um Archive aus seinem Repository zu erstellen, kann über .gitattributes bestimmte Dateien aus Archiven ausschließen:

echo "example/* export-ignore" >>.gitattributes
git add .gitattributes
git commit -m "Do not export example data"

Das Attribut export-ignore bewirkt, dass alle Dateien die auf das Muster example/* passen, aus Archiven ausgeschlossen werden. export-ignore wirkt erst dann, wenn die Änderungen an .gitattributes commited wurden.
Den aktuellen Stand des Repository stellt man mit folgendem Befehl als Archiv bereit:

git archive -o latest.tgz HEAD

Andere Attribute passen zum Beispiel die Zeilenenden in Textdateien automatisch an, oder ersetzen $Id$ mit der commit id nach dem Check-in.
Zum Weiterlesen:

Eric Lippmann
Eric Lippmann
CTO

Eric kam während seines ersten Lehrjahres zu NETWAYS und hat seine Ausbildung bereits 2011 sehr erfolgreich abgeschlossen. Seit Beginn arbeitet er in der Softwareentwicklung und dort an den unterschiedlichen NETWAYS Open Source Lösungen, insbesondere inGraph und im Icinga Team an Icinga Web. Darüber hinaus zeichnet er für viele Kundenentwicklungen in der Finanz- und Automobilbranche verantwortlich.

schema.org – "Hey Google, das ist ein Video!"

Strukturierte Daten helfen Suchmaschinen dabei, die Informationen auf Webseiten besser zu verstehen und somit besser auszugeben. Einfach gesagt, werden Inhalte mit einem speziellen Markup-Format ausgezeichnet, um Suchmaschinen, Elementtyp und Eigenschaften verfügbar zu machen. Google zum Beispiel generiert aus dem Seiten-Markup Rich Snippets, die im Rahmen der Suchergebnisse angezeigt werden. Ein Snippet für eine Webseite mit Veranstaltungsdaten und entsprechendem Markup kann zum Beispiel so aussehen:
Rich Snippet für eine Seite mit Veranstaltungen
schema.org ist ein gemeinsames Projekt von Google, Microsoft und Yahoo! zur Schaffung eines Markup-Schemas für strukturierte Daten, das von allen gängigen Suchmaschinen unterstützt wird. Ein gemeinsames Markup-Vokabular erleichtert Webmastern, sich für ein Markup-Schema zu entscheiden, denn es müssen keine Kompromisse mehr eingegangen werden, weil bestimmte Markup-Typen nur von bestimmten Suchmaschinen unterstützt werden.
Wer seine Webseite mithilfe eines Schemas auszeichnet, verbessert die Qualität von Suchergebnissen und so die Sucherfahrung der Nutzer. Auf das Ranking aber, hat die Verwendung von Markup keinen Einfluss. Weitere Fragen beantwortet Google auf einer FAQ Seite.

Eric Lippmann
Eric Lippmann
CTO

Eric kam während seines ersten Lehrjahres zu NETWAYS und hat seine Ausbildung bereits 2011 sehr erfolgreich abgeschlossen. Seit Beginn arbeitet er in der Softwareentwicklung und dort an den unterschiedlichen NETWAYS Open Source Lösungen, insbesondere inGraph und im Icinga Team an Icinga Web. Darüber hinaus zeichnet er für viele Kundenentwicklungen in der Finanz- und Automobilbranche verantwortlich.

Asynchroner Webserver in Python mit gevent

Was ist gevent?
gevent ist eine Koroutinen-basierte Netzwerkbibliothek für Python basierend auf libev und greenlet.
greenlets sind leichtgewichtige Koroutinen, die im Prozess des ausführenden Programms laufen, aber nebenläufig ausgeführt werden. Im Gegensatz dazu werden beim Multitasking, Threads vom Betriebssystem geplant, die echt gleichzeitig laufen.
Parallelität vs Nebenläufigkeit
Zwei Aufgaben heißen nebenläufig, wenn sie voneinander unabhängig, in einem sich überschneidenden Zeitfenster, abgearbeitet werden. Dabei müssen diese nicht unbedingt echt gleichzeitig bearbeitet werden.
Zwei Aufgaben werden parallel bearbeitet, wenn sie unabhängig voneinander und zur gleichen Zeit ausgeführt werden.
„Benchmark“
Um die Performance von gevent zu vergleichen (Achtung nicht repräsentativ), lassen wir es gegen Twisted und wsgiref antreten. Die drei Kandidaten starten jeweils einen WSGI Server auf http://127.0.0.1:8088/ und beantworten jede Request mit „HTTP/1.0 200 OK“.
Mit dem Apache HTTP server benchmarking tool lassen wir 30 Sekunden (maximal 50 000 Requests) 1 000 Requests parallel laufen um vergleichen zu können, welche Implementation, die meisten Requests pro Sekunde beantwortet:

ab -r -c 1000 -t 30 http://127.0.0.1:8088/

Twisted

#!/usr/bin/python
from twisted.web import server
from twisted.web.wsgi import WSGIResource
from twisted.internet import reactor
def handle_request(env, start_response):
    status = '200 OK'
    output = 'The Output'
    response_headers = [('Content-Type', 'text/plain'),
                        ('Content-Length', str(len(output)))]
    start_response(status, response_headers)
    return [output]
if __name__ == '__main__':
    resource = WSGIResource(reactor, reactor.getThreadPool(), handle_request)
    reactor.listenTCP(8088, server.Site(resource))
    reactor.run()

Requests per second: 1093.40 [#/sec] (mean)
Time per request: 0.915 [ms] (mean, across all concurrent requests)

wsgiref

#!/usr/bin/python
from wsgiref.simple_server import make_server
def handle_request(env, start_response):
    status = '200 OK'
    output = 'The Output'
    response_headers = [('Content-Type', 'text/plain'),
                        ('Content-Length', str(len(output)))]
    start_response(status, response_headers)
    return [output]
if __name__ == '__main__':
    wsgiserver = make_server('', 8088, handle_request)
    wsgiserver.serve_forever()

Requests per second: 1610.80 [#/sec] (mean)
Time per request: 0.621 [ms] (mean, across all concurrent requests)

gevent

#!/usr/bin/python
from gevent.wsgi import WSGIServer
def handle_request(env, start_response):
    status = '200 OK'
    output = 'The Output'
    response_headers = [('Content-Type', 'text/plain'),
                        ('Content-Length', str(len(output)))]
    start_response(status, response_headers)
    return [output]
if __name__ == '__main__':
    WSGIServer(('', 8088), handle_request, spawn=None).serve_forever()

Requests per second: 2121.29 [#/sec] (mean)
Time per request: 0.471 [ms] (mean, across all concurrent requests)

Die Einfachheit des Benchmark lässt natürlich keine Rückschlüsse auf Applikationen in der echten Welt zu. gevent ist aber definitiv einen Blick wert, wenn es um asynchrone Socket-Programmierung geht.

Eric Lippmann
Eric Lippmann
CTO

Eric kam während seines ersten Lehrjahres zu NETWAYS und hat seine Ausbildung bereits 2011 sehr erfolgreich abgeschlossen. Seit Beginn arbeitet er in der Softwareentwicklung und dort an den unterschiedlichen NETWAYS Open Source Lösungen, insbesondere inGraph und im Icinga Team an Icinga Web. Darüber hinaus zeichnet er für viele Kundenentwicklungen in der Finanz- und Automobilbranche verantwortlich.

Leerzeichen und Zeilenumbrüchen and den Kragen gehen

Da die letzten Blogposts ausreichend Text zum Lesen enthalten, kommen von mir in aller Kürze und Würze sed-Befehle, um Leerzeichen und Zeilenumbrüche bevorzugt im Quelltext aufzuräumen.
Leerzeichen am Ende einer Zeile entfernen:

sed 's/\s\+$//' 

Aus mehreren Zeilenumbrüchen nur Einen machen:

sed '/^$/N;/^\n$/D' 

Zeilenumbruch, falls noch nicht vorhanden, am Ende einer Datei einfügen:

sed '$a\' 

Weitere sed-Einzeiler findet man z.B. hier.

Eric Lippmann
Eric Lippmann
CTO

Eric kam während seines ersten Lehrjahres zu NETWAYS und hat seine Ausbildung bereits 2011 sehr erfolgreich abgeschlossen. Seit Beginn arbeitet er in der Softwareentwicklung und dort an den unterschiedlichen NETWAYS Open Source Lösungen, insbesondere inGraph und im Icinga Team an Icinga Web. Darüber hinaus zeichnet er für viele Kundenentwicklungen in der Finanz- und Automobilbranche verantwortlich.

Vagrant vboxsf und statischer Inhalt

Apache und nginx benutzen zur Auslieferung von statischem Inhalt wie JavaScript-Dateien oder Bilder, den sendfile(2)-syscall. Der ist im VirtualBox/SharedFolders-Dateisystem (vboxsf) wohl nicht richtig implementiert, was zu merkwürdigen Verhalten beim Abruf kommt – z.B. nach Änderung einer Datei, wird diese nur noch abgeschnitten ausgeliefert. Beheben lässt sich das ganze durch folgende Direktiven:
nginx:

sendfile off;

Apache:

EnableSendfile Off

Zum Weiterlesen:

Und jetzt, auf zum B2RUN. 🙂

Eric Lippmann
Eric Lippmann
CTO

Eric kam während seines ersten Lehrjahres zu NETWAYS und hat seine Ausbildung bereits 2011 sehr erfolgreich abgeschlossen. Seit Beginn arbeitet er in der Softwareentwicklung und dort an den unterschiedlichen NETWAYS Open Source Lösungen, insbesondere inGraph und im Icinga Team an Icinga Web. Darüber hinaus zeichnet er für viele Kundenentwicklungen in der Finanz- und Automobilbranche verantwortlich.