OSDC 2017 Countdown – 8 weeks until Berlin

This entry is part 3 of 3 in the series OSDC 2017 Countdown

OSDC-Countdown 2017: Interesting things you can do with ZFS by Allan Jude and Benedict Reuschling


OSDC 2017 | Simplifying Complex IT Infrastructures with Open Source | May 16 – 18, 2017

Join us in Berlin and be part of the Open Source Data Center Conference 2017, where internationally recognized Open Source specialists report on the latest developments in Data Center solutions and share their experiences and best practices with experienced administrators and architects. This is also a great opportunity for you to deepen and expand your own know-how in a relaxed atmosphere as well as to establish contacts and to get to know the Open Source community.

Next to the speeches, you have the opportunity to take place in one of three interesting hands-on workshops on May 16.

More information and your tickets can be found on: www.osdc.de

See you in Berlin!

Julia Hackbarth

Autor: Julia Hackbarth

Julia ist seit 2015 bei NETWAYS. Sie hat im September ihre Ausbildung zur Kauffrau für Büromanagement gestartet. Etwas zu organisieren macht ihr großen Spaß und sie freut sich auf vielseitige Herausforderungen. In ihrer Freizeit spielt Handball eine große Rolle: Julia steht selbst aktiv auf dem Feld, übernimmt aber auch gerne den Part als Schiedsrichterin.

Highly exciting, informative and unique: Programme for OSDC 2017 is fixed!

After the successful Call for Papers for the Open Source Data Center Conference, we proved a multitude of great proposals and created the thematic areas.
There are 24 simply stunning presentations on the topics CONTAINERS&MICROSERVICES, CONFIGURATION MANAGEMENT, TESTING METRICS&ANALYSIS and TOOLS&INFRASTRUCTURE.

Amongst others, we’re happy to welcome

• Mathias Meyer | Travis CL | Build the Home of Open Source testing, Without Datacenter
• Seth Vargo | HashiCorp |Taming the Modern Data Center
• Mandi Walls | Chef | Building Security Into Your Workflow with InSpec
• James Shubin | RedHat | MGMT Config: Autonomous systems
• Casey Callendrello | CoreOS | The evolution of the Container Network Interface
• Monica Sarbu | Elastic | Collecting the right data to monitor you infrastructure

… and much more.

We’re happy to welcome all these top-class speakers in Berlin.

In addition to the speeches, there are three workshops on the topics „Graylog – Centralized Log Management“, „Mesos Marathon – Orchestrating Docker Containers“ and „Terraform – Infrastructure as Code“.

In the evening of the second conference day, we invite all attendees to our special evening event in a relaxed and convivial atmosphere. Take some drinks and enjoy the buffet including various culinary delights. In this casual setting, you have the opportunity to meet other attendees or speakers.

Don’t miss the OSDC, it will be great! 

Julia Hackbarth

Autor: Julia Hackbarth

Julia ist seit 2015 bei NETWAYS. Sie hat im September ihre Ausbildung zur Kauffrau für Büromanagement gestartet. Etwas zu organisieren macht ihr großen Spaß und sie freut sich auf vielseitige Herausforderungen. In ihrer Freizeit spielt Handball eine große Rolle: Julia steht selbst aktiv auf dem Feld, übernimmt aber auch gerne den Part als Schiedsrichterin.

NETWAYS Web Services: Icinga 2 Master

This entry is part 2 of 3 in the series NETWAYS Web Services

Letzte Woche haben wir bei den NETWAYS Web Services den Icinga 2 Satellite vorgestellt, welcher sich schnell und einfach zur Überwachung von externen Diensten, Anwendungen und Webseiten über das Icinga 2 Clusterprotokoll in die eigene Icinga 2 Umgebung integrieren lässt. Wenn man aber nach einer Standalone-Lösung sucht, die alle Features und die passenden Addons von Icinga 2 gleich mitbringt, kann bei NWS zum Icinga 2 Master greifen.

Der Icinga 2 Master bietet alles, was man für eine eigenständige Icinga 2 Überwachungsumgebung braucht:

Icinga Director

Der Icinga Director vereinfacht die Konfiguration von Hosts und Services. Dazu stellen wir auch einen Satz an vorkonfigurierten Checks zur Verfügung, welche Ihnen die Arbeit mit Icinga 2 deutlich erleichtern.

Icinga Web 2

Mit Icinga Web 2 hat man den perfekten Blick auf die aktuellen Probleme, kann sich je nach Bedarf Dashboards bauen und alle neu im Monitoring aufgenommenen Systeme werden sofort angezeigt.

Graphite und Grafana

Mit den Performancedaten aus Icinga 2, welche über Graphite in Grafana dargestellt und gefiltert werden, können Probleme auf einfache Art und Weise visualisiert werden. Die Metriken werden für 12 Monate aufbewahrt.

Icinga 2 API
Natürlich ermöglichen wir den vollen Zugriff auf die Icinga 2 API, womit Sie mit dem Icinga 2 Master vollautomatisiert arbeiten können.

Externe Überwachung
Mit dem Icinga 2 Master kann man wie beim Icinga 2 Satellite externe Dienste, Anwendungen und Webseiten überwachen, mit dem verfügbaren Addons dann aber auch gleich konfigurieren, verwalten und ermittelten Werte live im Icinga Web 2 und Grafana betrachten. Somit kann man sich eine eigenständige Überwachungsumgebung aufbauen, wenn man z.B. für Kundenprojekte keinen Zugriff auf sein internes Monitoring gewähren und dies sauber trennen will oder man für ein bestimmtes Projekt eine eigene Lösung sucht.

Integration mit meiner eigenen Umgebung
Natürlich kann man mit dem Icinga 2 Master auch über das Icinga 2 Clusterprotokoll im Einsatz befindliche Icinga 2 Agents anbinden. Somit lässt sich der Icinga 2 Master zur kompletten Monitoringumgebung ausbauen, welche dann auch Überwachungen im (kunden-)eigenen Netz fahren kann. Wir bieten hierzu fertige Integrationsskripte für folgende Betriebssysteme:

  • Debian/Ubuntu
  • CentOS/Fedora
  • SuSe/OpenSuSe
  • Windows

Jetzt anmelden und für 30 Tage kostenfrei testen!

Martin Krodel

Autor: Martin Krodel

Der studierte Volljurist leitet bei NETWAYS die Sales Abteilung und berät unsere Kunden bei ihren Monitoring- und Hosting-Projekten. Privat reist er gerne durch die Weltgeschichte und widmet sich seinem ständig wachsenden Fuhrpark an Apple Hardware.

OSDC 2017 Countdown – 9 weeks until Berlin

This entry is part 2 of 3 in the series OSDC 2017 Countdown

OSDC-Countdown 2017: A Cloud Migration Strategy by Schlomo Schapiro


OSDC 2017 | Simplifying Complex IT Infrastructures with Open Source | May 16 – 18, 2017

Join us in Berlin and be part of the Open Source Data Center Conference 2017, where internationally recognized Open Source specialists report on the latest developments in Data Center solutions and share their experiences and best practices with experienced administrators and architects. This is also a great opportunity for you to deepen and expand your own know-how in a relaxed atmosphere as well as to establish contacts and to get to know the Open Source community.

Next to the speeches, you have the opportunity to take place in one of three interesting hands-on workshops on May 16.

More information and your tickets can be found on: www.osdc.de

See you in Berlin!

Julia Hackbarth

Autor: Julia Hackbarth

Julia ist seit 2015 bei NETWAYS. Sie hat im September ihre Ausbildung zur Kauffrau für Büromanagement gestartet. Etwas zu organisieren macht ihr großen Spaß und sie freut sich auf vielseitige Herausforderungen. In ihrer Freizeit spielt Handball eine große Rolle: Julia steht selbst aktiv auf dem Feld, übernimmt aber auch gerne den Part als Schiedsrichterin.

Platz da LConf, der Director kommt!

Lange Zeit war das von NETWAYS entwickelte Tool LConf das Mittel der Wahl wenn ein grafisches Konfigurationsfrontend für Icinga gesucht wurde. Mit Icinga 2 und dem damit einhergehenden geänderten Konfigurationsformat litt jedoch die Kompatibilität, außerdem ist das ursprüngliche Konzept von LConf mit der Zuweisung von Services über Vererbungen eines OpenLDAP-Baumes spätestens mit den vielen Möglichkeiten der Apply Rules von Icinga 2 überholt.

Als eigenes Modul in Icinga Web 2 integriert, ist der Director das einzige Konfigurationstool das eine vollständige Unterstützung für Icinga 2 bietet. Die Kommunikation erfolgt dabei direkt mit der API des Icinga 2 Cores (seit Icinga 2.4). Daher stellt sich also die Frage: Wie lässt sich die Icinga Konfiguration von LConf am Besten auf den Director, respektive von Icinga 1.x auf Icinga 2.x migrieren?

Icinga Web 2 bietet bereits nativ eine Unterstützung für LDAP, diese steht auch den Modulen zur Verfügung. Um LConf nun als Import Source im Director zu verwenden, muss dafür in Web 2 noch eine entsprechende Resource eingerichtet werden.

Host in LConf

Bei der Import Source reicht es dann i.d.R. aus die Objektklasse auf lconfHost einzuschränken, denn mehr als nur Hosts zu importieren, macht in den wenigsten Fällen sind. Services sollten aufgrund von CheckCommands aus der Icinga Template Library (= ITL) sowieso neu gemacht und in dem Zuge auch gleich überdacht werden. Durch die Apply Rules liegt der Fokus auf Host Eigenschaften anhand deren später Services zugewiesen werden können. Neben Standardattributen stehen hier auch sog. Custom Attribute oder Custom Variablen (CustomVars) zur Verfügung, mit denen weitere individuelle Informationen wie beispielsweise Betriebssystem, Rolle oder Standort hinterlegt werden können.

Normalerweise ist es bei Hosts ausreichend cn, lconfAddress, lconfAlias und lconfHostCustomvar zu importieren. Da CustomVars in LConf mit Unterstrich vorm Bezeichner und einem Leerzeichen vor dem eigentlichen Wert angegeben werden müssen, sieht das in der Vorschau der Import Source beispielhaft so aus:

[

“_operatingsystem Linux”,

“_role Webserver”,

“_rack Rack01”

]

Diese Syntax kann vom Director nur schwer weiter verarbeitet werden, daher gibt es dort seit kurzem den Modifier “Transform LConf CustomVars to Hash“, mit dem das Ganze wie folgt transformiert wird:

{

operatingsystem: “Linux”,

rack: “Rack01”,

role: “Webserver”

}

Host im Director

Bei der darauf aufbauenden Sync Rule können dann alle CustomVars mit “All custom variables (vars)” automatisch umgesetzt werden, dabei spielt es keine Rolle ob die Hosts eine, keine oder mehrere Custom Attribute definiert haben.

Damit ist es sehr einfach die Hosts aus dem bestehenden LConf-Baum bereits im Produktivbetrieb schon auf die künftige Verwendung mit Icinga 2 vorzubereiten und sie dann mit dem Director einmalig oder regelmäßig zu importieren, sodass zumindest ein paar Andenken an den “geliebten” LConf bleiben…

Wer hier oder auch bei anderen Aufgaben mit Icinga und dem Director noch Unterstützung benötigt, kann aber natürlich auch gerne auf uns zukommen.

Markus Waldmüller

Autor: Markus Waldmüller

Markus war bereits mehrere Jahre als Systemadministrator in Neumarkt i.d.OPf. und Regensburg tätig. Nach Technikerschule und Selbständigkeit ist er nun Anfang 2013 bei NETWAYS als Lead Senior Consultant gelandet. In seiner Freizeit ist der sportbegeisterte Neumarkter mit an Sicherheit grenzender Wahrscheinlichkeit auf dem Mountainbike oder am Baggersee zu finden.

Timelion, eine Kibana Erweiterung

timelion logoIch habe mich in der Vergangenheit mit verschiedenen Tools beschäftigt die Performancedaten bzw. Metriken speichern und darstellen können. Aktuell beschäftige ich mich näher mit Timelion aus dem Hause Elastic und das hat zwei Gründe: Zum einen wurde mir die Kibana Erweiterung auf der ElasticON letzte Woche wieder schmackhaft gemacht, nachdem ich es eigentlich schon zur Seite gelegt hatte. Zum anderen erweist sich Timelion als sehr nützlich in Verbindung mit meinem Icingabeat. Ein Beat der Daten aus Icinga 2 zur weiteren Verarbeitung entweder an Logstash oder direkt an Elasticsearch schicken kann.

Timelion, übrigens Timeline ausgesprochen, ist eine Erweiterung für das bereits bekannte Kibana Webinterface. Es ist dazu gedacht Daten aus einem Elasticsearch Cluster visuell darzustellen. Anders als die bisherigen Visualisierugsmethoden von Kibana wird bei Timelion aber nichts zusammen geklickt und gefiltert. Stattdessen müssen die eingebauten Funktionen direkt aufgerufen und mit Parametern gefüllt werden. Klingt erst mal kompliziert, nach etwas Übung geht das aber schneller als alles mit der Maus zu bedienen.

Ein Beispiel: Um die Anzahl der Dokumente in Elasticsearch zu zählen, wird die Funktion es() verwendet. Sie erwartet als Parameter eine Query. Mit es(*) werden sämtliche Dokumente gezählt, die Query dabei ist *

timelion default query

Als Query kann alles eingegeben werden was das normale Kibana Interface auch versteht, also Apache Lucene Syntax. Zum Beispiel kann ich die Anzahl der Checkresults darstellen, die mein Icinga gerade ausführt: .es(type:icingabeat.event.checkresult)timelion icingabeat checkresults

Einfach Dokumente zu zählen reicht aber oft nicht aus, insbesondere im Hinblick auf Metriken. Wichtig an dieser Stelle ist der eigentliche Wert von einem Eintrag, nicht die Anzahl der Einträge. Die es() Funktion kann mit ihrem metric Parameter genau das tun. Man muss sich lediglich entscheiden mit welcher Methode man die Daten aggregieren möchte. Auch wenn die Daten nicht in einem definierten Zeitrahmen in Elasticsearch gespeichert werden, müssen sie spätestens bei der Darstellung irgendwie zusammengefasst werden um einen gleichmäßigen Graphen anzeigen zu können. Timelion versucht den Abstand in dem Daten aggregiert werden automatisch zu ermitteln, meistens ergibt das “Sekündlich”. Ob das der richtige Intervall ist, hängt davon ab wie schnell die Daten rein fließen. Wie viele MySQL Queries Icinga 2 innerhalb der letzten Minute ausgeführt hat, lässt sich zum Beispiel folgendermaßen ermitteln:

.es(metric=avg:perfdata.idomysqlconnection_ido-mysql_queries_1min.value).label("1 min").title("MySQL Queries").color(green)timelion icingabeat mysql

Hier sieht man auch das sich mehrere Funkionen aneinander ketten lassen. Zum Beispiel zum setzen von Titel oder Farbe. Timelion bringt eine ganze Fülle an Funktionen mit die die Darstellung der Daten beeinflussen. Ich will nicht alle aufzählen, weitere Beispiele aber sind:

  • bars(): Ein Barchart anstelle einer Linie
  • movingaverage(): Berechnet den gleitenden Durchschnitt
  • min(), max() und sum(): Erklärt sich von selbst

Es können auch mehrere Linien innerhalb eines Graphen angezeigt werden, dazu wird die Funktion einfach mehrfach aufgerufen. Hier ein vergleich der Ausführungszeiten von Icinga Plugins:

.es(metric=avg:status.avg_execution_time), .es(metric=avg:status.max_execution_time), .es(metric=avg:status.min_execution_time) timelion icingabeat execution time

Insgesamt ist das nur ein kleiner Teil dessen was Timelion kann. Auch wenn die Bedienung etwas gewöhnungsbedürftig ist, so kommt man nach etwas Übung schnell rein. Die Graphen die erstellt werden können entweder als eigenständige Dashboards abgespeichert werden oder als einzelne Visualisierungen. Werden die Graphen einzeln abgespeichert können Sie zu Kibana Dashboards hinzugefügt werden. Dadurch ergibt sich eine gute Ergänzung zu den normalen Visualisierungen.

Blerim Sheqa

Autor: Blerim Sheqa

Blerim ist seit 2013 bei NETWAYS und seitdem schon viel in der Firma rum gekommen. Neben dem Support und diversen internen Projekten hat er auch im Team Infrastruktur tatkräftig mitgewirkt. Hin und wieder lässt er sich auch den ein oder anderen Consulting Termin nicht entgehen. Mittlerweile kümmert sich Blerim hauptsächlich im Icinga Umfeld um die technischen Partner und deren Integrationen in Verbindung mit Icinga 2.