We build an universal deployment tool for Kubernetes that supports rendering and deployment of lightweight Jinja templated k8s manifests as well as complex Helm charts. We've added support for easy secret management based on Gopass, running tests in CI/CD pipelines, extending upstream Helm Charts with custom Jinja-templates manifests as well as patching upstream Helm Charts before deploying.
Apache Kafka provides an unified, high-throughput, low-latency platform for handling real-time data feeds. Installing Apache Kafka, especially the right configuration of Kafka Security including authentication and encryption is kind of a challenge. This should give a brief summary about our experience and lessons learned when trying to install and configure Apache Kafka, the right way.
In my last post I wrote about first steps and lessions learned when setting up Apache Kafka with encryption, SASL SCRAM/Digest authentication and ACL authorization using Confluent Platform. This secures Kafka using SASL SCRAM between clients and Kafka Brokers and SASL MD5 digest between Kafka Brokers and ZooKeeper. This approach has some drawbacks i.e. the passwords must be stored on the clients and ZooKeeper is using MD5 hashes for passwords on the wire. So we try another approach by using Mutual TLS (mTLS) only, which seems a bit easier and which also seems to be suitable for a corporate environment.
In all unseren Projekten, sei es intern oder bei Kunden sind wir jederzeit auf Tools und Services angewiesen. Angefangen bei einem Team Chat oder - aktuell umso wichtiger denn je - einer Online Conferencing Software bis hin zu einer GitLab Plattform zur Code Ablage aber auch immer mehr für Continuous Integration und Deployment, durch die wir automatische Code Prüfungen sowie das automatische Ausrollen von Softwareupdates integrieren können. Die Palette an Tools und Services ist groß und den Bedarf darin sehen wir in jedem Projekt. Glücklicherweise findet man für alle notwendigen Tools & Services heutzutage Open-Source Alternativen, die bei Weitem alle Anforderungen, auch in großen Projekten, erfüllen. Zudem wird es immer deutlicher, dass Firmen sogenannte "On-Premise" Installationen bevorzugen. Das bedeutet, dass ein eigenes GitLab oder eine
Am 07.-08.11.2019 fand in der Münchener Google-Niederlassung die 4. PromCon Konferenz in Europa statt. Bei der ausverkauften Veranstaltung wurden an beiden Tagen vor ca. 220 Teilnehmern in München sowie vor weitaus mehr Viewer im Live-Stream in Single-Tracks-Talks Themen rund um das Prometheus Monitoring System und das Dashboard System Grafana behandeln und diskutiert. Auch wir konnten uns dieses Jahr ein paar der begehrten PromCon Tickets sichern und konnten uns bei den zahlreichen und interessanten Talks über neue Entwicklungen, Trends und Erfahrungen informieren sowie unsere Kenntnisse über Prometheus und Co. weiter vertiefen. Auf den Social-Events oder beim Mittagessen in der sehr beeindruckenden Google-Kantine konnten wir nicht nur neue Kontakte knüpfen, sondern auch neue Ideen, Anregungen und natürlich Erfahrungen mit Kollegen, Entwicklern und Geschäftspartnern austauschen.
Am vergangenen Montag, dem 12. November 2018 fand das 3. Meetup der Cloud Native and Kubernetes Karlsruhe Meetup Gruppe im Perfekt Futur statt. Rund 50 Teilnehmer lauschten Daniel Bross und Niclas Mietz bei ihren Vorträgen über automatisierte Kubernetes Volume Backups mit Stash sowie über Integration und Deployment von Docker Containern mit GitLab. Automating Kubernetes volume backups using Stash Verwendet man NFS für persistente Datenspeicher von Kubernetes Deployments, können alle Daten durch ein klassisches Backup Verfahren zentral auf dem Host gesichert und wiederhergestellt werden. Dies ändert sich jedoch, wenn man auf leistungsfähigere Datenspeicher Cluster wie beispielsweise GlusterFS oder CephFS (z.b. in Verbindung mit Rook) zurückgreift: In diesem Fall sind persistente Datenspeicher oftmals schwer von außerhalb der Container Instanz zu
Am 12. November 2018 hosten wir das 3. Meetup der Cloud Native and Kubernetes Karlsruhe Meetup Gruppe bei uns im Perfekt Futur in Karlsruhe. In gleich zwei Vorträgen wird auf die Einrichtung von CI/CD Pipelines für Container mit Hilfe von Gitlab CI sowie die Sicherung persistenter Kubernetes Volumes mit Hilfe von Stash eingegangen. Die Cloud Native and Kubernetes Karlsruhe Meetup Gruppe gibt es seit Mitte 2018 und widmet sich dem Aufbau einer starken, offenen und vielfältigen Community rund um den Cloud Native-Stack in Karlsruhe. Die Mitglieder treffen sich regelmäßig in sogenannten Meetups und behandeln in entspannter Atmosphäre und an den verschiedensten Locations Themen rund um die Entwicklung von Cloud-nativen Anwendungen, das Ausführen und Überwachen verteilter Systeme sowie das Erlernen vielversprechender Cloud-Technologien mit Fokus auf Kubernetes und
Einige Zeit ist vergangen, seit wir uns mit der Container-Orchestrations-Plattform Kubernetes auseinandergesetzt haben. Nach mittlerweile fast 3 Jahren hat sich Kubernetes zu einem defakto Standard in der Cloud-Infrastruktur durchgesetzt. Kubernetes ist ein Open-Source-System zum automatischen Deployment, Skalierung und Verwaltung von Container-Anwendungen. Kubernetes hat nicht nur die Cloud-IT verändert, sondern auch unsere eigene IT-Umgebung sowie die unserer Kunden stark beeinflusst. Das Prinzip von Kubernetes besteht aus dem Verpacken von Anwendungen in sogenannten Containern. Docker ist ein bekanntes Beispiel hierfür und steckt hinter der mittlerweile aus Vertriebsgründen umbenannten Open-Source Software Moby, welche die verbreitetste Container-Technologie sein dürfte. Die Anwendungen werden dabei bereits im Entwicklungsprozess in eine anwendungsspezifische Umgebung, dem sogenannten "Image" verpackt. Dieses Image kann nun nahezu unabhängig von der Laufzeitumgebung betrieben werden. Anstatt ein Packaging