Deep Learning, Neuronale Netze mit Python - Online

Unser Seminar Deep Learning mit GPU Benutzung (jeder Teilnehmer rechnet auf einer eigenen high-performance GPU (NVIDIA Tesla P100) in der Cloud) bietet eine Einführung in Deep Learning (DL) Algorithmen mit Beispielen für Bilddaten und supervised und semi-supervised learning. Deep Learning Algorithmen sind derzeit eine der wichtigsten Algorithmusklasse des Maschinellen Lernens, einem Teilgebiet der Künstlichen Intelligenz (KI) und sind bereits in vielen Bereichen in unserem Alltag integriert. In der Schulung wird das Anlernen geeigneter Modelle behandelt, um diese für die Klassifikation oder Schätzung auf neue Daten zu verwenden.

Sie lernen Schritt für Schritt die wichtigsten Aspekte, um in Tensorflow / Keras Deep Learning Algorithmen programmieren zu können. Es wird die Datenaufbereitung und das sequentielle Einlesen von großen Datenmengen im Training behandelt, die Erstellung tiefer neuronaler Netze, die möglichen Konfigurationen für das Training und die Anwendung der trainierten Modelle auf neue Daten.

Im Seminar werden gängige Varianten von Deep Neural Networks und deren Bestandteile besprochen. Die Inhalte werden mit Folien und Flipchart erklärt und in Übungen umgesetzt und vertieft.

In der Industrie werden die behandelten Algorithmen u.a. in folgenden Bereichen eingesetzt:

• Erkennen von Symbolen (z.B. Zahlen und Buchstaben)
• Produktionsüberwachung (das visuelle Erkennen von Fehlern/Verschleiß bei Bauteilen)
• Textur-/Oberflächenanalyse
• Das automatische Tagging von Bildern, z.B. zur Ermöglichung einer textuellen Bildsuche

Es werden die am häufigsten verwendeten Künstlichen Neuronalen Netze theoretisch behandelt und deren Bestandteile besprochen (u.a. Multi Layer Perceptron (MLP), Convolutional Neural Network (CNN), welche in der Praxis zur Verarbeitung von Bilddaten verwendet werden. Diese werden in praktischen Übungen in Python mit den Framework Keras / Tensorflow mit high-performance GPUs umgesetzt. Sie lernen in diesem Tensorflow Workshop schrittweise die wichtigsten Aspekte für die Umsetzung mit der Deep-Learning Bibliothek Keras. Es wird die Datenaufbereitung und das sequentielle Einlesen von großen Datenmengen im Training behandelt, die Erstellung von Netzen, die möglichen Konfigurationen für das Training und die Anwendung der trainierten Modelle auf neuen Daten. Python ist im Deep Learning die am häufigsten verwendete Sprache und Keras/ Tensorflow ist eine der beliebtesten Bibliotheken zur einfachen Umsetzung von Deep Learning Algorithmen. Wir behandeln die Anwendungsfälle supervised Learning mit Bildern (Klassifikation) und Semi Supervised Training und Transferlearning bei wenigen Daten. Dabei werden wir die Leistungsfähigkeit der Algorithmen kennenlernen und typische Probleme während des Trainings und deren Lösungsmöglichkeiten (u.a. Regularisierung während des Trainings) behandeln.

Einfache Neuronale Netze mit verschiedenen Schichten (Layern) werden von den Teilnehmern in dieser Tensorflow Schulung entworfen und mit dem Framework Keras/ Tensorflow in der Programmiersprache Python in der Cloud mit Jupyter Notebooks umgesetzt und trainiert.

Es werden die Grundlagen vermittelt, so dass Sie nach dem Seminar Deep Learning Algorithmen der Künstlichen Intelligenz programmieren können, sich selbstständig weitere Anwendungsfälle im Deep Learning aneignen und das Gelernte auf eigene Problemstellungen anwenden können.

Grundlagen von Maschinellem Lernen und Künstlicher Intelligenz (KI)

• Kurze Einführung und Geschichte des Deep Learning
• KI, Deep Learning und Machine Learning
• Beispiele von Deep Learning Algorithmen in heutigen Produkten
• Ein erstes einfaches Netz selbstständig mit Keras umsetzen und trainieren

Daten Vorbereitung

• Overfitting beim Trainieren von Machine Learning Algorithmen
• Train-Validation-Test Datensplit zur Detektion von Overfitting
• Datennormalisierung
• One-Hot encoding
• Anwendung auf den MNIST Datensatz

Multi-Layer-Perceptron (MLP) in Keras/Tensorflow (Neuronales Netz)

• Wichtige Bauteile eines MLPs: Perceptron, Gewichte, Bias
• Non-linearities (Aktivierungsfunktionen)
• Softmax bei Klassifizierungsaufgaben

Ein Netzwerk trainieren und auf neue Daten anwenden

• Verschiedene Loss-Funktionen
• Backpropagation: Trainieren von den Gewichten
• Initialisierung der Gewichte
• Epoche und Batch-Size
• Den Output während des Trainings interpretieren
• Das trainierte Netzwerk zur Vorhersage von neuen Daten verwenden

Convolutional Neural Network (CNN)

• Ein Convolution layer (Faltungsschicht)
• Filter
• Padding und Stride bei der Convolution
• Anzahl an Channel und Filter in der Faltung
• Bias im CNN
• Max-Pooling Layer
• Was lernt ein CNN auf den unterschiedlichen Layern?

Keras Callbacks

• Einen Callback in Keras umsetzen
• Model Gewichte und Architektur speichern
• Early Stopping
• Learning Rate Scheduler
• MlFlow zur Visualisierung des Trainingsverlaufs

Klassifizierung von Bildern

• Softmax-Layer
• Cross-Entropy Loss
• Vorstellung bekannter Netzwerkarchitekturen: VGG-16 und AlexNet
• Regularisierungen: L2 Regularisierung, Drop-Out, Batch Normalisation
• Ein trainiertes Model laden

Daten einlesen mit TF.Data

• typischer Datenworkflow mit tf.data
• Umgang mit großen Datensätzen
• Beschleunigung des Dateneinlesensten einlesen mit TF.Data

Semi Supervised Learning (SSL)

• SSL Learning Überblick
• Semi Supervised mit dem SimCLR Modell
• Erstellung eines Custom tf.keras Models
• contrastive loss

Best practices

• Wie geht man eine neue Deep Learning Aufgabe an?
• Hyperparameter Optimierung
• Model Optimierung (nach dem Training)

Fine-Tuning und pretrained networks

• Weitere bekannte Netzwerkarchitekturen: Inception-V3, ResNet,
• Code von (bereits trainierten) Netzwerken finden
• Vortrainierte Netzwerke für seine Aufgabe verwenden und nachtrainieren (Fine-Tuning, Transfer Learning)

Voraussetzungen für dieses Tensorflow Seminar

Gute Vorkenntnisse in einer anderen Programmiersprache oder erste Erfahrung mit Python werden für diese Künstliche Intelligenz Schulung vorausgesetzt. Erfahrung im Umgang mit Daten ist notwendig. Zusätzlich haben sich bisher diese Kenntnisse als hilfreich herausgestellt: Eine Funktion (in Python) schreiben, das Laden von Python-Bibliotheken, eine for-Schleife schreiben bzw. eine einfache Grafik mit Matplotlib zeichnen und Grundlagen in numpy. Sehr zu empfehlen sind zudem Grundlagen im Bereich der Statistik (Median, Mittelwert, Standardabweichung, Normalverteilung), Kenntnisse mathematischer Symbole und Begriffe, wie das Summenzeichen, Integral, Funktion, Ableitung, Exponentialfunktion.

Die benutzte Programmieroberfläche im Seminar ist Jupyter Notebook, welche ohne Vorerfahrung benutzt werden kann.
Englischkenntnisse (lediglich im Verstehen von englischen Texten) sind sehr nützlich, da Python und die Internet-Dokumentationen auf Englisch sind. Daher sind auch die Folien im Kurs auf Englisch. Die Schulung selbst wird auf Deutsch gehalten.

Technik im Deep Learning Kurs

• Die Teilnehmer benötigen für die Übungsaufgaben Laptops. Wir empfehlen, Ihren eigenen Laptop mitzubringen. Ein Laptop mit GPU wird nicht benötigt.
• Bitte prüfen Sie, ob Ihr Firmenlaptop Zugangsbeschränkungen im Internet hat. Die digitalen Unterlagen (Skript, Code, Dateien) werden im Seminar online zum Download zur Verfügung gestellt. Sie erhalten vor dem Seminar per E-Mail den Link zu einer Testdatei zum Download, um dies überprüfen zu können.
• Sie sollten sich in firmenfremde WLAN-Netze registrieren können. Das Programmieren und das Trainieren der Algorithmen erfolgt auf GPUs in der Cloud, welche über eine URL direkt im Browser aufgerufen wird. Sie erhalten vor dem Seminar per E-Mail einen Link, um zu testen, ob Einstellungen den Zugriff auf die Cloud beeinträchtigen.
• Als Backup Lösung ist es möglich, dass der USB Port bei Ihrem Laptop freigeschalten ist, um damit verwendete Dateien oder sonstige Unterlagen übertragen zu können.
• Im Seminar wird das Betriebssystem Windows verwendet. Der Umgang mit Ihrem verwendeten Betriebssystem und Laptop sollte bekannt sein. Insbesondere sollten Sie ohne Schwierigkeiten Sonderzeichen auf der Tastatur finden (insbesondere bei Apple Geräten werden auf manchen Tastaturen nicht immer runde, eckige bzw. geschweifte Klammern dargestellt).

Hinweis - Besonderheit dieses Deep Learning Training

Jeder Teilnehmer rechnet in der Cloud auf einer eigenen NVIDIA Tesla P100 GPU. Der Zugang erfolgt über den Webbrowser. So können typische Fragestellungen und Probleme, die in der realen, industriellen Umsetzung beim Rechnen mit GPUs auftreten, behandelt werden. Vergleichen Sie unser Seminarangebot. Andere Deep Learning / Künstliche Intelligenz Seminare bieten gar keine oder nur low-performance GPUs für die Teilnehmer.

Damit Sie direkt nach dem Seminar mit Ihrer Deep Learning Anwendung experimentieren können und das Gelernte weiter vertiefen können, übertragen wir Ihnen das komplette Seminar-Setup kostenlos (europäischer GPU-Host, Datenspeicherung in Europa, Linux Server), wobei Sie zusätzlich noch eine Woche GPU-Rechenzeit für den Einstieg erhalten (Kostenlose Registrierung beim GPU-Host notwendig. Sie erhalten ein Startguthaben, das etwa 30 h GPU-Rechenzeit entspricht. Die genaue Zeit variiert nach aktueller Preislage des GPU-Anbieters.).

Hinweis

Das Online-Seminar wird über die E-Learningplattform von Enable AI bereitgestellt. Zur Einrichtung des User-Accounts und Zusendung von Zugangsdaten und Nutzung der Lernplattform übermitteln wir Name, Anschrift, Emailadresse der Teilnehmer an Enable AI. In diesem Zusammenhang wird auch die Telefonnummer zur Klärung der technischen Fragen übermittelt.