Vor ein paar Monaten versuchte ich, mich selbst herauszufordern und eine Reise anzutreten, um vom Hintergrund in Datenanalyse zu Data Engineering zu wechseln. Bisher habe ich insgesamt zwei wirkungsvolle realwelt Projekte gebaut, die mir tatsächlich etwas Nützliches beigebracht haben. Ich baute eine Git Hub ET L-Pipeline, die Git Hub-Repositories extrahiert und in eine SQLite-Datenbank lädt — diese lief nach einem Zeitplan mit Git Hub Actions.

Ich baute auch eine RSS-Pipeline, die Artikel aus RSS-Feeds extrahiert und in einer Kestra-Datenbank speichert — orchestriert von Kestra, um nach einem stündlichen Zeitplan zu laufen. Jetzt, da ich ET L bis zu einem gewissen Grad verstanden habe, wollte ich etwas Neues ausprobieren. Ich wollte weiter üben, was ich in der Vergangenheit gelernt hatte, während ich etwas Neues baute.

Ich war schon immer fasziniert vom Bereich des maschinellen Lernens, hatte aber nie den Mut, einzusteigen, weil ich dachte, es hätte komplexe Mathematik. Nicht mehr. Kürzlich baute ich ein Churn-Vorhersagemodell für ein fiktives Telekommunikationsunternehmen, das ich Northline Mobile nenne (P.

S. Ich verwende ein fiktives Unternehmen, weil ich Dinge am besten an realen Szenarien verstehe). Ich versorgte es mit Daten von 7043 Kunden und sagte ihm, ob sie einen 1-Jahres-Vertrag oder monatliche Pläne abgeschlossen hatten, Kundendauer, monatliche Gebühren, Add-ons usw.

Außerdem sagte ich ihm, wer Northline Mobile schließlich verließ. Ich kreuzvalidierte das Modell mit Kunden, die es noch nicht gesehen hatte. Es erreichte 81% Genauigkeit.

Das lehrte mich alles, was in den Bau eines Modells einfließt. Offensichtlich verstand ich nicht den gesamten komplexen Code, da ich intuitive Drag-and-Drop-Oberflächen gegenüber komplexem Code bevorzuge. Aber ich verstand die wesentlichen Bausteine für den Bau eines Modells; ich werde unten mit einer vereinfachten Architektur weiter erklären.

Also fühlte sich der Bau dieses Modells wie ein Sieg aus der Perspektive des maschinellen Lernens an; mein Modell funktionierte. Aber es gab noch ein Problem: Es war noch nicht wirklich nützlich. Angenommen, ein Northline-Mitarbeiter, der eine Vorhersage benötigt, kommt zu mir, müsste ich Jupyter.