Ein Proof of Concept (POC) ist ein Miniaturprojekt, mit dem der Wert eines Konzepts nachgewiesen werden soll, bevor es vollständig umgesetzt wird. Es ist gängige Praxis, diese Art von Experiment zu nutzen, um mögliche Wege zu erkunden, Fallstricke zu entdecken und Ihr Unternehmen davon zu überzeugen, dass Sie auf dem richtigen Weg sind. Es überrascht nicht, dass es in der Softwareentwicklung und in der Datenwissenschaft viele ähnliche und verwandte Konzepte gibt, wie z. B. "KI-Experimente" und "Minimum Viable Products", aber auf diese Begriffe wird in diesem Blogbeitrag nicht näher eingegangen. Stattdessen werden wir uns darauf konzentrieren, wann man sich auf einen POC festlegen sollte und wann es besser wäre, von Anfang an in großem Maßstab zu entwickeln.
Wann lohnen sich POCs für Sie und wann sind sie reine Zeitverschwendung?
Wie bei den meisten Dingen gibt es auch bei POC-Projekten einen Grund dafür. Sie sind großartige Instrumente, um neue Ideen zu testen und das Risiko zu minimieren, viel Mühe und Geld für etwas auszugeben, das sich als völlig nutzlos erweist. Wenn Sie auf eine Idee kommen, von der Sie sicher sind, dass keiner Ihrer Konkurrenten oder sogar Unternehmen in anderen Sektoren darüber nachgedacht haben, ist es sinnvoll, sie zu testen, bevor Sie sich darauf festlegen.
Ein gutes POC- oder Entdeckungsprojekt beginnt mit einer Idee, die einen realen Aspekt des Unternehmens betrifft, mit einer technischen Lösung, die solide ist und in etwas Dauerhaftes umgewandelt werden könnte. Ein fehlgeschlagener POC kann im richtigen Unternehmen eine Quelle der Erkenntnis sein und Zeit sparen, und ein erfolgreicher POC kann wie das Einschalten des Lichts in einem dunklen Raum sein.
Wenn Sie etwas entwickeln, das noch nie zuvor gemacht wurde, ist es vielleicht keine gute Idee, sich für etwas zu engagieren, das vielleicht gar nicht funktioniert. Aber für ein durchschnittliches Unternehmen, das darum kämpft, datengesteuert zu werden, sind die Chancen groß, dass es sich bei den auftretenden Problemen nicht gerade um bahnbrechende Probleme handelt. Wahrscheinlich hat jemand schon einmal fast genau das gleiche Problem gelöst und vor einigen Jahren einen Konferenzvortrag darüber auf Youtube hochgeladen. In diesem Fall besteht keine Notwendigkeit, das Rad neu zu erfinden, und der beste Weg wäre, einfach zu entscheiden, welche Art von Rad Sie in welcher Größe haben möchten.
...und wenn es irgendwo dazwischen liegt
Wenn man einige Jahre zurückblickt, bevor das maschinelle Lernen durch Giganten wie Google, Spotify, Amazon und Facebook den Mainstream erreichte, wurde viel Zeit und Mühe darauf verwendet, zu beurteilen, ob all diese neuen maschinellen Lernwerkzeuge es wert waren, untersucht zu werden, und wofür sie eingesetzt werden konnten.
Heutzutage ist die Situation völlig anders. Der Wert der fortgeschrittenen Analytik ist allgemein anerkannt. In vielen Branchen, z. B. im Einzelhandel oder im Finanzsektor services, ist es ein Wettlauf zwischen den Wettbewerbern, die niedrig hängenden Früchte der Datenwissenschaft zu pflücken. In diesen Branchen ist es nicht optimal, einen POC durchzuführen, um zu sehen, ob man mit dem Konsens übereinstimmt.
Wenn Sie sich, wie viele andere, in einer Situation befinden, in der Sie etwas bauen wollen, das ein Tech-Gigant als Standard ansehen würde, das aber auf Ihrem lokalen Markt oder in Ihrer Branche noch nicht realisiert wurde, dann kann es schwierig sein zu entscheiden, wie Sie vorgehen sollen. Die technische Lösung mag zwar einfach erscheinen, aber es gibt immer situationsbedingte Details, die geklärt werden müssen. Vielleicht funktioniert das Modell, das Sie verwenden wollen, gut für den Verkauf von Fernsehern in einem Online-Shop, aber es könnte einige Anpassungen des Modellierungsansatzes erfordern, wenn Sie es für Produkte mit ganz anderen Kaufmustern, wie Lebensmittel, verwenden wollen. Diese Art von Problemen und die Einrichtung des Datenflusses sind die häufigsten Hindernisse bei dieser Art von Projekten.
In einer solchen Situation ist es oft am besten, eine Kombination aus maßstabsgetreuem Aufbau und kleinen Experimenten zu wählen, die als Orientierungshilfe für das Systemdesign dienen. Zu wissen, wie Sie Ihr System konzipieren und was Sie untersuchen sollen, kann schwierig sein, wenn Sie nicht die richtige Kompetenz und Erfahrung in Ihrem Team haben. Sie können besser abwägen zwischen dem Risiko, Zeit mit kleineren Experimenten zu verschwenden, und dem Risiko, viel Geld in etwas zu investieren, das sich letztlich als schlechte Idee herausstellt.
Um die Diskussion über die Durchführung von POCs zusammenzufassen: Es ist immer eine gute Idee, Experimente durchzuführen, aber nicht unbedingt in einer Weise, die Sie verlangsamt. Es gibt fast immer etwas herauszufinden, und wenn es kein technisches Problem ist, dann ist es etwas, das eher mit dem Geschäft und der Organisation rund um die Modellierungsinitiative zu tun hat als mit der Modellierung selbst.
"Der Wert fortschrittlicher Analysen ist bekannt, und in vielen Branchen wie dem Einzelhandel oder dem Finanzsektor services ist es ein Wettlauf zwischen den Wettbewerbern, die niedrig hängenden Früchte der Datenwissenschaft zu pflücken. In diesen Branchen ist es nicht gerade optimal, einen POC durchzuführen, um zu sehen, ob man mit dem Konsens übereinstimmt."
Brücken zwischen Teams
Angenommen, Sie führen in Ihrem Unternehmen einen POC durch, und die verschiedenen Bereiche des Unternehmens haben unterschiedliche Erwartungen und Vorstellungen vom Zweck des Experiments. In diesem Fall ist es sehr schwierig und verwirrend für diese verschiedenen Teams, sich wohl zu fühlen und zusammenzuarbeiten. Wenn Sie z. B. ein Modell für Angebotsempfehlungen haben, das auf die Einlösungsrate optimiert ist, aber die Ausgaben messen, können Sie anfangs gute Ergebnisse erzielen. Letztendlich werden die Folgen der Messung von etwas anderem als dem, wofür das Modell trainiert wurde, den Fortschritt einschränken und für Verwirrung sorgen.
In einer solchen Situation kann eine gemeinsame Arbeitstagung und eine Diskussion unter informellen Bedingungen ein guter Anfang sein. Eine Einigung darüber, was gemessen werden soll, sollte oberste Priorität haben. Unserer Erfahrung nach können regelmäßige Workshops zur Erörterung von Zielen und KPIs ein guter Weg sein, um Verständnis zu schaffen und die Arbeit während des gesamten Prozesses angenehmer und produktiver zu gestalten, auch nach Verlassen der POC-Phase.
Als Geschäftsperson, die nicht unbedingt alle technischen Details eines Modells versteht, kann es beruhigend sein, zu wissen, dass man versteht, was eine bestimmte Metrik misst, und dass man den Fortschritt sehen kann, den das Data-Science-Team bei seiner Arbeit macht. Auf der anderen Seite müssen die Datenwissenschaftler einem Interessenvertreter nicht die Einzelheiten ihrer Arbeit erklären, um die Genehmigung zum Weitermachen zu erhalten, da ihre Lösungen ihren Wert in einem praktischen Test anhand der vereinbarten Metriken beweisen können.
Wo POC zu vermeiden und zu begrüßen ist
Lassen Sie uns abschließend zusammenfassen, wann ein POC durchgeführt werden sollte und wann nicht:
- POC vermeiden: Wenn Sie versuchen, den Weg in die Zukunft für die technischen Fähigkeiten Ihres Unternehmens zu erkunden, vermeiden Sie unnötige POCs, erstellen Sie von Anfang an eine Minimalversion im richtigen System mit den richtigen Daten und planen Sie die weitere Entwicklung in Abhängigkeit von den Ergebnissen und Erkenntnissen.
- Nehmen Sie POC an: Wenn Sie etwas Neues machen, das vielleicht nicht funktioniert, machen Sie es als Ad-hoc-Experiment und kümmern Sie sich später um die Produktion.
Ein POC kann ein Augenöffner sein, wenn er den gesamten Business Case umfasst, und er kann sehr wertvoll sein, wenn es darum geht, den geschäftlichen Nutzen eines bestimmten Projekts aufzuzeigen. Alles ist gut, wenn der Aufbau solide ist, die KPIs gut definiert sind und der Weg nach vorne klar ist. Wenn andererseits der Zweck des Experiments unklar ist, sollten Sie es nicht durchführen. Konzentrieren Sie sich stattdessen auf etwas, bei dem der Zweck klar ist, oder verwenden Sie mehr Zeit auf die Konkretisierung des Experiments.
Kontaktieren Sie uns