Jak uniknąć przepłaconej inwestycji w AI? PoC i MVP jako kluczowe etapy weryfikacji projektu
Rozwiązania, które wykorzystują sztuczną inteligencję, w tym modele Machine Learning, stają się dzisiaj nieodłącznym elementem niemal każdego biznesu. Chociaż etap bycia jednorożcem, który onieśmiela i zachwyca, mają już za sobą – przynajmniej w kontekście korzyści biznesowych rozpatrywanych rozwiązań – to jeśli chodzi o mechanizm działania algorytmów AI i końcowy wynik, nie wszystko jest tak oczywiste. Chęć szybkiego efektu biznesowego oraz jednoczesna niepewność, czy faktycznie uda się go osiągnąć, powodują, że wiele organizacji, zanim zdecyduje się na pełnoskalowe wdrożenie nowego rozwiązania, stawia na praktyczną weryfikację danego pomysłu. Z pomocą przychodzą tutaj dwie koncepcje – PoC (Proof of Concept) oraz MVP (Minimum Viable Product). Z tego artykułu dowiesz się, jaką rolę pełnią we wdrożeniach Machine Learning i jakie korzyści wynikają z ich zastosowania. Poznasz także przykłady zrealizowanych przez zespół OChK projektów PoC i MVP dla klientów z różnych branż.
Zrozumienie różnic między MVP a PoC
Testowanie różnych etapów rozwoju produktu i prototypowanie nowych rozwiązań Machine Learning za pomocą PoC i MVP pozwala Twojej organizacji uzyskać istotne korzyści biznesowe przy zaangażowaniu ograniczonych środków oraz w możliwie krótkim czasie. Choć oba terminy są powszechnie znane i blisko związane z całą branżą technologiczną, w kontekście projektów AI/ML nabierają szczególnego znaczenia ze względu na złożoność, ryzyko i wysokie koszty potencjalnych wdrożeń.
Temat budowania projektów Machine Learning poruszaliśmy także w artykule: Jak zbudować skuteczne rozwiązania Machine Learning w 3 krokach?. Przejdź do tekstu, jeśli chcesz w pełni wykorzystać potencjał uczenia maszynowego i skorzystać ze wskazówek, które pozwolą Ci zaplanować proces wdrażania projektów ML.
Definicja PoC (Proof of Concept)
PoC to pierwsza weryfikacja wykonalności danego pomysłu, w szczególności na poziomie technicznym, ale również wstępna ocena jego potencjału biznesowego. Z uwagi na to, że PoC ma charakter eksperymentu, a nie gotowego produktu, jego głównym celem jest zweryfikowanie, czy dane podejście technologiczne spełni oczekiwania użytkowników i będzie stanowić solidną podstawę do dalszego rozwoju produktu. Typowymi cechami PoC w AI/ML jest m.in. praca na ograniczonym zbiorze danych, skoncentrowanie się na kluczowej hipotezie technologicznej, a także krótki czas realizacji i cyklu życia (liczony w dniach lub tygodniach, a nie w miesiącach czy latach).
Definicja MVP (Minimum Viable Product)
MVP to z kolei minimalna wersja produktu, która zawiera już kluczowe funkcjonalności, obsługuje rzeczywiste dane i dostarcza wartość biznesową użytkownikowi końcowemu. Mimo że pozostaje w jakiś sposób uproszczona w stosunku do wersji finalnej (np. pozbawiona jest pobocznych funkcji lub działa tylko dla określonego segmentu klientów), MVP umożliwia szybkie zebranie opinii użytkowników i zweryfikowanie, czy produkt spełnia ich oczekiwania. W efekcie, pozwala jednocześnie zespołom na dostosowanie właściwego kierunku działania i stopniowe przekształcenie go w kompletny i dojrzały produkt.
Kiedy wybrać PoC, a kiedy MVP?
Decyzja o tym, kiedy projekt rozpocząć od PoC, a kiedy przejść do budowy MVP, zależy głównie od czynników i technologicznych i biznesowych.
| PoC | MVP |
| Istnieją istotne wątpliwości, czy AI/ML rozwiąże problem. | Skuteczność technologii została już zweryfikowana (np. poprzez wcześniejszy PoC lub dostępne badania). |
| Ryzyko technologiczne jest wysokie (np. brak danych, niepewne wyniki). | Kluczowe ryzyko leży po stronie akceptacji rynkowej lub użytkowej, a nie technologicznej. |
| Koszt wdrożenia pełnego systemu byłby nieuzasadniony bez wstępnych dowodów działania. | Celem jest szybkie wejście na rynek z minimalnym produktem i jego doskonalenie w kolejnych iteracjach. |
| Istnieje potrzeba zbudowania wewnętrznego poparcia (np. dla finansowania projektu). | Organizacja uzyskała już gotowość na adaptację technologii (ludzie, procesy, systemy). |
W praktyce bardzo często projekty AI/ML rozpoczynają się od wdrożenia PoC, a następnie, w przypadku sukcesu, przechodzą w fazę budowy MVP.
Weryfikacja pomysłów i technologii, czyli przykłady zastosowania PoC i MVP
OChK, jako dostawca usług profesjonalnych, często przygotowuje zarówno PoC, jak i MVP dla swoich klientów. Poniżej znajdziesz przykłady trzech projektów biznesowych realizowanych w takich formułach, które mogą posłużyć Ci jako inspiracja dla zastosowań AI/ML w Twojej organizacji.
1. MVP: Vision AI dla firmy z sektora przemysłowego
10 tygodni do wdrożenia produkcyjnego
Klientowi zależało na tym, aby stworzyć zautomatyzowane rozwiązanie do inspekcji wizualnej surowca na linii produkcyjnej. W tym celu nad określonymi liniami zostały zainstalowane kamery, które, wykorzystując modele klasy vision AI, wykonywały zdjęcia materiałów, rozpoznawały ich rodzaj, aby następnie, po weryfikacji predykcji, odpowiednio je kategoryzować.
Rys. 1: Schemat zastosowanego rozwiązania?
Dane źródłowe – zdjęcia z kamer oraz pliki z opisem zawierającym informacje o rodzaju linii i widocznym na niej produkcie – poddaliśmy wstępnej obróbce. Ujednoliciliśmy jakość materiałów, zastosowaliśmy rotacje, zbliżenia lub oddalenia, a następnie przygotowaliśmy zbiory treningowe do nauki modelu. Model typu multiclass classification uczył się rozpoznawać kilkadziesiąt klas produktów opisanych na zdjęciach i osiągnął ponad 90% skuteczności w identyfikacji, testowanej na nowych danych, których wcześniej nie widział.
Ćwiczenie przeprowadziliśmy dla kilku linii produkcyjnych, a gotowe modele sukcesywnie wdrażaliśmy na produkcję – cały proces zajął mniej niż 10 tygodni.
Ciekawostką jest fakt, że mimo użycia technologii chmurowych, finalne rozwiązanie wdrożyliśmy jako skonteneryzowaną aplikację, która działa w środowisku on-premise klienta, zgodnie z jego wymaganiami.
Praktyczna porada: W projektach AI/ML – zwłaszcza na etapie PoC lub MVP – nie zakładaj, że model widzi Twoje dane tak jak człowiek. Algorytmy vision AI mogą wychwytywać zależności, które są nieistotne z perspektywy eksperta dziedzinowego. W naszym przypadku model błędnie nauczył się rozpoznawać jedną z kategorii produktów nie na podstawie samego obiektu, a na podstawie tła, które omyłkowo znalazło się w kadrze zdjęć dla jednej z kamer, co prowadziło do trudnych do wyjaśnienia błędów klasyfikacji. Dlatego zawsze analizuj dane treningowe pod kątem potencjalnych, ukrytych korelacji i testuj model na zróżnicowanych źródłach wejściowych, zanim przejdziesz do etapu produkcyjnego.
2. MVP: Budowanie modelu predykcyjnego anti-churn dla firmy z sektora
e-commerce
6 tygodni do wdrożenia produkcyjnego
Ten projekt był jedną z pierwszych prób wykorzystania Machine Learning w działaniach biznesowych tej organizacji. Na starcie postawiony został ambitny cel – identyfikacja klientów zagrożonych odejściem (churn) w celu proaktywnego przeciwdziałania temu procesowi. Choć sama budowa modelu (uczenie z nadzorem dla zmiennej klasyfikacyjnej 0/1) nie stanowiła dużego problemu, to przygotowanie oferty i przeprowadzenie efektywnej kampanii retencyjnej okazało się dużo trudniejsze.
Rys. 2: Schemat zastosowanego rozwiązania
W odróżnieniu od wcześniejszych projektów, które bazowały na danych wizualnych, tutaj pracowaliśmy przede wszystkim z danymi ustrukturyzowanymi – atrybutami klientów przechowywanymi w relacyjnych bazach danych. Aby jak najlepiej wykorzystać ich potencjał informacyjny, dane zostały poddane agregacji – tam, gdzie pozwalał na to ich charakter – do postaci sum, maksimów, czy trendów wielookresowych (dla kilku horyzontów czasowych). Dzięki temu modele mogły analizować zarówno krótkoterminowe, jak i długofalowe wzorce zachowań.
Wynikiem prac były modele, które pozwalają wykryć klientów zagrożonych odejściem z nawet kilkunastokrotnie wyższą skutecznością niż bez ich użycia (kluczowym parametrem dla tych modeli był wybór jak największej liczby klientów zagrożonych churnem przy jak najmniejszej łącznej liczbie klientów wybieranych do kampanii retencyjnej).
Praktyczna porada: Czasem w pogoni za użyciem wyrafinowanych algorytmów oraz liczbą cech zagregowanych do wykorzystania przez model, zapominamy o podstawach. Zanim więc poświęcisz czas na tuning modeli, upewnij się, że nie występuje u Ciebie zjawisko data leakage. W tym przypadku zespół klienta osiągnął na starcie zaskakująco wysoką wyjaśnialność zjawiska dla zbiorów treningowych i walidacyjnych… tylko po to, by odkryć, że jeden z atrybutów wejściowych był pośrednią formą zmiennej celu.
3. PoC: Biblioteka otagowanych materiałów video dla firmy z sektora telekomunikacyjnego
3 tygodnie przygotowań; projekt nie wyszedł poza fazę koncepcyjną
Celem tego klienta było znalezienie rozwiązania na bazie algorytmów AI, które umożliwiłoby usprawnienie procesu przeszukiwania wewnętrznych baz materiałów video i wzbogacenie ich o metadane, takie jak czas, temat czy autor wypowiedzi.
Dane źródłowe stanowiły zgromadzone przez klienta materiały video oraz oznaczone wypowiedzi osób, które miały zostać w nich rozpoznane. Wybrany materiał przechodził przez wstępny moduł wykrywający początek i koniec wypowiedzi, a także rozróżniający kolejnych mówców – bez nadawania im tożsamości, a jedynie przypisując etykiety typu „SPEAKER01” na podstawie podobieństwa głosów. Wyodrębnione wypowiedzi były następnie porównywane z wcześniej przygotowanymi wzorcami głosów nazwanych osób. Jeśli podobieństwo przekraczało określony próg, system przypisywał wypowiedź konkretnej osobie. Ostatecznie wszystkie zidentyfikowane wypowiedzi trafiały do bazy wiedzy, którą można było przeszukiwać w szybki i skuteczny sposób – np. filtrując materiały według osoby, tematu i długości wypowiedzi.
Rys. 3: Schemat zastosowanego rozwiązania
Choć efekty projektu były zadowalające, produkt nie został wdrożony produkcyjnie.
Praktyczna porada:
- Nie każde rozwiązanie projektowane w ramach PoC ma swoją kontynuację. Często przyczyną jest brak spełnienia kluczowych wymagań projektu, w tym przypadku przyczyna była jednak znacznie prostsza: zmiana priorytetów po stronie klienta i rezygnacja z inwestycji w rozwój tego typu rozwiązania. To również naturalny i – wbrew pozorom – częsty scenariusz w cyklu życia inicjatyw AI.
- Nawet jeśli korzystasz z gotowych, sprawdzonych bibliotek do zadań, takich jak segmentacja wypowiedzi czy rozpoznawanie mówców, nie zakładaj, że AI „załatwi wszystko za Ciebie”. W tym projekcie często napotykaliśmy sytuacje, w których algorytmy działały poprawnie w większości przypadków, ale pojedyncze błędy mocno wpływały na jakość całości. Nie raz zadawaliśmy sobie pytania: dlaczego akurat ta wypowiedź została podzielona, a tamta nie? Dlaczego została przypisana do osoby A, a nie do osoby B? Co gorsza, analiza takich przypadków nie zawsze była prosta – trudno było jednoznacznie wskazać, co było przyczyną błędów. Istnieje wiele sposobów na poprawę jakości (np. standaryzacja audio, dostosowanie hiperparametrów, redukowanie szumów), ale warto mieć świadomość, że przejście od „niezłej jakości” do „bardzo dobrej jakości” wyniku końcowego może wymagać nieproporcjonalnie dużego nakładu pracy.
Kluczowe korzyści PoC i MVP
Na podstawie powyższych przykładów można zauważyć, że testowanie technologii AI za pomocą PoC i MVP niesie za sobą wiele korzyści.
Minimalizacja ryzyka inwestycyjnego
Jedną z zalet MVP i PoC jest ograniczona inwestycja początkowa. W praktyce oznacza to, że nawet jeśli zrezygnujesz z projektu lub nie spełni on Twoich oczekiwań – czy to pod względem technologicznym, czy biznesowym – straty są znacznie mniejsze niż w przypadku zbudowania pełnej wersji produktu. Dzięki PoC i MVP możesz testować nowe pomysły w kontrolowany sposób, na bieżąco oceniając ich potencjał i podejmować decyzje o dalszym kierunku rozwoju, bez angażowania wszystkich zasobów.
Szybkie testowanie pomysłów
PoC i MVP oznaczają też relatywnie krótki czas od powstania pomysłu do próby jego zmonetyzowania. Planowanie pełnoskalowej reorganizacji komponentów, takich jak Data Platform czy Analytics Platform, w zależności od ilości danych jakimi operujesz, zajęłoby kwartały, a nawet lata, licząc od momentu rozpoczęcia projektu do jego pełnego zakończenia – szczególnie, gdy mamy, na przykład, dodatkowo zaplanowaną migrację danych historycznych czy też integrację wielu źródeł danych z różnych systemów. W przypadku dobrze wyskalowanego PoC czy MVP czas ten wynosi raczej kilka tygodni lub kilka miesięcy, co potwierdzają przykłady opisane powyżej.
Oszczędność zasobów
Zarówno PoC, jak i MVP umożliwiają zespołom szybkie i innowacyjne działanie – bez konieczności oczekiwania na ukończenie wszystkich formalnych etapów czy pełnej infrastruktury analitycznej. Nie oznacza to, że możesz całkowicie zrezygnować z danych, platformy Feature Engineering czy MLOps – chodzi o to, że na etapie PoC/MVP możesz ograniczyć się do elementów niezbędnych do sprawdzenia kluczowej hipotezy, stosując pewne uproszczenia i rezygnując z pełnej złożoności docelowego rozwiązania.
Przykładowo, nie będziesz potrzebować danych z każdego systemu ani ich pełnej historii – często wystarczą wybrane źródła i krótszy zakres czasowy. Zamiast rozbudowanej Feature Engineering Platform, możesz wykorzystać jej uproszczoną wersję, która obsługuje kilkanaście wystandaryzowanych typów agregacji, zamiast pełnego katalogu. Podobnie, pełną automatyzację w ramach MLOps możesz odłożyć na później – na niewielką skalę cyklem życia modeli można skutecznie zarządzać również manualnie.
Podsumowanie
Każdy z nas chciałby dostarczać projekty szybko, dobrze i tanio – szczególnie te, które tak powszechnie wykorzystują modele Machine Learning, by spełniać potrzeby rynku i budować przewagę. Skuteczną alternatywą dla długoterminowej i kosztownej inwestycji jest testowanie nowych rozwiązań za pomocą koncepcji PoC i MVP.
Metaforycznie stanowią one pierwsze sito, które pozwala zweryfikować, które z Twoich pomysłów to „płotki”, a które to „grube ryby” pod względem wartości biznesowej. PoC pozwala na sprawdzenie wykonalności technologicznej pomysłu, MVP zaś na zbudowanie podstawowej wersji produktu. Obie koncepcje umożliwiają szybkie wdrożenie i iteracyjny rozwój rozwiązania na podstawie otrzymanego feedbacku. Przykłady zastosowania MVP i PoC w projektach AI/ML pokazują wiele zalet – w tym minimalizację ryzyka inwestycyjnego, oszczędność zasobów oraz możliwość dostosowywania rozwiązania do potrzeb rynku.
Jeśli chcesz dowiedzieć się więcej o budowanych przez nas rozwiązań, odwiedź naszą stronę Data/AI, a jeśli masz w głowie już jakiś pomysł i chcesz skorzystać ze wsparcia naszych ekspertów, skontaktuj się z nami za pomocą poniższego formularza.
