Pierwszą wersję tego tekstu napisałem w maju, gdy OpenAI udostępniło samodzielne kupowanie reklam w ChatGPT. Moja teza: targetowanie przesunie się z keywordu na rozmowę. Jesienią sprawdziłem ją z motive. To produkt, który buduję, żeby obserwować odpowiedzi asystentów AI na pytania o rynek. Pierwszy prawdziwy pomiar rozłożył połowę mojego rozumowania. Ten tekst dotyczy właśnie tej połowy.
Poprawiona wersja: keyword już nie wystarczy jako brief. Musisz opisać sytuację kupującego. Potem trzeba osobno mierzyć trzy rzeczy, które opowieść o „pozyskiwaniu klientów przez AI” wrzuca do jednego worka: reklamy, za które płacisz, rekomendacje, które asystent daje sam, i wyniki biznesowe.
Opisz całą sytuację kupującego. Pamiętaj, że o dopasowaniu decyduje platforma.
W majowym szkicu porównywałem dwie prośby. “best CRM for startups” to skompresowana intencja. “I run a seven-person agency, our leads live in spreadsheets, Salesforce is too heavy, I need something cheap that works with Gmail and can be live this week” to pełna potrzeba. Wytyczne OpenAI dotyczące kreacji proszą dokładnie o to: co oferujesz, komu i kiedy to pomaga.
Ta część się broni. Brakowało granicy. Wskazówki dla platformy wpływają na to, komu pokaże reklamę, ale niczego nie gwarantują. Pytania użytkowników nie są więc powierzchnią, którą można kupić. OpenAI oddziela reklamy od odpowiedzi. Płacąc, nie kupujesz rekomendacji asystenta. Dostajesz raporty zbiorcze, a rozmowy pozostają prywatne. W moim pierwszym rozumowaniu „mapowanie rozmów” przesuwało się w stronę „kupowania rozmów”. Tylko pierwsza obietnica jest uczciwa.
Pełne demo z wymyślonymi liczbami nie wykaże, że się mylisz.
motive zaczęło się na hackathonie w Paryżu jako demo pozyskiwania klientów zbudowanego wokół AI. Od linku do marki do intencji klientów, potem review przez człowieka, reklamy, kreacje, udawane uruchomienie i dashboard z liczbami opowiadającymi spójną historię. Przekonywało właśnie dlatego, że było kompletne: piękne, a liczby były zmyślone.
Jesienią usunąłem symulowane uruchomienie i sztuczne liczby. Niepełny eksperyment z prawdziwymi obserwacjami jest więcej wart niż demo od początku do końca z wymyślonymi danymi. Tylko ten pierwszy może wykazać, że się mylisz. Jeśli budujesz takie demo, oznacz symulacje i rozdziel trzy pytania: czy proces działa, czy pomiar broni się w rzeczywistości, czy ktoś zapłaci.
Pytanie modelu, kogo by polecił, nie jest obserwacją rekomendacji.
Pierwszy check w motive pytał model, jakie marki by wymienił. Odpowiadał z pamięci, raz, bez określenia języka ani kraju, na pytania, które sam wymyślił. Powstawała wiarygodnie wyglądająca lista nazw. I tu jest problem: zła metoda też daje wiarygodne wyniki.
Teraz motive zadaje prawdziwe pytanie każdemu asystentowi, z włączonym wyszukiwaniem w sieci. Powtarza je kilka razy dla każdego języka i asystenta. Zachowuje każdą odpowiedź. Widoczność staje się częstością występowania z podanym marginesem niepewności. Obserwacja z zewnątrz nadal pozostaje obserwacją z zewnątrz. Aplikacja, której ludzie naprawdę używają, ma pamięć i personalizację, których nie odtwarzamy. Trzeba to powiedzieć.
Pytania muszą prosić o wybór kogoś i pochodzić od kupujących.
Pierwszy prawdziwy pomiar dla naszej firmy był częściowy. Odrzuciliśmy go. Mimo to pokazał największą wadę. Pytania niemal wszystkie dotyczyły tego, jak coś zrobić. Wiele pochodziło z tytułów naszego bloga. Żadna odpowiedź nie wymieniała Yempik ani konkurenta. Wynikało to z konstrukcji badania: asystent nie wymienia dostawców, jeśli nikt o nich nie pyta. Tego samego dnia sprawdziliśmy jedno pytanie kupującego: «Quali software house in Italia sviluppano agenti AI su misura per le PMI?», czyli które software house'y we Włoszech tworzą agentów AI na zamówienie dla MŚP? Claude wymienił Yempik jako pierwsze. To był jeden check, więc bez szampana. Wystarczyło, żeby zobaczyć, gdzie był błąd.
Teraz każde pytanie określa, czego chce od asystenta: kogo wybrać, jak wybierać, jak coś działa. Zestaw składa się głównie z pierwszego rodzaju. Wyniki czytamy osobno. Pytania informacyjne nadal pokazują jedną użyteczną rzecz: którym stronom ufa asystent.
Drugi błąd dotyczył pochodzenia pytań. Wyciąganie ich z firmowego bloga wyglądało jak solidna metoda. Ale twoja strona mówi o twoim pozycjonowaniu, a mało o prawdziwym popycie. Zamykała eksperyment w naszych własnych założeniach. Jeden asystent cytował naszą stronę właśnie dlatego, że pytania odzwierciedlały nasze teksty. Teraz pytania pochodzą z tego, czego ludzie naprawdę szukają. Każde zachowuje pochodzenie. Jeśli wyszukiwanie nic nie zwraca, system się zatrzymuje zamiast je wymyślać. Jeden szczegół potwierdził majową tezę z nieoczekiwanej strony: sugestie wyszukiwania wracają tylko wtedy, gdy zaczynasz od kilku słów. Ludzie nadal używają keywordów, gdy szukają.
Przeczytane, zacytowane, wymienione i polecone to różne wyniki.
W pierwszym pomiarze jeden asystent podawał nasze strony jako źródła wielu odpowiedzi, które nigdy nas nie wymieniały. Jeden wynik „widoczności” ukryłby najciekawszy sygnał: asystent korzystał z nas jako źródła, ale nie proponował nas jako dostawcy.
Teraz wzmianki i cytowania to dwie osobne miary. Nigdy nie łączymy ich w jeden wynik. Strony cytowane w odpowiedzi oddzielamy od tych tylko przeczytanych. Gdy asystent nie pokazuje źródeł, raport mówi “no sources”. Zero w tym miejscu opisywałoby sposób wyszukiwania asystenta, a klient odczytałby je jako werdykt o marce.
Włączone wyszukiwanie w sieci też wymaga sprawdzenia. W pierwszym pomiarze jeden asystent miał narzędzie i użył go w bardzo niewielu odpowiedziach. My zachowywaliśmy tylko tekst i źródła. Teraz zapisujemy każdą odpowiedź w całości. Do tego zapisujemy, czy asystent szukał, jakimi słowami i które strony otworzył. Te wyszukiwania są powodem tytułu. Keyword zniknął z interfejsu, ale został w maszynie. Asystent przepisuje rozmowę na krótkie zapytania, a potem wybiera strony. Możesz czytać te przekształcenia i pracować nad stronami, które wybiera.
Lepsza metoda może stworzyć pozór wzrostu.
Przejście z pytań o to, jak coś zrobić, na pytania kupujących zmienia wyniki nawet wtedy, gdy rynek stoi w miejscu. Nasz wykres historii łączył jedną linią pomiary z różnymi pytaniami i metodami. Ruch mógł więc wynikać wyłącznie ze zmiany pytań. Poprawka nadal powstaje: nowe pytania dodajemy bez zastępowania starych. Każdy trend porównuje te same pytania przy tej samej metodzie. Zmiana metody wyraźnie przerywa linię.
Najmocniejszy kontrargument: twoja liczba nie oddaje tego, co widzi prawdziwy użytkownik.
To prawda. Obserwacja z zewnątrz nie odtwarza aplikacji z jej pamięcią i personalizacją. motive nadal powstaje. Odpowiadam przez dokładne określenie tego, co mierzysz: ile razy na ile, jaką metodą i z jaką niepewnością. Obok są odpowiedzi, z których wyszła liczba. Wolę małą liczbę, którą klient może sam odtworzyć.
Od poniedziałku
- Napisz brief jako sytuację: cel, ograniczenia, alternatywy, obiekcje, pasująca oferta. Osobno wypisz ustawienia, które platforma faktycznie daje ci do dyspozycji.
- Przy każdym pytaniu w zestawie oznacz, czego chce od asystenta. Czytaj wyniki według rodzaju pytania.
- Bierz pytania z tego, czego szukają kupujący. Zachowaj pochodzenie każdego z nich. Twój blog mierzy twoje pozycjonowanie.
- Osobno zapisuj, czy asystent szukał, co przeczytał, co zacytował i kogo wymienił.
- Zachowuj oryginalne odpowiedzi i śledź każdą zmianę metody oraz pytań. Porównuj tylko pomiary wykonane tak samo.
- Osobno raportuj reklamy, spontaniczne odpowiedzi, wizyty i wyniki. Zapisz, co je łączy i czego nie mierzysz.
- Każdą symulację oznacz jako symulację.