“Làm số” là việc gần như bắt buộc đối với người làm sản phẩm, bởi lẽ (theo niềm tin được truyền bá rộng rãi) đây là cách thức đơn giản và trực quan nhất để trả lời cho câu hỏi: sản phẩm/tính năng có thực sự giải quyết vấn đề của người dùng. Chỉ là phải dùng thước đo nào, sử dụng đơn vị gì thì có lẽ phụ thuộc khá nhiều vào “giờ bay” của mỗi PO.
Bộ dụng cụ
Với các từ khóa “product success metrics”, UX metrics”, “product metrics cheat sheet” bạn sẽ dễ dàng tìm được rất nhiều bài viết gợi ý các chỉ số cần đo khi làm sản phẩm1, kèm theo dòng “disclaimer” về việc các chỉ số này phải gắn liền và phục vụ cho OKRs mà công ty bạn đang theo đuổi. Mặc dù cách tìm kiếm này có thể khiến bạn cảm thấy choáng ngợp vì quá nhiều chỉ số và cách diễn giải, nhưng ít nhất đây có thể được xem là lượng kiến thức nền cần dung nạp trước khi có thể sử dụng bộ dụng cụ này.
Ngoài việc phân loại theo đối tượng đo lường (engagement, acquisition, retention…), có 3 phân loại khác cũng nên được chú ý:
- Lagging và Leading indicators2
Về định nghĩa:
- Leading indicators là các chỉ số có thể dự đoán hoặc ảnh hưởng đến kết quả trong tương lai.
- Lagging indicators là những chỉ số phản ánh kết quả đã xảy ra trong quá khứ.
Ví dụ, % new users/total users là leading indicator phổ biến, vì lượng users mới ảnh hưởng trực tiếp đến tăng trưởng của một sản phẩm – càng nhiều người dùng mới chứng tỏ sản phẩm đã và đang giải quyết đúng nhu cầu của thị trường. Trong khi NPS, CSAT là lagging indicators để đánh giá mức độ hài lòng của user đối với sản phẩm, phần nào phản ánh động lực sử dụng dài hạn của người dùng. Dĩ nhiên, khi phân tích nên kết hợp cả hai yếu tố để có góc nhìn toàn diện hơn về sản phẩm và củng cố quá trình đưa ra các quyết định thay đổi/cải tiến tính năng.
- Success Metrics và Counter Metrics3
Success metrics là các chỉ số đánh giá và theo dõi mức độ hiệu quả của sản phẩm/tính năng. Tuy nhiên, nếu chỉ tập trung vào việc đạt được các success metrics, có thể dẫn đến tác động không mong muốn trong dài hạn hoặc ảnh hưởng đến các khía cạnh khác. Do đó, counter metrics thường được bổ sung để theo dõi những tác động tiêu cực có thể xảy ra khi tối ưu hóa cho success metrics. Theo quan sát của Py, các leading indicators thường là các chỉ số PO cần theo dõi hàng ngày, còn lagging indicators hay được sử dụng như các counter metrics.
Tiếp nối ví dụ ở trên, nếu mãi tập trung vào % new users/total users mà thiếu quan sát CSAT, NPS, có thể dẫn đến việc tính năng thu hút được người dùng sử dụng (vài) lần đầu tiên, nhưng sẽ không thể khuyến khích họ sử dụng thường xuyên hay xa hơn là giới thiệu với người dùng khác, về lâu dài sẽ tạo sức ép đối với marketing trong việc liên tục thu hút người dùng mới.
- Vanity Metrics và Actionable Metrics4
Vanity metrics là các chỉ số dễ đo lường nhưng không cung cấp thông tin hữu ích cho việc ra quyết định và cải thiện hiệu suất, ví dụ như số lượt truy cập app (visitors) hay thời gian dành trên website (time spent), hoặc theo cách diễn đạt trào phúng, vanity metrics khiến cho sản phẩm trông có vẻ hiệu quả nhưng thực tế thì cần kiểm chứng thêm. Trong khi đó, Actionable Metrics là những chỉ số gắn liền với mục tiêu kinh doanh, thể hiện trực quan chất lượng sản phẩm, như tỷ lệ chuyển đổi từ dùng thử sang trả phí (conversion rate) hay giá trị vòng đời khách hàng (CLV – customer lifetime value).
Để tránh rơi vào chiếc bẫy ngọt ngào của vanity metrics, cách đơn giản nhất là liên tục đặt câu hỏi “so what?” để hướng đến mục đích cuối cùng của việc tracking data. Chẳng hạn, nhiều visitors nhưng không có nghĩa là có nhiều users, có nhiều users chưa chắc đã tốt nếu họ chỉ sử dụng các tính năng miễn phí, do đó đích đến cuối cùng nên là paid users (user có trả phí) – theo lập luận này, CR của paid users/total visitors mới là chỉ số nên được tập trung.
Học cách dùng
Khi đã nhận diện được trong tay đang có những công cụ cơ bản nào, việc tiếp theo là học cách sử dụng các công cụ này để giải quyết từng bài toán cụ thể, vì trong mỗi domain, các metrics cũng sẽ thay đổi. Ví dụ, trong khi TikTok, Facebook theo đuổi MAU – monthly active users; Grab, XanhSM sẽ ưu tiên số lượt hoàn thành hành trình – number of journeys completed (gồm đặt xe, thức ăn, giao hàng) – mặc dù tất cả đều là app.
Vùng kiến thức này lại thuộc về “domain knowledge”, tức là hiểu biết về một lĩnh vực, mô hình kinh doanh có sử dụng công nghệ. Cũng vì vậy, data literacy – kỹ năng đọc, hiểu, tạo và truyền đạt dữ liệu dưới dạng thông tin – mang nặng tính kinh nghiệm hơn là lý thuyết. Khẩu quyết ở đây vẫn là: đọc nhiều vào, quan sát nhiều vào.
Thật ra trong quá trình (học) làm số, không ít lần Py tự rơi vào bẫy dùng số liệu để giải thích cho lập luận của mình, hơn là đánh giá khách quan xem số liệu đang phản ánh điều gì. Bài học Py được nhận từ anh Mentor trong những trường hợp này là: số liệu sẽ tự giải thích cho chính nó, do đó cứ tiếp tục dùng số liệu để chứng minh số liệu. Hiểu đơn giản, để kiểm chứng một giả định, nên dùng ít nhất 2-3 metrics cùng giải thích cho luận điểm đó.
Còn đối với những ý tưởng, giải pháp mới, chưa có dữ liệu quá khứ để căn cứ hoặc không có nhiều tài liệu về cách áp dụng tương tự, thì hướng đi là đặt ra giả định (có thể dựa trên kinh nghiệm) kèm các metrics được-kỳ-vọng sẽ giúp kiểm định những lập luận này, tiếp đến là tiến hành thử và sửa sai, theo đúng tinh thần “fail fast”.
Thêm một dòng ghi chú trong nữa khi “làm số” là phải hiểu đúng định nghĩa và cách lấy số. Ví dụ, về technical, lượt xem noti có thể ghi nhận theo event của FE hoặc log của BE, nên tùy trường hợp, PO cũng cần trao đổi rõ với teams để biết chính xác “điểm ghi của số liệu (và ước tính phần nào sai số).
[1] Userpilot, 2024, How to Measure User Experience: 7 Key UX Metrics, link
[2] Audrey Xu, 2024, Leading vs. Lagging Indicators, Plus Examples, link
[3] Joseph Pacheco, 2022, Success metrics vs. counter metrics: Why you need both, link
[4] Dexter Chu, 2024, What is the difference between vanity and actionable metrics?, link
Cám ơn bạn đã nán lại cho đến những dòng cuối cùng này.
Chúc bạn nhiều may mắn và bình an.
Anpy
Leave a Reply