跳到主要內容
轉換6 分鐘

🧪 想測商品頁又怕測到天荒地老?先算清楚要跑幾天再開始

A/B 測試規劃器使用教學。用每日流量、目前轉換率、想看到的提升幅度三個數字,在開測之前就算出每組要多少樣本、要跑幾天,避免流量太小的店家測到一半就急著下結論,附四種測試目標建議、三個實際情境與顯著性判讀技巧。

小店家做 A/B 測試最容易踩的坑

很多人聽完「凡事都該 A/B 測試」就興沖沖去改商品頁,換了個新標題,跑三天看到轉換率從 2.5% 變 2.9%,就宣布新版勝出、全站換上。

問題是,這種「跑幾天就下結論」的做法,多數時候是在拿雜訊當結果。轉換率本來就會上下跳動,樣本不夠多的時候,你看到的差異很可能只是運氣,不是真的比較好。過兩週再看,數字可能又反過來。

三個常見狀況:

  • 每日只有幾百個訪客,卻想在一週內測出「提升 10%」這種小差異,數學上根本不夠樣本
  • 兩組數字看起來差一點就急著關掉測試,結果換上去之後整體轉換不升反降
  • 沒先算要跑多久,測到一半老闆問「到底有沒有效」,只能憑感覺回答

這個工具要解決的就是最前面那步:開測之前先算清楚,你這個流量規模、想看到的提升幅度,到底需要多少樣本、要跑幾天,值不值得測。

樣本數不是感覺,是算出來的

工具背後跑的是標準的雙樣本比例檢定公式,你不用懂數學,但要知道它在權衡什麼。

一句話講原理:你想偵測的差異越小,需要的樣本就越多。

想從 2.5% 測到 5%(翻倍)很容易,幾百人就看得出來;想從 2.5% 測到 2.6%(提升 4%)就非常難,因為這點差異太容易被日常波動蓋過去,要累積到夠大的樣本才能確定不是巧合。

工具要你填四個東西:

  • 每日流量:兩組加起來每天有多少人看到
  • 目前轉換率:現在的基準線,例如 2.5%
  • 最小可偵測提升:你至少要看到多少幅度的進步才覺得值得換,例如提升 20%
  • 信心水準:90% 快速驗證、95% 業界標準、99% 高度確信

按下去之後它算三件事:每組需要多少樣本、兩組總共需要多少樣本、用你的每日流量要跑幾天。如果算出來超過 90 天,它會提醒你這個測試不切實際,該調整條件。

三步跑完一次測試規劃

步驟 1:選測試目標,看該怎麼設計變體

上方先選你要測什麼,工具內建五種常見目標:商品標題、商品主圖、商品價格、文案描述、CTA 按鈕。選好之後下方會列出這個目標該怎麼設計變體的具體建議。

例如選「商品價格」,它會提醒你測尾數效應($999 對比 $990)、整數對比帶零頭、原價劃線效果。這些是幫你想「A 版和 B 版差在哪」,避免兩版改太多東西、測完不知道是哪個因素有效。

步驟 2:填流量與轉換數據

填每日流量、目前轉換率、最小可偵測提升、信心水準。

每日流量和目前轉換率直接去你的店後台(蝦皮、SHOPLINE、官網 GA4)撈真實數字,不要用猜的。最小可偵測提升先填 20%,這是多數店家能接受的門檻;信心水準沒特別要求就用 95%。

不知道怎麼填可以先點「帶入範例」,它會塞每日 500 人、轉換率 2.5%、提升 20% 讓你看結果長怎樣。

步驟 3:看天數,決定要不要測

結果會給你每組樣本、總樣本、預估天數。

重點看天數這格。如果算出來是 14 天,那就排兩週;如果算出來 120 天,工具會標紅提醒不切實際,這代表你的流量太小或想測的差異太細,要嘛把「最小可偵測提升」調大(只測明顯的改動),要嘛先想辦法把流量拉上來再測。算好之後可以一鍵複製整份規劃存檔。

判讀與執行的四個提醒

1.天數沒到不要偷看結論:測試最忌諱跑到第三天看到 A 領先就關掉。工具算出要跑 14 天,就老實跑滿 14 天,中途數字怎麼跳都別動。提早結束的測試等於白測。

2.一次只改一個變因:想測標題又想順便換主圖,測完贏了也不知道是誰的功勞。要嘛分兩次測,要嘛接受你測的是「整體改版」而非單一元素。工具的變體建議就是幫你聚焦在單一目標上。

3.流量太小就把提升門檻調大:每日只有 200 人的店,硬要測「提升 5%」會算出跑好幾個月。務實的做法是只測那些你預期會有明顯效果的大改動(例如提升 30% 以上),小優化留給流量大的旗艦商品。

4.信心水準看你賭多大:改個 CTA 按鈕文字,賭錯了損失不大,用 90% 快速驗證跑短一點沒關係;要改全站定價策略這種動一髮牽全身的,用 99% 讓自己更篤定,代價是要跑更久、更多樣本。

三個實際情境

情境 A:中型服飾店,想測新的商品標題

每日流量 500 人、目前轉換率 2.5%、想看到提升 20%、信心 95%。

算出來每組約需 3800 人上下、總樣本約 7600 人,用每日 500 的流量要跑大約 15 天。結論很清楚:排兩週,跑滿再看,中途不動。這種規模很適合做測試,兩週能得到可信的答案。

情境 B:新開的手作小店,每日只有 150 個訪客

每日流量 150 人、轉換率 2%、想測提升 15%、信心 95%。

算出來要跑三個多月,工具標紅提醒不切實際。這時候硬測沒意義,該做的是把「提升」門檻拉到 40%(只測會帶來明顯差異的大改動),或先別急著做 A/B,直接用商品頁轉換率診斷找出明顯的問題一次補齊,等流量長起來再回來做精細測試。

情境 C:想測降價尾數,測試目標選「商品價格」

先在測試目標選「商品價格」,工具提醒可以測 $999 對比 $990 的尾數效應。填每日流量 800、轉換率 3%、提升 20%、信心 95%。

算出來約需跑 10 天。價格類的改動通常效果比較明顯,這種測試值得做,因為一旦找到更好的定價,效益是長期的。跑完拿實際兩組轉換率,回到工具比對是否達到你設定的最小提升,達標才換上。

規劃完之後接著做什麼

天數合理(例如 10 到 21 天):直接排進行事曆,設定好開始和結束日,跑滿再看。開測前先用產品標題 A/B 變體機把 A 版 B 版的文案準備好,一次生多個變體挑兩個最有把握的來對打。

天數太長被標紅:先別測。兩條路,一是把最小可偵測提升調大只測大改動,二是先用商品頁轉換率診斷把商品頁明顯的破洞補起來,這種一望即知的問題不需要 A/B,改了就是好。

測完之後:拿兩組實際轉換率回工具對照,確認差異有沒有達到你當初設定的最小提升門檻。達標再全站換上;沒達標就是這個改動效果不明顯,別換。整套測完之後,還可以用投放前 KPI 試算器把新的轉換率帶進去,重算你的廣告划不划算。

常見問題

Q: 這個工具會幫我實際跑 A/B 測試嗎?
不會。它是「開測前的規劃器」,幫你算出這個測試該準備多少樣本、要跑幾天、變體該怎麼設計。實際的分流測試要在你的電商平台或第三方工具上執行,工具負責的是最前面「值不值得測、要測多久」這一步。
Q: 為什麼流量小的店常常算出要跑好幾個月?
因為想偵測的差異越小、流量越少,需要累積的樣本就越多。每日兩三百人的店想測出「提升 10%」這種細微差異,數學上就是需要很長時間。務實做法是把最小可偵測提升調大,只測那些預期效果明顯的大改動。
Q: 信心水準要選 90%、95% 還是 99%?
看賭錯的代價。改個按鈕文字這種小事,選 90% 快速驗證、跑短一點就好;要動全站定價這種牽一髮動全身的決策,選 99% 讓自己更篤定,代價是要更多樣本、跑更久。沒特別考量就用業界標準 95%。
Q: 計算會消耗 AI 額度或上傳我的數據嗎?
不會。所有樣本數和天數計算都在你的瀏覽器本機即時完成,不呼叫 AI、不消耗額度、不上傳任何數字,免費無限次使用。變體設計建議也是內建的固定清單,不是即時生成。

立即免費使用電商營運工具箱

192 個 AI 驅動的電商工具,解決你每天最痛的營運問題

開始使用 →