これは、一つの営業支援ツールが少しずつ賢くなっていく、いまも続いている記録です。
派手な話は、ほとんど出てきません。
天才も、閃きも、一夜にして世界が変わる瞬間もありません。
あるのは、うまくいかなかった一件を実際に開いて、「なぜだろう」と眺めるところから始まる、ずいぶん地味な時間の積み重ねだけです。
書いていて少し気恥ずかしいのは、出てくる間違いの多くが、笑ってしまうほど単純なことです。
けれど、その単純な間違いを一つずつ拾っていくうちに、成績は「200社に2社」から「5社に1社」まで動きました。
改良の回数は、300を超えています。
『リストル：フォームリーチツール改善奮闘記』によろしければ、お付き合いください😊
「成功の形」は1つではない。誤検知を防ぐUI変化の差分検知ロジック
成績表が、実態より悪くなっていました。
きっかけは、あるお客様からの一言です。
「先方から返信が来たんだけど、こっちの画面では失敗になってるよ」
届いていました。
相手も読んでいました。返信まで来ています。
こちらの記録だけが、「送れませんでした」と言っていました。
これは、前に書いた第8話の話とつながっています。
同じ会社に4通送ってしまったのも、もとをたどれば、「送れたかどうかを読み取れていなかった」ことが原因でした。
あのときは、2度送らないための台帳をつくりました。
今回は、その手前にある話です。
なぜ、読み取れなかったのか。
こちらの機械は、送信ボタンを押したあと、完了の合図を探していました。
探し方は、1つだけでした。
別のページに移ったかどうか。
多くのサイトでは、送信すると「送信が完了しました」という別のページに移ります。
だから、ページが移れば成功。
移らなければ失敗。
単純で、分かりやすい決まりです。
■ 画面遷移だけではない。システムが陥った「成功パターンの思い込み」
では、返信までくれたあの会社では、何が起きていたのか。
うまくいかなかったと記録された会社を、いつものように1社ずつ開きました。
自分で埋めて、自分で押してみます。
1社目。
押したあと、画面はそのままでした。
同じページの上のほうに、小さな緑色の文字で1行だけ出ていました。
「お問い合わせを受け付けました」
ページは、移っていません。
でも、これは明らかに成功しています。
2社目。
押したあと、画面がいったん元に戻りました。
入力していた欄が、すべて空になっています。
そして、いちばん上に、短い一文が出ていました。
これも、成功です。
3社目。
押したあと、画面の右下に小さな箱が現れ、数秒で、すっと消えました。
見ていなければ、気づきません。
実際、1度目は見逃しました。
押して、画面を見て、何も起きないと思って、次の会社へ行こうとしたところで、視界の隅に何かが動いた気がして、戻りました。
もう1度押して、今度は画面の右下だけを見ていました。
小さな箱が出て、消えました。
人間でも見落とすものを、機械が見落としていたわけです。
もっとも、機械には言い分があります。
こちらは、そもそもその場所を見ていませんでした。
見る場所を、1か所しか教えていなかったからです。
あっ、と思いました。
こちらは、成功の形を1つしか知らなかった。
■ フォールスネガティブ（誤検知）の罠。失敗ログに隠された7割の到達事実
検証作業は、数えるところから始めました。
うまくいかなかったと記録された会社を300社ほど集めて、手で開いて、押して、何が起きたかを分類しました。
結果は、こうなりました。
別のページに移るもの。これが、いちばん多くありました。
同じページに、完了の1行が出るもの。
これが、思った以上にありました。
画面が元に戻り、欄が空になるもの。
少数ですが、確かにありました。
そして、本当に何も起きていないもの。
最後の1つは、全体の3割ほどでした。
つまり、7割は届いていたのに、こちらが「失敗」と記録していたことになります。
これは、二重に困ります。
1つは、成績表が実態より悪く見えること。
もう1つは、失敗と記録したものを、もう1度送ってしまうことです。
直したのは、合図の読み方です。
3通りを覚えさせました。
- 別のページに移ったか。
- 画面のどこかに、受付を知らせる言葉が出たか。
- 入力した欄が、いっせいに空になったか。
どれか1つでも当てはまれば、届いたものとして扱う。
2つ目の「受付を知らせる言葉」は、断りの言い回しを集めたときと同じ要領で、地道に集めました。
「送信が完了しました」「受け付けました」「ありがとうございました」
「お問い合わせを承りました」「送信されました」
これも、会社ごとに違います。
■ 画面全体ではなく「差分」を比較する。状態監視ロジックへの修正
ここで、笑ってしまう話がありました。
合図の言葉を集めているとき、「ありがとうございました」を入れたところ、急に、成功の数が跳ね上がりました。
喜んだのも束の間でした。
多くのページでは、その言葉が画面のいちばん下の、日頃のご愛顧への挨拶として、最初からずっと表示されていたのです。
押す前から、成功していたことになります。
押す前と押したあとで、画面に増えた言葉だけを見る。
そう直して、ようやくまともになりました。
この「押す前と押したあとを比べる」という考え方は、そのあと、いろいろなところで使いました。
画面に何が書いてあるかを見るのではなく、何が増えたかを見る。
もともとそこにあったものは、こちらの行いとは関係ありません。
こちらの行いのあとに増えたものだけが、こちらの行いの結果です。
当たり前のようですが、最初は、画面全体を見て判断していました。
全体を見ていると、ずっと前からそこにあった言葉に引っかかります。
比べる相手を決めておくのは、思っていたよりも大事なことでした。
3つ目の「欄がいっせいに空になる」も、同じ考え方から出てきたものです。
空になったかどうかは、押す前の状態を覚えていなければ分かりません。
覚えておく癖がついたので、この型にも気づけました。
■ システム改修ではなく「効果測定の精緻化」がもたらしたKPIの改善
直したあとの成績表は、はっきりと上がりました。
ただ、注意して書いておきたいのは、この回で直したのは、送る力ではないということです。
送る力は、何も変わっていません。
これまでどおり、同じように送っていました。
変えたのは、結果を読む目のほうでした。
届いていたものを、届いていないと思っていた。
成績表というのは、こちらが読み取ったものの集計です。
読み取り方が間違っていれば、成績表もその分間違います。
そして、間違った成績表を見ながら改良を続けると、直す必要のないところを直し続けることになります。
この件のあと、成績表の見方が1つ変わりました。
「失敗」の欄に、必ず理由を添えるようにしました。
合図が見つからなかったのか。
ボタンが押せなかったのか。
そもそもフォームに辿り着けなかったのか。
理由が分かれていれば、次にどこを直すべきかが、そのまま見えます。
もっとも、この時点では、理由を残す仕組みは、まだ中途半端でした。
合図が読み取れなかったときには、書くようにしました。
それ以外のところは、そのままです。
本気で全部に理由を残すようになるのは、もっとあとになります。
この件のあと、現場からこう言われました。
「じゃあ、これまでの成績表は、実際より悪かったってこと？」
「そうなります」
「良かったのか悪かったのか、よく分からないね」
まったくそのとおりでした。
成績が上がったのではなく、これまで低く見えていただけです。
喜ぶ話ではありません。
ただ、少なくとも、いま見ている数字は、前より本当のものに近い。
直すべき場所を決めるには、本当の数字でなければ意味がありません。
この話は、もっとあとの回で、もう1度、別の形で出てきます。
（つづく）
→ 成果を出す営業リスト3000件が無料で試せる👇
📝営業リスト収集ツール「リストル」
