これは、一つの営業支援ツールが少しずつ賢くなっていく、いまも続いている記録です。
派手な話は、ほとんど出てきません。
天才も、閃きも、一夜にして世界が変わる瞬間もありません。
あるのは、うまくいかなかった一件を実際に開いて、「なぜだろう」と眺めるところから始まる、ずいぶん地味な時間の積み重ねだけです。
書いていて少し気恥ずかしいのは、出てくる間違いの多くが、笑ってしまうほど単純なことです。
けれど、その単純な間違いを一つずつ拾っていくうちに、成績は「200社に2社」から「5社に1社」まで動きました。
改良の回数は、300を超えています。
『リストル：フォームリーチツール改善奮闘記』によろしければ、お付き合いください😊
確証バイアスが招く「的外れな改修」。ログ分析なき印象ベースの仮説検証からの脱却
■ ログ分析なき「印象ベースの仮説」。確証バイアスが生んだシステム診断の誤り
「原因が分かりました」と報告した翌日、それが間違いだと分かりました。
前の回で、理由を書き残すようにしました。
その記録をもとに、いちばん多い理由を数えました。
結果を見て、報告を書きました。
「うまくいかない件の大半は、問い合わせページそのものに辿り着けていないことが原因です」
もっともらしい話でした。
実際、そういう例を、これまでにいくつも見ています。
問い合わせページの場所は、会社ごとに違います。
「お問い合わせ」と書いてあるとはかぎりません。
「ご相談はこちら」「CONTACT」「お客様窓口」。
画面のいちばん下に、小さく置かれていることもあります。
だから、辿り着けていないのだろう。そう考えました。
書いていて、気持ちよく書けたのを覚えています。
次の日、念のため、その理由の中身を開いてみました。
「問い合わせページが見つかりませんでした」と記録された件を、実際に、手で開いてみたのです。
半分以上に、問い合わせページがありました。
見つかりました。しかも、すぐに見つかりました。
画面の上のほうに、はっきり書いてあります。
あっ、と思いました。
辿り着けていないのではない。辿り着く前に、別の理由で諦めていた。
調べてみると、そのページへ行く途中で、いくつかの会社では、案内の画面が出ていました。
地域を選ぶ画面だったり、同意を求める画面だったりします。
その画面で足を止めて、そこから先へ進めず、「問い合わせページが見つかりませんでした」と書いていました。
理由としては、間違ってはいません。
見つからなかったのは、事実です。
ただ、原因はそこではありませんでした。
■ サンプル数の不足と定性評価の罠。データドリブン（定量評価）への意識改革
似た話が、もう1件あります。
同じころ、こういう推測を書いていました。
「送信のあとに、確認画面が出る型のサイトが多いはずです。そこに対応すれば、かなりの数が改善するでしょう」
これも、もっともらしい話でした。
実際に、そういうサイトを何社か見ていました。
印象としては、かなり多い気がしていました。
数えてみました。
6分の1しか、当たっていませんでした。
確認画面が出る型は、たしかにあります。ただ、思っていたほど多くありませんでした。「かなりの数が改善する」というのは、根拠のない見立てでした。
この2つが、ほとんど同じ時期に続けて起きました。
どちらも、同じ形をしています。
いくつか実例を見た。
印象に残った。
多いはずだと思った。
数えずに、そう書いた。
実例を見ている分、たちが悪いのです。
まったく知らないことなら、慎重になります。
いくつか見たことがあると、分かった気になります。
訂正の報告を書くのは、あまり気持ちのいいものではありません。
前の日に「わかりました」と書いたものを、次の日に「違いました」と書くことになります。
現場の反応は、意外なものでした。
「気づいたなら、そのほうがいいよ。間違ったまま何週間も直してるほうが困る」
そのとおりです。間違った診断をもとに直せば、直しても効きません。
効かなければ、また別のところを疑います。
そうやって、当たらない直しを重ねていくことになります。
ここで、笑ってしまう話も書いておきます。
訂正の報告を書いたあと、「今度こそ数えてから書こう」と決めました。
その次の報告で、また同じことをやりました。
「この型が多いはずです」と書いて、書いたあとで数えて、慌てて直しました。
今度は、報告を出す前に気づけました。
決めただけでは、身につきません。書いたものを、出す前に1度読み返す。
その手順を足して、ようやく形になりました。
■ 「事実」と「推測」の分離。失敗の履歴（ポストモーテム）を残すレポーティング
この件のあと、報告の書き方を変えました。
推測を書くときは、推測だと書く。
「印象では多いように見えますが、まだ数えていません」
数えたものは、数えたと書く。
「300件を数えたところ、この理由が4割でした」
この2つを、はっきり分けるようにしました。
そして、訂正は、消さずに残すことにしました。
前の報告を書き換えるのではなく、新しい報告に「前回の見立ては違っていました」と書く。
思いついた原因は、必ず数えて確かめる。訂正は、隠さず残す。
この記録を書いているのも、たぶん、同じ理由です。
うまくいった話だけを並べれば、読みやすいものになります。
ただ、それでは、次に読んだ人の役に立ちません。間違えたところこそ、書いておく値打ちがあります。
もう1つ、この件で気づいたことがあります。
間違った診断のあとに直したものは、たいてい、そのまま残っていました。
「問い合わせページに辿り着けていない」と考えて、ページの探し方を、かなり手直ししました。
診断が間違っていたのだから、その直しも無駄だったのかというと、そうでもありません。探し方そのものは、たしかに良くなりました。
ただ、それは「いちばん効くところ」ではありませんでした。
効くところを直したつもりで、効かないところを丁寧に直していた。
時間の使い方としては、失敗です。
こういう失敗は、直したものが残る分、あとから気づきにくいのです。
「あのとき直したところは、いまも動いている」
そう思っていると、間違った診断のことは忘れます。
だから、訂正を残すことにしました。
いつ、何を、どう間違えたか。
残しておけば、同じ形の間違いをしそうになったときに、少しだけ手が止まります。いまのところ、その「少しだけ」が、いちばん効いている気がします。
この記録を書くにあたって、1つだけ、自分に決めていることがあります。
うまくいった話と、間違えた話を、同じ数だけ書く。
実際には、間違えた話のほうが多くなりました。
それは、そのまま事実です。
300回を超える改良のうち、狙いどおりに効いたものは、そう多くありません。
効かなかったもの。
別のところを壊したもの。
直したつもりで、直っていなかったもの。
そちらのほうが、ずっと多い。
このツールが少しずつ良くなってきたのは、良い手を思いついたからではありません。
効かなかったことに、その都度気づけたからです。
気づくためには、測るしかありません。測るためには、記録が要ります。
この2回分の話は、そこでつながっています。
■ 仮説の「反証可能性」を組み込む。手戻りを防ぐセルフレビューのプロセス
数えられないものは、直せない。
そして、数えたつもりのものも、疑ったほうがいい。
最後に、この件で決めたことをもう1つ。
報告の最後に、必ず1行を足すようにしました。
「この見立てが外れているとしたら、どこか」
書いてみると、これがなかなか効きます。
自分の書いたものを、いちど反対側から読むことになるからです。
たいていの場合、書きながら気づきます。
「数えていないのに、断定して書いている」
気づいたら、書き直します。
書き直すのは、5分で済みます。
間違ったまま出して、翌日に訂正するより、ずっと楽な5分でした。
（つづく）
→ 成果を出す営業リスト3000件が無料で試せる👇
📝営業リスト収集ツール「リストル」
