💡Listoru（リストル）は、Web上の情報から企業の営業リストを自動で収集・作成するツールです。
この「企業DB開発日誌」では、数ある機能の裏側に隠された、私たちの試行錯誤を綴っていきます。
エラー画面には出ない問題や、データとの静かな対話から見えてきたもの。
正解のない開発現場のリアルな空気を、少しだけおすそ分けさせてください。
今日もリストルの裏側で起きた、ひとつの物語をお届けします。
フォーマットの非互換が引き起こすデータ重複。企業データにおけるクレンジングと名寄せの必要性
企業データの厄介なところは、同じ会社が、違う顔で何度もやってくることです。
- 展示会でいただいた名刺。
- 以前使っていた道具から書き出したファイル。
- 自分たちで集めた一覧。
どれにも、同じ会社が入っています。
そして、書き方が揃っていません。
株式会社が前に付く。後ろに付く。
㈱と書かれている。（株）と書かれている。
住所にビル名まで入っている。番地で終わっている。
本社の住所と、営業所の住所が混ざっている。
人が見れば、同じ会社だと分かります。
分かるのですが、1万件を人が見るわけにはいきません。
重複したまま放っておくと、どうなるか。
同じ会社に、別の担当者が同時に連絡します。
片方の記録には商談が進んでいると書いてあり、もう片方には、初回接触と書いてある。
相手から見れば、同じ会社から2回来たことになります。
こちらのデータの乱れは、こちらの画面の中に、収まっていてくれません。
データの整理の話に見えて、実際には、外から見える問題でした。
この判定を、名寄せと呼びます。
まず、比べられる形に整えます。
株式会社や有限会社といった部分を取り除く。
全角と半角を揃える。記号を落とす。空白を詰める。
住所も同じように整えます。
都道府県の表記を揃え、番地の書き方を統一する。
こうして、比べるための文字列を作ります。
この整え方には、加減があります。
削りすぎると、別の会社が同じに見えます。
地名だけの違いを消してしまうと、支店と本店が一致します。
削らなすぎると、同じ会社が別に見えます。
括弧の種類が違うだけで、別会社になります。
どこまで削るかは、試して決めるしかありませんでした。
実際のデータで試して、一致しすぎたら戻し、一致しなさすぎたら進める。
境目は、理屈からは出てきません。データからしか、出てきませんでした。
正解を先に決められない種類の作業です。
計算量爆発を防ぐ2段階判定と、上書き（データロスト）を防ぐ更新ルール
次に、比べます。
会社名がどれくらい似ているか。
住所がどれくらい似ているか。
電話番号が一致しているか。
一致するものが多いほど、同じ会社である可能性が高くなります。
比べる相手を、全件にすることはできません。1件につき数十万件と比べていたら、終わりません。だから、先に候補を絞ります。
- 名前の一部が共通しているもの。
- 同じ地域にあるもの。
- 電話番号の一部が一致するもの。
粗く絞ってから、丁寧に比べる。
この2段構えにしないと、規模が大きくなった時点で動かなくなります。
第7話で書いた話と、同じ理屈です。
ここで、点数を出します。
そして、判定は3つに分かれます。
ひとつめ。【新規】
似ている会社が見つからなかったもの。
新しい会社として、そのまま登録します。
ふたつめ。【更新】
十分に確かな一致があったもの。
既存の会社と同じだと判断し、情報を足します。
住所が空だったところに住所が入る。電話番号が古かったところが、新しくなる。
更新のときにも、決めごとが要りました。
既存の情報と、新しい情報が違う場合、どちらを残すのか。
空欄には、入れます。値が入っているところは、上書きしません。
新しいほうが正しいとは限らないからです。
古い住所が入っているのか、支店の住所が入っているのか、こちらには分かりません。分からないときは、消さない。
誤検知（フォルス・ポジティブ）のリスク。統合の「後片付け」を回避するフェイルセーフ設計
みっつめ。【保留】
似ているけれど、決めきれないもの。
似ているけれど、決めきれない。
たとえば、社名は一致しているが、住所が違う。
支店かもしれないし、移転したのかもしれない。
たとえば、住所も電話番号も一致しているが、社名が大きく違う。
同じ建物に入っている別会社かもしれません。
この3つ目を作るかどうかで、ずいぶん迷いました。
作らないほうが、簡単です。
点数に境目を1つ引いて、それより上なら同じ会社、下なら別の会社。
そう決めれば、処理は最後まで自動で終わります。
人の手を煩わせません。画面も要りません。
実際、そうしているツールはあります。
3つ目を作るなら、箱と、一覧と、人が判断するための画面が要ります。
決めない、のほうが、作るものは多いのです。
けれど、間違えたときの後片付けが、まるで違います。
別の会社を、別の会社のまま置いておいた場合。
あとで気づけば、統合すればいい。
別の会社を、同じ会社として統合してしまった場合。
元に戻すのは、簡単ではありません。
2社分の活動記録が、1つに混ざります。
担当者も、商談も、メモも混ざります。
しかも、混ざったことに、しばらく気づきません。
分かれているものは、目に見えます。
混ざってしまったものは、混ざったようには見えません。
1社の、少し記録の多い会社に見えるだけです。
危ないのは、いつも片方だけです。
判定を作るとき、私たちは「どちらの間違いも同じくらい避けたい」と考えがちです。
実際には、そうではありません。
間違えたときの後片付けが軽いほうへ、倒す。
今回でいえば、統合しない側です。
別々のまま残っていても、あとで気づけば直せます。
この考え方は、他の場所でも使いました。
第15話の「たぶん届いた」も同じです。
どちらに寄せるかではなく、間違えたときにどちらが痛いかで決めています。
自動化の度合いは精度ではなく「人の負担」で測る。機械に「決めない」を教えるUI設計
だから、保留を作りました。
機械が決めない、という選択肢です。
保留になったものは、一覧に並びます。
人が見て、統合するか、別会社として登録するかを決めます。
決めた結果は、次に活きます。
どういう組み合わせを人が「同じ」と判断したのか。その傾向は、判定の見直しに使えます。
ただし、保留を増やしすぎると、人の仕事が増えます。
境目の置き方は、いまも調整を続けています。
多すぎれば人が疲れ、少なすぎれば事故が増える。
この調整に、正解はありません。数字を見ながら、少しずつ動かすものです。
見ている数字は、2つです。
保留になった件数。そして、統合したあとに取り消された件数。
取り消しが増えたら、機械が決めすぎています。
保留が増えすぎたら、機械が決めなさすぎています。
どちらも、人の作業量として跳ね返ります。
自動化の度合いは、精度ではなく、人の負担で測るようにしました。
保留の画面も、作り方に気をつけました。
人が判断するには、材料が要ります。
どちらの会社が、どういう情報を持っているのか。
何が一致していて、何が違うのか。
それを並べて見せます。
そして、判断は2択にしました。統合するか、別会社として残すか。
選択肢を増やすと、迷う時間が増えます。
1件あたり数秒で判断できないと、数千件の保留は、永久に片付きません。
保留は、人に仕事を渡す仕組みです。渡すなら、受け取れる形で渡す。
決めやすさは、そのまま処理量になります。
名寄せは、地味な機能です。
お客様に説明しても、あまり盛り上がりません。画面も、そっけない。
けれど、これが効いていないと、その上に載る機能が、全部おかしくなります。
活動の記録が分散する。
同じ会社に二度連絡する。
集計の件数が合わない。
土台の仕事です。
作ってみて、いちばん大事だったのは、判定の精度ではありませんでした。
「決めない」という状態を、きちんと持てるようにしたことでした。
機械は、必ず何かを返します。返さないことができません。
迷う、ということができません。迷いに見えるものも、決められた計算の結果です。
だから、返さないための箱は、こちらが用意しておくしかないのです。
機械が決めないことを決めるのも、設計のうちです。
3つ目の箱には、いまも毎日、少しずつ何かが入ります。
━━━━━━━━━━━━━━━━━━━━━━━━
次回予告
第21話「13桁の正解」
会社名で照合する。電話番号で照合する。
どちらにも、限界があります。
国が、1社に1つだけ番号を振っていました。
━━━━━━━━━━━━━━━━━━━━━━━━
リストルは、今日もどこかを直しています。
→ 営業リスト探しに、もう時間をかけない。
業種別に企業情報をまとめて収集できるリストルを、まずは3,000件まで無料でお試しください。👇
📝営業リスト収集ツール「リストル」
