💡Listoru（リストル）は、Web上の情報から企業の営業リストを自動で収集・作成するツールです。
この「企業DB開発日誌」では、数ある機能の裏側に隠された、私たちの試行錯誤を綴っていきます。
エラー画面には出ない問題や、データとの静かな対話から見えてきたもの。
正解のない開発現場のリアルな空気を、少しだけおすそ分けさせてください。
今日もリストルの裏側で起きた、ひとつの物語をお届けします。
名寄せアルゴリズムの限界。属性データの「表記ゆれ」が引き起こす目視確認コストの増大
同じ会社かどうかを、機械に判定させる。
前回は、その仕組みの話でした。
会社名を整えて比べ、住所を比べ、電話番号を比べる。
似ている度合いを点数にして、確信があれば統合する。
この方法は、うまく動きます。実際、ほとんどの会社は、これで正しく判定できます。
ただ、限界があります。
限界といっても、精度の話ではありません。手がかりそのものの性質の話です。
会社名は、重複します。
同じ名前の会社は、全国にいくつもあります。
まったく無関係な会社が、たまたま同じ名前を名乗っている。
珍しいことではありません。
住所は、変わります。
移転すれば、変わります。同じ会社なのに、古い住所と新しい住所が両方ある。
電話番号は、使い回されます。
会社が変わっても、番号が引き継がれることがあります。逆に、同じ会社が番号を変えることもあります。
つまり、どの手がかりも、「絶対にこうだ」とは言い切れません。
だから点数にして、複数の手がかりを重ねます。重ねれば、確からしさは上がります。上がりますが、100にはなりません。
そして、判定が100にならないということは、確認する人が要る、ということです。
保留を人が見る。
統合の取り消しに備える。
おかしな結びつきを、あとから探す。
その作業は、件数に比例して増えます。
登録が増えるほど、保留も増えます。ツールを良くしているはずなのに、確認の仕事は、いっこうに減らない。そういう構図が、できかけていました。
賢くする方法なら、考えられます。
名前の比べ方を細かくする。
住所の重みを変える。
電話番号の扱いを見直す。
どれも、やる価値はあります。
けれど、判定を賢くしても、賢くしたぶんだけ、境目の件数が減るだけです。境目そのものを無くす方法は、点数の側からは出てきませんでした。
探す場所が、違っていました。
ユニークID（法人番号）の導入。マスターデータ化による「判定」から「確認」へのパラダイムシフト
日本の法人には、番号が振られています。
会社を作ると、国から番号が渡されます。
13桁です。
この番号には、いくつか良い性質があります。
重複しません。同じ番号の会社は、日本に2つとありません。
変わりません。社名を変えても、移転しても、番号はそのままです。
そして、公開されています。誰でも、番号と、名前と、所在地を調べられます。
この3つが揃っている手がかりは、他にありません。
会社名は重なり、住所は変わり、電話番号は移ります。番号だけが、重ならず、変わらず、公開されている。
これほど条件の揃ったものが、すでに用意されていました。
この番号を、企業データに付けることにしました。
会社名と住所を手がかりに、公開されている一覧から探して、付ける。
付ける作業そのものは、これまでと同じ判定です。
似ているものを探して、確からしさを見る。
けれど、一度付いてしまえば、話が変わります。そして、この「一度」には価値があります。
判定は、毎回行うと、毎回間違える可能性があります。
確率の低い誤りでも、回数を重ねれば起こります。
番号を付けておくと、判定は1回で済みます。
1回だけ、丁寧に確かめる。そのあとは、確かめた結果を使い回す。
作業の総量は変わらないように見えて、間違いが入り込む機会は、大きく減ります。
付ける作業には、時間がかかりました。
数十万件を、順に照合していきます。一度に全部は処理できません。
けれど、これは一度きりの投資です。付け終わったあとは、新しく増えた会社に付けていくだけになります。
番号が付いた会社どうしは、比べる必要がありません。
番号が同じなら、同じ会社。
番号が違うなら、違う会社。
点数も、境目も、保留も要りません。
判定が、確認に変わります。
データエンリッチメントとシステム連携の基盤。共通IDがもたらす「正解の連鎖」
この違いは、思っていたより大きいものでした。
まず、統合の事故が減ります。
似た名前の別会社を統合してしまう事故は、番号が付いている限り、起きません。
次に、情報を足せる範囲が広がります。
公開されているデータには、番号が付いています。こちらのデータにも番号が付いていれば、機械的に結びつけられます。
従業員数、設立年、受けている認定。そういった情報を、間違いなく正しい会社に足せます。
会社名で結びつけていたら、こうはいきません。
同じ名前の別会社に、他社の情報を足してしまう危険があります。
そして、外との連携にも効きます。
こちらのデータと、別の道具のデータを突き合わせるとき、番号が共通していれば、話が早い。会社名で照合すると、そこでまた表記ゆれの問題が始まります。
そして、この番号は、お客様の側でも使えます。自社で別のシステムを使っている場合でも、番号で突き合わせれば、話が早い。
こちらの独自の管理番号で管理していたら、外へ持ち出した瞬間に意味を失います。共通の番号を使うということは、自分たちのデータを、外の世界とつなげておくということでした。
番号の使い道は、判定だけではありません。
同じ番号を持つ公開データが、いくつもあります。
事業の内容。従業員の数。設立の年。受けている認定。表彰の履歴。これらは、それぞれ別の仕組みで公開されていますが、共通の番号で結びついています。
つまり、番号を1つ付けるだけで、その会社について書ける情報が、一気に増えます。1つの正解が、他の正解を連れてくる形になっていました。
こちらが集めて増やすのではありません。つながる先が、あらかじめ待っています。正解の側が、すでに網の目になっていました。
夜間バッチ処理とフェイルセーフの思想。不確実なアルゴリズムを排除し「たぶん」を断ち切る設計
もちろん、全社に番号が付くわけではありません。
法人ではない事業者には、番号がありません。
個人でされている事業も、たくさんあります。
だから、番号での照合と、名前での照合の両方を持っています。
番号があれば、番号を優先する。無ければ、これまでどおり点数で判定する。番号は、全部を置き換える魔法ではありません。確実なところを、確実にするための道具です。
番号を付ける作業そのものは、夜のあいだに少しずつ進めています。
一度にすべてを処理しようとすると、第7話や第8話と同じことが起きます。
毎晩、決まった量だけ進める。新しく登録された会社にも、順に付いていく。
急がなくていい作業です。急がなくていい作業を、急がない形で作れたのは、それまでに何度か痛い目を見たからでした。
この機能を入れたあと、判定の見え方が変わりました。
以前は、判定の結果を見るとき、点数を見ていました。
いまは、まず番号があるかどうかを見ます。
番号があるものは、見なくていい。
番号がないものだけを、丁寧に見る。
確認すべき量が、大きく減りました。
減ったぶんは、そのまま、人が丁寧に見られる量に変わります。
全部を薄く見るのではなく、見るべきところだけを、濃く見る。
もうひとつ、番号を付ける作業そのものにも、気をつけたことがあります。
自信のないものには、付けません。
似た会社が複数見つかったとき、無理にどれかを選ぶことはしません。
付けないまま残せば、あとで人が確認できます。
間違った番号が付いていると、それ以降のすべての処理が、間違った会社を指します。確かなものを1つ、と言うときの「確か」は、付けない判断まで含めての話でした。曖昧なものをいくつ重ねても、どこかに「たぶん」が残ります。たぶん、が残っている限り、そこには人の確認が必要です。確かなものを1つ見つけるほうが、強い。
そして、その1つは、こちらが作ったものではありませんでした。
すでに世の中にあったものを、使っていなかっただけです。
探していたのは、賢い判定でした。見つかったのは、判定を減らす方法でした。
13桁。
たったそれだけの数字で、判定は、確認になりました。
━━━━━━━━━━━━━━━━━━━━━━━━
次回予告
第22話「郵便番号を直す」
住所はあるのに、郵便番号が空欄。
郵便番号はあるのに、住所が途中まで。
外を調べにいく前に、できることがありました。
━━━━━━━━━━━━━━━━━━━━━━━━
リストルは、今日もどこかを直しています。
→ 営業リスト探しに、もう時間をかけない。
業種別に企業情報をまとめて収集できるリストルを、まずは3,000件まで無料でお試しください。👇
📝営業リスト収集ツール「リストル」
営業リスト収集ツール「Listoru（リストル）」| 最短3分で3,000件取得営業リストで新規開拓を仕組み化！Listoruは300以上のWebサイトから企業リストを自動収集。今すぐ無料で体験！w
