客户名单去重：用 AI 写规则和脚本，合并重复记录不误删
客户名单去重的稳妥做法是：先让 AI 帮你设计“标准化 + 匹配规则”，再生成脚本在本地处理数据，最后把疑似重复交给人工确认，而不是把整份名单直接丢给 AI 让它“去重”。 这样既保护隐私，又能避免误合并。
为什么不能直接让 AI 去重
- 名单通常包含手机号、邮箱等个人信息，不宜整份上传；
- 大表格超出对话处理能力，AI 可能漏行或改动数据；
- 去重规则需要可复现，下次来新数据时还能用。
第一步：用样本设计规则
只给 AI 看表头和几行脱敏或虚构的样例：
我有一份从展会、官网表单、销售手工录入合并的客户名单，字段：姓名、手机号、邮箱、公司、城市。
以下是 5 行虚构样例，展示了常见的不一致情况：【粘贴虚构样例】
请设计去重方案：
1. 每个字段的标准化规则（如手机号去掉空格和区号前缀、邮箱转小写、公司名去掉“有限公司”等后缀）；
2. 判定规则，分为：确定重复 / 疑似重复 / 不重复；
3. 合并时每个字段保留哪条记录的值。
第二步：生成本地脚本
请根据上面的方案写一个 Python 脚本（使用 pandas）：
- 读取 customers.csv，输出 cleaned.csv（确定重复已合并）和 review.csv（疑似重复，成对列出，附匹配原因）；
- 不删除原始文件；
- 在合并记录中保留来源 ID 列，方便追溯。
在本地运行脚本，数据不离开你的电脑。
第三步：人工复核
打开 review.csv，逐对确认是否同一个人。常见的疑似情况：同名不同公司、同公司不同人共用座机、邮箱相同但手机号不同。确认后把结果回填，再运行合并。
检查清单
- 合并前后的记录数和来源分布是否合理；
- 随机抽查 20 条合并结果；
- 保留原始文件和合并映射表，出错可以回滚；
- 把规则写进文档，下次新数据沿用。
常见坑
- 规则太宽：只按姓名匹配会把同名的人合并；
- 规则太严：手机号格式没统一，导致明显重复没识别；
- 忽略来源：合并时没保留来源 ID，后续无法追溯。