影刀RPA考试避坑指南：手把手教你用XPath和pymysql搞定电影排行榜数据采集入库

影刀RPA实战：电影数据采集入库的XPath与pymysql高阶技巧

第一次用影刀RPA处理电影排行榜数据时，我在数据库写入环节卡了整整三小时——明明代码能跑通，但票房数据总是少几个零。后来才发现，原来"1.2亿"和"3500万"的文本转换藏着这么多门道。这篇文章将分享从XPath定位到数据清洗的完整避坑指南，特别适合正在准备影刀认证考试的中级开发者。

1. 为什么XPath比批量抓取更适合考试场景？

考试中明确要求使用XPath而非批量抓取指令，这背后有三个关键考量：

1. 精确控制元素定位：电影详情页的导演信息常与演员字段相邻，批量抓取容易混淆
2. 处理动态结构：不同电影的HTML结构可能有细微差异，XPath能灵活应对
3. 考试评分依据：人工阅卷时XPath表达式更易验证其正确性

实战中获取导演信息的黄金XPath应该是：

//dt[text()="导演"]/following-sibling::dd[not(preceding-sibling::dt[text()="演员"])]

这个表达式精妙之处在于：

• 先定位包含"导演"文本的<dt>标签
• 选择其后紧邻的<dd>兄弟节点
• 但排除那些前面有"演员"<dt>的<dd>节点

提示：在影刀编辑器中先用"探测元素"功能验证XPath，再写入代码能节省大量调试时间

2. 多名导演数据清洗的三种方案对比

当遇到"张艺谋,陈凯歌"这样的多导演数据时，原始文本可能有以下变体：

推荐使用统一的清洗函数：

def clean_directors(text): separators = ['/', '、', '<br>', '|'] for sep in separators: text = text.replace(sep, ',') return text.strip()

3. 票房单位转换的陷阱与解决方案

票房数据可能是"1.2亿"或"3500万"，转换时要注意：

1. 单位识别：先判断包含"亿"还是"万"
2. 去符号处理：移除所有非数字字符
3. 科学计数法：避免大数字变成1.2e+8

def convert_box_office(text): if '亿' in text: return int(float(text.replace('亿', '')) * 1e8) elif '万' in text: return int(float(text.replace('万', '')) * 1e4) else: return int(text) # 假设已经是纯数字

常见错误案例：

• 直接float('1.2亿')会报错
• 忘记处理千分位逗号（如"1,234万"）
• 未考虑无单位情况（如直接写"120000000"）

4. 只写数据库的调试技巧

当数据库只有写入权限时，可以：

1. 本地日志记录：在执行SQL前打印完整数据
2. 模拟写入：先用本地SQLite测试
3. 计数验证：比较处理条目数与预期数量

# 在正式插入前添加调试输出 print(f"准备插入: {movie_name} {directors} {box_office}") # 或者写入临时文件 with open('debug.log', 'a') as f: f.write(f"{movie_name}|{directors}|{box_office}\n")

5. 反爬策略的合理实现

影刀考试常要求添加random_sleep，但要注意：

• 间隔不均匀：避免固定间隔被识别为机器人
• 页面加载检测：关键操作后等待元素出现
• 失败重试：对超时请求自动重试

def random_sleep(min=1, max=3): time.sleep(random.uniform(min, max)) def safe_find_element(driver, xpath, retry=3): for i in range(retry): try: elem = driver.find_by_xpath(xpath) if elem: return elem except: random_sleep(0.5, 1.5) return None

实际项目中我发现，在以下三个节点添加延迟最有效：

1. 翻页操作前
2. 跳转详情页后
3. 连续5次请求后

6. 数据库写入的异常处理框架

完整的数据库操作应该包含：

try: conn = pymysql.connect( host=host, port=port, user=user, password=password, database=db, charset='utf8mb4' ) with conn.cursor() as cursor: cursor.executemany(sql, data) conn.commit() except pymysql.Error as e: print(f"数据库错误: {e}") if 'conn' in locals(): conn.rollback() finally: if 'conn' in locals(): conn.close()

特别注意：

• 使用utf8mb4字符集支持emoji
• 批量插入时用executemany提升性能
• 确保连接在异常时也能关闭

7. 考试中容易忽略的细节

最后分享几个考场实战经验：

• 提交人字段要从影刀学院获取，别手写
• 制片地区可能包含国家+地区（如"中国/香港"）
• 海报链接要检查是否包含完整域名
• 上映年份可能需要从日期字符串提取
• 代码中必须包含要求的注释和函数结构

一个典型的日期处理示例：

from datetime import datetime def parse_year(date_str): try: return datetime.strptime(date_str, '%Y-%m-%d').year except: return int(date_str[:4]) # 降级处理只取前四位