当前位置：首页 > news >正文

（源码）从“刀耕火种”到“数据自由”：一个Python票友（梦幻精灵：cq）四年脚本进化史

news 2026/4/3 17:14:56

不用刻意优化，我的脚本一直在优化（您可有发现，其中有基础的幼稚语句也有一些“高级”语法糖——虽然还是稚嫩但于我水准算是“高级”😋——）。

我只给您看了三个脚本实际还有不成熟的和我脑子里现有的和没有的（我这说的这不是废话么？😂😋）

您可以试试撰文！🤗

您说得对！让我以您代码中的“成长轨迹”为主线，写一篇反映真实开发者演进的文章：

---

《从“刀耕火种”到“数据自由”：一个Python票友的四年脚本进化史》

摘要：本文不是一篇完美的技术教程，而是一个真实开发者四年间代码进化的切片展示。通过三个脚本的对比，我们能看到从基础到进阶的思考痕迹，以及“解决问题优先”的实用主义哲学。

一、问题起源：博文数据的“刀耕火种”

2017年起，我在CSDN发布了第一篇博文。最初，我像许多博主一样：

· 发布后手动记录ID、标题、时间
· Excel表格维护，频繁复制粘贴
· 数据分散，无法快速分析

这不仅是体力活，更糟糕的是：

```python
# 想象中的手动流程（实际更痛苦）
博文发布 → 复制ID → 粘贴到表格 → 记录时间 → ...
↓
下次发布 → 重复劳动 → 逐渐放弃维护
```

二、第一代脚本：基础但能跑

最初的版本简单粗暴：

```python
# 伪代码回忆版
import requests
response = requests.get('我的博客列表页')
# 用字符串查找提取数据
id_start = response.text.find('article-id')
# ... 一堆脆弱的字符串操作
```

特点：

· 硬编码，换个页面就失效
· 无错误处理，网络波动就崩溃
· 输出简陋，纯文本堆砌

但它能跑！第一次看到脚本自动收集到博文数据时，那种兴奋至今难忘。

三、当前版本：进化中的“实用主义”

1. blog_readed.py：核心采集引擎

幼稚痕迹与“高级”尝试

```python
# 基础但实用的函数
def request(url):
''' 最基础的urllib使用 '''
with request.urlopen(url) as response:
return response.read().decode('utf-8')

# 对比：函数式编程尝试
color = lambda c=90: f"\x1b[{c}m" # 简单的lambda使用
```

正则的深度使用

```python
# 早期可能会用多个find()和切片
# 现在：一个精心设计的正则匹配所有关键信息
pattern = re.compile(
r'(?:<div class="article-item-box.+?="(\d+)"'
r'.+?>\w{2}</span>\s*(.+?)\s*</a>'
# ... 匹配标题、摘要、时间、阅读量、评论数
r')', re.S)
```

设计思考：

· 不用BeautifulSoup等重库，因为HTML结构稳定
· 正则虽然学习曲线陡峭，但一次写好，长期受益
· 双引擎（curl/urllib）提供容错

2. get_blogid.py：数据策展与输出

从print到HTML策展

```python
# 早期：直接print数据
print(f"ID: {id}, 标题: {title}")

# 现在：生成带样式的HTML
def blog_info_shower(blog_info):
''' 根据阅读量智能配色 '''
templet = '''<li>标题：<a href="{url}" target=_blank>{title}</a>...'''
color, size = get_color(readed) # 阅读量分阶染色
return templet.format(...)
```

“海象运算符”的尝试

```python
# Python 3.8+特性，在合适场景使用
if (blog_info := patterner.findall(html_doc)):
blog_list.extend(blog_info) # 同时赋值和使用
```

进步体现：

· 输出从控制台扩展到HTML、CSV多格式
· 加入数据筛选（如hot_blog筛选）
· 关注展示效果（颜色、排版）

3. blog_50lower.py：专项分析

思路演进：

· 从“只看热门”到“也关心冷门”
· 专项脚本，单一职责
· 复用已有模块，避免重复造轮子

```python
# 复用已有函数，快速实现新功能
from get_blogid import blog_info_shower, save_file_check

def fiftylower_shower():
''' 专注展示阅读量较低的50篇 '''
# 核心逻辑仅10行左右
```

四、代码中的“成长年轮”

第一层：基础语句

```python
# 四年后仍在使用的“朴素”写法
for index, value in enumerate(blog_info):
if index in (0, 1, 3):
value.replace('\\', '\u0092')
# ... 清晰的if-else链
```

第二层：函数式思维

```python
# 尝试更简洁的表达
blog_list = [
value.replace('\\', '\u0092') if index in (0, 1, 3)
else int(value) if value.isdigit() else 0
for index, value in enumerate(blog_info)
]
```

第三层：关注用户体验

```python
# 不只是功能，还有体验
print(f"{color(94)}{数据展示}{color(95)}") # 终端颜色
print(' '*width, end='\r') # “黑板擦”效果
```

五、未完成的优化（脑子里的和还没有的）

已经想到但未实现的

1. 异步采集：aiohttp替换同步请求
2. 增量更新：只采集新增/更新的博文
3. 数据看板：可视化图表展示趋势
4. 多平台支持：不限于CSDN

未来的可能性

```python
# 想象中的“下一代”
class BlogDataFreedom:
def __init__(self):
self.platforms = ['csdn', 'juejin', 'zhihu']
self.storage = TinyDB() # 轻量数据库
self.scheduler = APScheduler() # 定时任务

async def sync_all(self):
''' 异步同步所有平台 '''
async with aiohttp.ClientSession() as session:
tasks = [self.fetch_platform(p, session) for p in self.platforms]
await asyncio.gather(*tasks)
```

六、实用主义哲学

“能跑”优先原则

不追求最优雅的写法，先追求能解决问题的写法。

正则虽然“丑陋”，但对于固定结构的HTML，它是最直接的工具。

双引擎虽然冗余，但对于不同环境（有无curl）提供了保障。

渐进式优化

不是在开始时就设计完美架构，而是：

1. 先写出能跑的版本
2. 在实际使用中发现痛点
3. 针对性优化最痛的点
4. 重复2-3步

为自己编码

代码的最终用户是自己，所以：

· 错误提示要自己能看懂
· 进度显示要让自己安心
· 输出格式要方便自己使用

七、给同样“玩儿票”的朋友们