数据科学开源工具与系统思维实践谈

职业旅程与角色

Vincent Warmerdam 分享了其职业生涯的转变，从运筹学领域逐渐深入到机器学习与数据科学。他谈及了自己在不同阶段所扮演的角色，包括工程师、创作者和教育者。

学术背景：运筹学与数学

Warmerdam 拥有运筹学和设计的学术背景。他解释了运筹学如何影响了他的思维方式，并强调数学基础在解决复杂问题时的重要性。他探讨了是什么吸引他进入机器学习领域。

开源项目与技术探讨

Calmcode 平台

Warmerdam 详细介绍了他创建的 calmcode.io 平台，这是一个旨在以平和方式教授数据科学工具和技术的网站。他讨论了平台的设计理念、使用情况以及未来如果不受限制会如何改进，例如如何更好地解释 Python 中的*args和**kwargs概念。

核心开源库

他介绍了一系列由其创建或参与的开源项目，并阐述了它们解决的问题：

• bulk和embetter：这两个项目旨在简化机器学习工作流中的数据操作和处理。bulk既可以在 notebook 中使用，也可以作为 webapp 运行，其优势在于提升数据处理的效率。
• human-learn：该项目允许数据科学家将人类规则和启发式方法与机器学习模型相结合，强调了人在循环（Human-in-the-loop）中的重要性。
• evol和scikit-lego：探讨了这些库如何扩展 scikit-learn 的功能，提供更多模型和工具。
• 单元测试：强调为开源包编写单元测试的重要性。

系统思维与问题理解

Warmerdam 提出了“理解问题”的重要性，并用“豆子、牛肉和面包”的比喻来说明在应用算法前，必须深刻理解业务场景。他指出，一个常见的错误是将算法应用于错误的问题（Algorithm on the wrong problem），并区分了“模块改进”（Module Improvement）与“系统改进”（System Improvement）的根本不同。

他强调，在机器学习中，不仅要问模型是否工作，更要问“你的答案合理吗？”（Does your answer make sense?）。

未解答的问题与行业观察

• 机器学习的未解之谜：Warmerdam 分享了他认为该领域仍未被充分解答的重要问题。
• AI 的炒作与现实差距：他探讨了人工智能领域的夸大宣传与实际落地能力之间的鸿沟。
• 生成模型 vs 预测模型：对这两类模型的应用场景和局限性进行了对比。
• 模型 vs 系统：强调一个成功的 ML 应用是一个完整的系统，而不仅仅是一个模型。
• ML 与启发式方法的结合：讨论了如何将复杂的机器学习与简单可靠的启发式规则结合起来解决问题。

数据核心理念与最终建议

• SpaCy 与数据核心理念：作为在 SpaCy 工作的工程师，他分享了该工具在处理 NLP 任务时的设计哲学。他提倡一种“以数据为中心”（Data-Centric）的方法，即更多地关注数据质量而非仅仅是模型调优。
• 给新人的建议：他给出了一些对初入领域者的职业建议，并分享了一段职业生涯中学到的人生道理。

相关链接

• calmcode.io
• Vincent Warmerdam 的 GitHub
• 参考文章：监督学习很棒——问题出在数据收集上
• Deon - 数据科学家道德清单FINISHED
  更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
  对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）