当前位置：首页 > news >正文

Folk Computer：用纸张与身体交互重新定义编程体验

news 2026/7/22 7:50:01

1. 先搞清楚 Folk Computer 到底在解决什么问题

如果你已经习惯了在屏幕前写代码、调试程序，第一次听到“用纸张和全身编程”这种说法，大概率会觉得很抽象。Folk Computer 不是要替代你现在用的开发环境，而是想重新回答一个问题：编程是不是只能坐在电脑前，面对键盘和显示器？

这个项目的核心，其实是把编程从“屏幕里的虚拟操作”拉回到“物理空间中的身体互动”。它让你可以用真实的纸张、实物标记、手势甚至身体移动来编写和运行程序。比如你在一张纸上画几个图形，把它们摆成特定布局，系统就能识别出这是一个循环结构；你用手移动纸片，相当于在调整参数。

这种思路最早来自 Alan Kay 在 Xerox PARC 时期的愿景，后来在 Dynamicland 等项目中也有过探索。Folk Computer 把它做成了开源项目，让普通人也能在自己家里搭建类似的物理计算环境。它不追求“实用性”——也就是说，它不是要帮你更快地完成某个开发任务，而是想打破“电脑=屏幕+键盘”这种固定思维。

所以，如果你是想找一套能提升日常编码效率的工具，Folk Computer 可能不适合你。但如果你对“编程的物理化表达”“身体与代码的交互”这类话题感兴趣，或者你在做教育、艺术、人机交互相关的项目，这个方向值得深入看看。

2. 自己搭建一套需要准备什么硬件和环境

Folk Computer 的官方代码是开源的，但搭建过程并不像装个普通软件那么简单。它依赖一套能捕捉物理空间动作的传感设备，以及能把程序反馈投射到现实环境的投影装置。

基础硬件清单：

摄像头：至少需要1-2个能覆盖整个操作区域的摄像头，用于识别纸张、标记物和人体动作。普通USB摄像头可以用，但如果空间较大，建议用支持广角或鱼眼的型号。
投影仪：负责把程序运行结果投射到桌面、墙壁或纸面上。分辨率不用太高，但亮度和投射范围要足够覆盖你的工作区。
计算机：用来跑图像识别、程序逻辑和投影控制。不需要顶级GPU，但CPU不能太弱，因为要实时处理视频流。
标记物：最常见的是打印了特定图案的纸张或卡片。系统通过识别这些图案来对应不同的程序指令或数据。
空间布置：需要一个平坦的操作面（比如大桌子或地板），以及相对稳定的光照环境。光线太暗或反光太强会影响识别效果。

软件依赖：

官方代码库主要用 Python 和 JavaScript，部分识别模块可能用到 OpenCV 或其他计算机视觉库。
如果是本地部署，需要先配好 Python 环境、OpenCV、投影控制库（比如 pyprojector）和摄像头驱动。
网络搜索中提到有团队尝试用 WebRTC 做浏览器端的识别，这样可以用手机摄像头代替专用摄像头，但延迟和精度会差一些。

新手建议：不要一上来就想搭完整系统。先从最简单的“识别一张纸片”开始：用摄像头识别一个打印的二维码，然后在电脑上显示识别结果。这一步能跑通，再加投影和交互逻辑。

3. 从单张纸片到完整程序的实操流程

3.1 第一步：准备你的第一个“物理指令”

Folk Computer 的程序是由物理对象（比如纸片）和它们的空间关系构成的。你需要先定义一套基本的指令集。

例如：

一张画着箭头的纸片代表“移动”
一张印有数字的纸片代表“参数”
把箭头纸片和数字纸片并排放置，代表“移动X个单位”

实际操作时，你需要先把这些纸片打印出来。图案设计可以自定义，但最好用高对比度、容易识别的图形。系统会通过摄像头实时捕捉画面，识别出纸片的类型和位置。

3.2 第二步：配置识别逻辑和映射规则

识别部分的核心是训练一个简单的分类器，或者直接用模板匹配算法。比如用 OpenCV 的matchTemplate功能，预先存好每种指令纸片的模板图，然后实时比对摄像头画面中的图案。

代码层面，你需要写一个循环，不断从摄像头取帧，识别纸片，然后根据识别结果触发对应的程序逻辑。例如：

import cv2 # 加载模板图像 templates = { "move": cv2.imread("templates/move.png"), "number": cv2.imread("templates/number.png") } while True: ret, frame = camera.read() for name, template in templates.items(): # 在frame中匹配template match_result = cv2.matchTemplate(frame, template, cv2.TM_CCOEFF_NORMED) # 如果匹配度超过阈值，认为识别成功 if np.max(match_result) > 0.8: # 获取匹配位置，触发对应逻辑 handle_instruction(name, position)

这个阶段最容易出问题的是光线和角度。如果摄像头视角歪了，或者光线不均匀，识别率会大幅下降。建议先用固定机位和稳定光源测试。

3.3 第三步：加上投影反馈

程序不能只识别不反馈。投影仪的作用是把程序状态可视化投射到物理空间。

例如，当你摆出一个“移动”指令时，投影仪可以在纸片旁边投出一个箭头动画，表示指令已生效。或者当程序运行时，投射出轨迹线、计数器等。

投影控制可以用像pyprojector这样的库，或者直接通过浏览器的全屏投影功能显示一个网页界面。关键是要把投影内容和物理纸片的位置对齐，这需要提前做一次相机-投影仪的坐标标定。

3.4 第四步：引入身体交互

这是 Folk Computer 最特别的部分：用身体动作作为输入。比如挥手代表“开始执行”，走到某个位置代表“切换模式”。

实现上需要在摄像头画面中做人体姿态识别。可以用 OpenPose、MediaPipe 等现成方案，但要注意延迟。如果动作识别太慢，体验会非常卡顿。

身体交互的设计原则是“直观且稳定”。不要设计太复杂的动作，先从举手、拍手这种简单手势开始。同时要有明确的视觉反馈，让人知道系统是否识别到了动作。

4. 调试时最容易遇到的坑和排查顺序

4.1 识别不稳定怎么办

现象：纸片有时能识别，有时不能；或者识别位置跳来跳去。

排查顺序：

先看光线：用手在纸片上方晃动，观察摄像头画面是否有明显阴影或反光。最好用漫射光源，避免直射光。
再看纸片质量：打印的图案是否清晰？边缘有没有卷曲？皱巴巴的纸片会影响匹配精度。
检查模板匹配参数：matchTemplate的阈值是否设得太高或太低？可以边调参数边观察匹配结果。
确认摄像头焦距：如果纸片离摄像头距离变化大，可能需要自动对焦或固定机位。

4.2 投影和实物对不齐

现象：投影出来的箭头指不到纸片上，或者随着视角移动而漂移。

排查顺序：

重新标定：相机和投影仪的相对位置一旦变动，就必须重新标定。标定方法一般是用一个已知图案（比如棋盘格）放在操作面上，同时用相机拍下投影仪投出的相同图案，计算变换矩阵。
检查投影畸变：投影仪如果斜着投，画面会梯形失真。大部分投影仪有校正功能，先确保投出的画面是矩形。
确认坐标转换：从相机识别出的纸片位置，到投影坐标系的转换矩阵是否计算正确。可以用一个已知点验证：放一张纸片，看投影是否能准确覆盖它。