PHP流式处理与生成器应用

PHP流式处理与生成器应用

处理大文件或大数据集时，一次性加载到内存会导致内存溢出。PHP的生成器和流式处理可以解决这个问题。今天说说怎么用生成器处理大数据。

生成器用yield关键字，可以在不生成整个数组的情况下进行迭代。每次迭代到yield时，函数会暂停并保存状态，下次迭代再继续。

```php
// 生成器：逐行读取大文件
function readLargeFile(string $path): Generator
{
$handle = fopen($path, 'r');
if ($handle === false) {
throw new RuntimeException("无法打开文件: $path");
}

$lineNumber = 0;
while (($line = fgets($handle)) !== false) {
$lineNumber++;
yield $lineNumber => trim($line);
}

fclose($handle);
}

// 使用生成器
$file = '/tmp/large_file.txt';
file_put_contents($file, implode("\n", range(1, 1000000)));

$start = memory_get_usage(true);
foreach (readLargeFile($file) as $num => $line) {
if ($num % 100000 === 0) {
echo "已处理 {$num} 行\n";
}
}
echo "内存使用: " . (memory_get_usage(true) - $start) / 1024 . " KB\n";
?>
```

生成器可以用于生成数据，而不需要预先创建数组：

```php
// 生成所有数据的生成器
function generateRange(int $start, int $end, int $step = 1): Generator
{
for ($i = $start; $i <= $end; $i += $step) {
yield $i;
}
}

// 斐波那契数列生成器
function fibonacci(int $limit): Generator
{
$a = 0;
$b = 1;
for ($i = 0; $i < $limit; $i++) {
yield $a;
[$a, $b] = [$b, $a + $b];
}
}

echo "斐波那契前10: ";
foreach (fibonacci(10) as $num) {
echo "$num ";
}
echo "\n";

// 分页数据生成器
function paginateGenerator(callable $fetcher, int $perPage = 100): Generator
{
$page = 1;
while (true) {
$items = $fetcher($page, $perPage);
if (empty($items)) break;

foreach ($items as $item) {
yield $item;
}

if (count($items) < $perPage) break;
$page++;
}
}

// 模拟从数据库分页查询
function fetchFromDb(int $page, int $perPage): array
{
$start = ($page - 1) * $perPage;
if ($start >= 1000) return [];

return array_map(fn($i) => "item_" . ($start + $i), range(1, $perPage));
}

$count = 0;
foreach (paginateGenerator('fetchFromDb', 50) as $item) {
$count++;
}
echo "生成器获取了 {$count} 条数据\n";
?>
```

生成器还可以用作协程，实现简单的协作式多任务：

```php
class Task
{
private Generator $coroutine;
private string $name;

public function __construct(string $name, Generator $coroutine)
{
$this->name = $name;
$this->coroutine = $coroutine;
}

public function run(): bool
{
if ($this->coroutine->valid()) {
echo "运行任务: {$this->name}\n";
$this->coroutine->next();
return true;
}
return false;
}

public function isFinished(): bool
{
return !$this->coroutine->valid();
}
}

class Scheduler
{
private array $tasks = [];

public function add(Task $task): void
{
$this->tasks[] = $task;
}

public function run(): void
{
while (!empty($this->tasks)) {
$task = array_shift($this->tasks);
$task->run();

if (!$task->isFinished()) {
$this->tasks[] = $task;
} else {
echo "任务完成\n";
}
}
}
}

$scheduler = new Scheduler();

$scheduler->add(new Task('A', (function () {
yield;
echo "任务A步骤2\n";
yield;
echo "任务A步骤3\n";
})()));

$scheduler->add(new Task('B', (function () {
yield;
echo "任务B步骤2\n";
yield;
})()));

$scheduler->run();
?>
```

管道处理可以把多个生成器连接起来，形成处理流水线：

```php
function generateNumbers(int $count): Generator
{
for ($i = 1; $i <= $count; $i++) {
yield $i;
}
}

function filterEven(Generator $input): Generator
{
foreach ($input as $value) {
if ($value % 2 === 0) {
yield $value;
}
}
}

function multiply(Generator $input, int $factor): Generator
{
foreach ($input as $value) {
yield $value * $factor;
}
}

function limit(Generator $input, int $count): Generator
{
$i = 0;
foreach ($input as $value) {
if ($i++ >= $count) break;
yield $value;
}
}

// 管道：生成数字 -> 过滤偶数 -> 乘以3 -> 取前5个
$pipeline = limit(
multiply(
filterEven(
generateNumbers(100)
),
3
),
5
);

echo "管道处理结果: ";
foreach ($pipeline as $value) {
echo "$value ";
}
echo "\n";
?>
```

生成器的内存优势很明显。生成一百万个数字的数组会占用几十MB内存，而生成器只占几十字节。在处理大数据、大文件、大量数据库记录时，生成器是非常有用的工具。