Лучший способ разбить генератор на куски
Можете ли вы помочь мне написать этот код, который разбивает выходы генератора на куски на 100 и сохраняет их в базу данных более красивой.
$batchSize = 100;
$batch = [];
$i = 0;
/**
* @yield array $item
*/
foreach(itemsGenerator() as $item) {
$batch[] = $item;
$i++;
if ($i === $batchSize) {
Db::table('items')->save($batch);
$batch = [];
$i = 0;
}
$cnt++;
}
if ($batch) {
Db::table('items')->save($batch);
}
Я не хочу помещать логику разбивания на куски в itemsGenerator
Решение
Вы можете поместить логику блока в отдельную функцию многократного использования.
Решение 1: Каждый кусок является генератором.
function chunk(\Generator $generator, $n) {
for ($i = 0; $generator->valid() && $i < $n; $generator->next(), ++$i) {
yield $generator->current();
}
}
function foo() {
for ($i = 0; $i < 11; ++$i) {
yield $i;
}
}
for ($gen = foo(); $gen->valid();) {
$chunk = [];
foreach (chunk($gen, 3) as $value) {
$chunk[] = $value;
}
print json_encode($chunk) . "\n";
}
Решение 2: Каждый кусок является массивом.
function generator_chunks(\Generator $generator, $max_chunk_size) {
$chunk = [];
foreach ($generator as $item) {
$chunk[] = $item;
// @todo A local variable might be faster than count(), but adds clutter to the code. So using count() for this example code.
if (count($chunk) >= $max_chunk_size) {
yield $chunk;
$chunk = [];
}
}
if ([] !== $chunk) {
// Remaining chunk with fewer items.
yield $chunk;
}
}
function generator() {
for ($i = 0; $i < 11; ++$i) {
yield $i;
}
}
foreach (generator_chunks(generator(), 3) as $chunk) {
print json_encode($chunk) . "\n";
}
Теперь все фрагменты будут в памяти одновременно как массив, но не вся последовательность.
Могут быть способы заставить каждый кусок вести себя как генератор. Но это другая история для другого дня.
Другие решения
Других решений пока нет …