Чому chunked I/O ефективніший?

Node.jsJunior~2 хв читання

Що таке chunked I/O

Chunked I/O (чи потокове / поблочне введення-виведення) - це спосіб обробки даних частинами (chunks), замість того щоб завантажувати весь файл чи відповідь цілком у пам'ять.

Приклад: Якщо у нас є файл розміром 2 ГБ, звичайне читання (fs.readFile) спробує:

завантажити всі 2 ГБ одразу в пам'ять,
потім обробити результат.

А chunked I/O (через fs.createReadStream) читає файл, наприклад, по 64 КБ за раз і одразу "прокачує" ці шматки через обробник.

Чому це ефективніше

1. Економія пам'яті

За звичайного I/O:

дані завантажуються повністю в оперативну пам'ять;
для великих файлів це може спричинити Out of Memory.

За chunked I/O:

у пам'яті одночасно перебуває лише невеликий шматок даних;
пам'ять використовується постійно, але стабільно.

Метод	Пам'ять при файлі 2 ГБ
`fs.readFile()`	~2 ГБ
`fs.createReadStream()`	~64 КБ

2. Рання обробка даних

Chunked I/O дозволяє починати обробку, не чекаючи закінчення читання.

Приклад: Якщо ти читаєш великий відеофайл і надсилаєш клієнту по HTTP - із потоками клієнт починає отримувати відео одразу, а не після завантаження всього файлу.

Це знижує час відгуку (latency) і підвищує швидкість віддачі.

3. Асинхронність і backpressure

Потокові API (streams) у Node.js працюють асинхронно й підтримують backpressure - якщо приймач не встигає обробляти дані, джерело призупиняє читання, щоб не "залити" пам'ять.

javascript

readable.pipe(writable); // автоматично регулює швидкість передачі

Це забезпечує стабільний потік даних і запобігає переповненню пам'яті чи черги.

4. Складеність (pipeline)

Chunked I/O легко комбінується: дані можуть послідовно проходити через ланцюжок обробників (pipe):

javascript

fs.createReadStream('video.mp4')
  .pipe(zlib.createGzip())      // стиснення
  .pipe(fs.createWriteStream('video.mp4.gz'));

Усе працює в потоці, без проміжних файлів і тимчасових буферів.

5. Менше системних блокувань

Великі I/O операції часто спричиняють блокування на рівні ОС чи диска. Chunked I/O розбиває їх на дрібні системні виклики, що покращує паралелізм і знижує навантаження на диск і планувальник ОС.

6. HTTP/1.1 і «Transfer-Encoding: chunked»

У HTTP-протоколі chunked-передача дозволяє серверу надсилати відповідь у міру генерації - навіть якщо заздалегідь невідомий розмір даних.

Це дає:

миттєвий початок завантаження клієнтом;
можливість стрімити контент "на льоту" (відео, JSON-відповіді, SSE тощо);
економію часу й пам'яті на стороні сервера.

Порівняння звичайного й chunked I/O

Критерій	Звичайне I/O	Chunked I/O
Обробка даних	Після повного завантаження	У міру надходження
Використання пам'яті	Високе	Мінімальне
Час відгуку	Довгий (чекаємо весь файл)	Миттєвий (стрімінг)
Масштабованість	Погано (кожен запит споживає пам'ять)	Відмінно (тисячі з'єднань)
Підтримка backpressure	Немає	Є
Підходить для	Малих файлів	Великих файлів, мережевих потоків

Підсумок

Chunked I/O ефективніший, тому що:

працює по частинах, а не цілком;

заощаджує пам'ять;

дозволяє обробляти дані на льоту;

прискорює відгук;

підтримує контроль потоку (backpressure);

ідеально підходить для стрімінгу, HTTP-сервера, роботи з файлами й мережею.

Коротка відповідь

Для співбесіди

Premium

Коротка відповідь допоможе вам впевнено відповідати на цю тему під час співбесіди.