如何高效处理 5000+ 用户的并发 HTTP 请求与数据库写入？_技术教程

在 node.js 中批量发送数千条 http 请求（如推送消息）并写入数据库，本质是 i/o 密集型任务，应优先使用原生异步机制（如 promise.allsettled + 限流控制），而非 worker threads；后者适用于 cpu 密集型计算，对网络请求无性能增益。

Node.js 的“内置异步 I/O 操作”指其基于 libuv 的非阻塞事件驱动模型：fs.readFile、http.request、axios、pg.query 等底层均通过线程池（有限大小，默认 4）委托系统调用，但上层 API 完全异步、无需手动管理线程——这意味着你发起 5000 个 Axios 请求时，Node.js 并不会创建 5000 个线程，而是复用事件循环和少量底层线程完成并发调度。

你描述的场景（为 5000+ 联系人：① 插入数据库记录；② 发起外部 API 请求）属于典型的 I/O 密集型任务，且高度依赖外部服务响应时间与速率限制。此时 Worker Threads 不仅无法加速，反而会因线程创建/通信开销降低整体吞吐，并增加内存占用与调试复杂度。

✅ 正确做法：使用可控并发 + 异步原语 + 限流策略
推荐采用 p-limit 库或手写限流器（如问题中提供的 rateLimiter 示例），将并发请求数限制在合理范围（例如 10–25），避免触发目标 API 的熔断、拒绝或 IP 封禁，同时保障数据库连接池不被耗尽：

const PLimit = require('p-limit');
const axios = require('axios');
const db = require('./db'); // 假设为 pg 或 prisma 实例

// 控制最大 15 个并发请求
const limit = PLimit(15);

async function sendMessagesToContacts(contacts) {
  const results = await Promise.allSettled(
    contacts.map(contact =>
      limit(async () => {
        try {
          // 1. 写入数据库（异步）
          await db.messageLogs.create({
            data: { contactId: contact.id, status: 'pending' }
          });

          // 2. 发送 HTTP 请求
          const res = await axios.post('https://api.example.com/send', {
            to: contact.phone,
            message: 'Hello!'
          }, { timeout: 10000 });

          await db.messageLogs.update({
            where: { contactId: contact.id },
            data: { status: 'success', response: JSON.stringify(res.data) }
          });

          return { success: true, contactId: contact.id };
        } catch (err) {
          await db.messageLogs.update({
            where: { contactId: contact.id },
            data: { status: 'failed', error: err.message }
          });
          throw err;
        }
      })
    )
  );

  const fulfilled = results.filter(r => r.status === 'fulfilled').length;
  const rejected = results.filter(r => r.status === 'rejected').length;
  console.log(`完成: ${fulfilled}, 失败: ${rejected}`);
}

// 调用示例
sendMessagesToContacts(all5000Contacts);

⚠️ 关键注意事项：

永远不要无节制并发：Promise.all() 直接发起 5000 个请求极易导致 ECONNRESET、ENOTFOUND 或上游限流失败；必须限流。
数据库事务粒度要细：每个联系人独立写日志，避免长事务阻塞连接池。
错误需单独捕获与记录：使用 Promise.allSettled 而非 Promise.all，确保部分失败不影响整体流程。
超时与重试需显式配置：Axios 的 timeout 和简单指数退避（如 retry-axios）可显著提升稳定性。
监控与日志不可少：记录成功率、P95 响应延迟、失败原因，便于后续优化。