Giới hạn tần suất và cái bẫy hóa đơn giật mình
Hai điều nữa mà thực đơn không hét lên nhưng chắc chắn sẽ cắn bạn.
Giới hạn tần suất (Rate limits). Các giới hạn số lượng request bạn có thể gửi trong một khoảng thời gian — chẳng hạn 100 lần mỗi phút. Vượt quá và bạn sẽ bị từ chối với lỗi 429 Too Many Requests cho đến khi bạn chậm lại. Điều này tồn tại để ngăn một khách hàng làm quá tải dịch vụ. Cái bẫy: code do AI viết thường gọi một API trong một vòng lặp mà không có khoảng nghỉ, vượt qua giới hạn ngay lập tức. Nếu một tính năng hoạt động tốt với một mục nhưng hỏng khi bạn chạy nó với cả nghìn mục, một giới hạn tần suất là nghi phạm hàng đầu.
API có tính phí theo lượt sử dụng. Nhiều API tính phí theo mỗi request — vài phần của một xu mỗi lần. Điều đó chẳng đáng gì với vài lượt gọi nhưng là một hóa đơn thật khi có gì đó chạy vòng lặp mất kiểm soát. Câu chuyện kinh dị kinh điển: một lỗi khiến một lượt gọi API trả phí bị thử lại mãi mãi, hoặc một biểu mẫu công khai cho phép người lạ kích hoạt các lượt gọi trả phí, và bạn thức dậy với một hóa đơn bốn chữ số. Hãy tự bảo vệ mình:
- Đọc bảng giá trước khi bạn kết nối một API trả phí. Biết chi phí mỗi lượt gọi.
- Đặt một giới hạn chi tiêu hoặc cảnh báo ngân sách trong bảng điều khiển của nhà cung cấp nếu họ có cung cấp. Hầu hết đều có.
- Nghi ngờ bất kỳ đoạn code nào gọi một API trả phí bên trong một vòng lặp hoặc ở mỗi lần tải trang.