Which tasks should be included in a data ingestion pipeline? (Choose one or more)

4 phương ánCó giải thích

Các phương án trả lời

Chọn một phương án
Lời giảiChọn phương án để mở
Đáp án đúng gồm ba ý: "Account for missing data, faulty data, repeated observations and other data integrity issues", "Ensure that expected data is returned given a specific set of parameters" và "Ensure that an expected format is returned". Pipeline nạp dữ liệu (data ingestion pipeline) là đoạn tự động đưa dữ liệu từ nguồn vào dạng sẵn sàng cho phân tích, nên trách nhiệm của nó là chất lượng và tính nhất quán của dữ liệu đầu ra. Nó phải xử lý giá trị thiếu, bản ghi lỗi, quan sát lặp và các vấn đề toàn vẹn khác; phải trả đúng phần dữ liệu tương ứng với tham số truyền vào, chẳng hạn đúng quốc gia và khoảng ngày được hỏi; và phải trả về đúng định dạng đã hẹn, như đúng tên cột và kiểu dữ liệu, để các bước sau không vỡ. Đây cũng là những điều mà kiểm thử đơn vị cho hàm nạp dữ liệu thường kiểm tra. Phương án "Ensure that models produce expected results" không thuộc pipeline nạp dữ liệu: kiểm tra mô hình cho kết quả như mong đợi là việc của kiểm thử mô hình và giám sát hiệu năng sau khi huấn luyện, nằm ở tầng mô hình chứ không ở tầng dữ liệu đầu vào.

Cùng phần 1

Xuất hiện trong 1 bộ đề