Câu hỏi: DAT301M - Phần 2: Tăng cường ảnh, chống quá khớp và học chuyển giao

Đáp án đúng: "Transferring knowledge gained from pre-trained models to new tasks". Transfer learning (học chuyển giao) dùng lại trọng số của một CNN đã huấn luyện trên tập lớn như ImageNet (ví dụ InceptionV3, MobileNet): các lớp tích chập đã học được đặc trưng chung như cạnh, kết cấu, hình dạng, ta đóng băng chúng (trainable=False) rồi chỉ huấn luyện vài lớp mới ở đầu ra cho bài toán của mình, nhờ đó cần ít dữ liệu và ít thời gian hơn. "Transferring images between different devices for processing" sai vì đó là truyền dữ liệu giữa thiết bị, không phải chuyển tri thức của mô hình. "Transferring image features to generate artistic designs" sai vì đó gần với neural style transfer (chuyển phong cách), một ứng dụng khác chứ không phải định nghĩa học chuyển giao. "Transferring data between training and validation sets" sai vì chuyển mẫu giữa tập huấn luyện và tập kiểm định chỉ là cách chia dữ liệu, còn làm rò rỉ dữ liệu kiểm định.

Đáp án đúng: "A widening gap between training and validation loss.". Learning curves (đường học) vẽ loss theo epoch cho cả tập huấn luyện và tập kiểm định; khi quá khớp, loss huấn luyện tiếp tục giảm vì mô hình học thuộc dữ liệu đã thấy, còn loss kiểm định chững lại rồi tăng, nên khoảng cách giữa hai đường ngày càng rộng, và đó là lúc nên dừng sớm bằng EarlyStopping. "Consistent decrease in both training and validation accuracy." cho thấy mô hình đang kém đi trên cả hai tập, giống lỗi huấn luyện như learning rate quá lớn hơn là quá khớp. "An abrupt increase in the number of epochs." là thiết lập do người huấn luyện chọn, không phải triệu chứng đọc từ đường học. "Stable and parallel learning curves for training and validation." là dấu hiệu mô hình tổng quát hoá tốt, hai tập cùng tiến bộ như nhau.

Đáp án đúng: "It manipulates the training set to generate more scenarios for the features in the images". Image augmentation (tăng cường ảnh) áp dụng ngẫu nhiên các phép xoay, dịch, phóng to, lật, cắt xiên lên ảnh huấn luyện ở mỗi epoch, nên mô hình gặp cùng một đặc trưng ở nhiều vị trí, góc và tỉ lệ khác nhau thay vì học thuộc lòng đúng những ảnh gốc, nhờ đó khái quát tốt hơn và giảm overfitting (quá khớp). "It manipulates the validation set to generate more scenarios for features in the images" sai vì tập validation phải giữ nguyên, thường chỉ rescale, để phản ánh trung thực hiệu năng trên dữ liệu thật. "It slows down the training process" sai vì việc mỗi epoch chậm hơn chỉ là tác dụng phụ của biến đổi ảnh, không phải cơ chế chống quá khớp. "It automatically fits features to images by finding them through image processing techniques" sai vì việc tìm đặc trưng do các lớp tích chập tự học, augmentation chỉ tạo ra biến thể của dữ liệu đầu vào.

Đáp án đúng: "When the datasets for the source and target tasks are small and dissimilar.". Học chuyển giao hiệu quả vì đặc trưng học được ở bài toán nguồn vẫn hữu ích cho bài toán đích; khi hai miền khác xa nhau (ví dụ ảnh vật thể tự nhiên với ảnh y khoa) thì đặc trưng chuyển sang ít giá trị, và nếu dữ liệu lại ít thì cũng không đủ để tinh chỉnh lại các lớp sâu, nên hiệu quả giảm, thậm chí xảy ra negative transfer (chuyển giao âm). "When the source and target tasks are similar." sai vì đó là trường hợp lý tưởng, học chuyển giao phát huy tốt nhất. "When there is a lack of pre-trained models available." mô tả việc không có gì để chuyển giao chứ không phải học chuyển giao kém hiệu quả; ngoài ra tf.keras.applications và TensorFlow Hub cung cấp rất nhiều mô hình sẵn. "Transfer learning is always effective, regardless of the scenario." sai vì hiệu quả phụ thuộc vào độ tương đồng miền và lượng dữ liệu.

Đáp án đúng: "It controls the intensity of shearing transformations.". Shear (biến dạng cắt) giữ cố định một trục và trượt các điểm theo trục kia tỉ lệ với khoảng cách, làm ảnh bị nghiêng như hình bình hành; shear_range trong ImageDataGenerator là góc cắt tối đa tính bằng độ, mỗi ảnh được cắt với một góc ngẫu nhiên trong khoảng đó, ví dụ shear_range=0.2, giúp mô hình quen với vật thể nhìn xiên. "It controls the degree of rotation applied to the images." là việc của rotation_range, phép xoay quay cả ảnh quanh tâm chứ không làm nghiêng một trục. "It adjusts the brightness of augmented images." là việc của brightness_range, thay đổi độ sáng chứ không biến dạng hình học. "It specifies the range for horizontal and vertical shifting." là việc của width_shift_range và height_shift_range, dịch chuyển cả ảnh mà không làm méo hình dạng.

Đáp án đúng: "rotation_range". Trong ImageDataGenerator, rotation_range là một số nguyên tính bằng độ, ví dụ rotation_range=40 thì mỗi ảnh được xoay ngẫu nhiên một góc trong khoảng từ −40 tới 40 độ ở mỗi lần lấy mẫu, giúp mô hình nhận ra vật thể bị nghiêng; nó thường đi cùng width_shift_range, zoom_range và horizontal_flip. "rotation_rate" sai vì không có tham số này, chữ rate gợi một tốc độ chứ không phải biên độ góc. "angle_range" sai vì tuy nghe hợp lý nhưng ImageDataGenerator không có tham số mang tên đó. "rotation_angle" sai vì nó gợi một góc cố định, trong khi augmentation cần một khoảng để chọn góc ngẫu nhiên, và Keras cũng không định nghĩa tham số này; ở dạng lớp tiền xử lý mới, phép xoay ngẫu nhiên dùng RandomRotation với tham số factor.

Đáp án đúng: "A large gap between training and validation curves.". Đường học (learning curve) vẽ loss hoặc accuracy của tập huấn luyện và tập kiểm định theo epoch; khi overfitting (quá khớp), accuracy huấn luyện tiếp tục tăng gần 100% trong khi accuracy kiểm định chững lại hoặc giảm, nên hai đường tách xa nhau, đó là dấu hiệu mô hình học thuộc dữ liệu huấn luyện. "Learning curves are always smooth without fluctuations." sai vì độ mượt của đường không liên quan tới quá khớp; đường thường dao động do mini-batch và nhiễu. "The training and validation curves overlap perfectly." sai vì hai đường trùng khít cho thấy mô hình tổng quát tốt, ngược với quá khớp. "The absence of learning curves as overfitting is not visualized." sai vì quá khớp nhìn thấy rõ nhất chính trên đường học, từ đối tượng History trả về khi gọi model.fit.

Đáp án đúng: "A way to apply knowledge gained from solving one problem to a different but related problem.". Transfer learning (học chuyển giao) tận dụng một mô hình đã học các đặc trưng tổng quát từ tập dữ liệu lớn, ví dụ InceptionV3 hay MobileNetV2 huấn luyện trên ImageNet, rồi dùng lại các lớp đó cho bài toán mới có liên quan như phân loại chó mèo, thường đóng băng phần nền và chỉ huấn luyện các lớp mới phía trên, nên cần ít dữ liệu và thời gian hơn nhiều. "A technique to transfer models between different programming languages." nói về chuyển đổi định dạng hay môi trường triển khai, như xuất mô hình sang TensorFlow.js, không phải chuyển giao tri thức. "A method to copy the weights of one model directly to another." chỉ là thao tác sao chép trọng số, không có ý tái sử dụng tri thức cho một bài toán khác và không kèm bước học tiếp. "A process of transferring data from one TensorFlow version to another." là việc nâng cấp hay chuyển mã giữa các phiên bản thư viện, không liên quan đến học.

Đáp án đúng: "It measures the dissimilarity between predicted and true class distributions.". categorical_crossentropy tính L = −Σ y_i·log(p_i) giữa nhãn one-hot y và phân phối xác suất p do lớp Dense softmax đưa ra; vì y chỉ có một vị trí bằng 1 nên loss bằng −log của xác suất gán cho lớp đúng, càng gần 0 khi mô hình tự tin đúng và tăng mạnh khi đoán sai, nhờ đó gradient đẩy xác suất lớp đúng lên. "It calculates the mean squared error between predictions and true labels." sai vì đó là mean_squared_error, phù hợp cho hồi quy chứ không phải hàm này. "It evaluates the cosine similarity between feature vectors." sai vì độ tương đồng cosin đo góc giữa hai vector, ứng với loss CosineSimilarity dùng cho embedding, không phải entropy chéo. "The categorical_crossentropy loss is not used for multiclass classification." sai vì đây chính là hàm mất mát chuẩn cho phân loại nhiều lớp với nhãn one-hot.

Đáp án đúng: "It includes the fully-connected layers at the top of the model.". Khi tải InceptionV3 bằng tf.keras.applications, include_top=True giữ lại phần đầu phân loại gồm các lớp fully-connected (kết nối đầy đủ) cho 1000 lớp ImageNet; đặt include_top=False sẽ bỏ phần này để chỉ lấy khối tích chập làm bộ trích đặc trưng, rồi ta gắn lớp Dense mới cho bài toán của mình, và khi đó được tự chọn kích thước ảnh vào. "It controls the learning rate during training." sai vì learning rate do bộ tối ưu như RMSprop quy định khi compile. "It adjusts the target size for input images." sai vì kích thước ảnh vào đặt qua input_shape hoặc target_size; include_top chỉ ảnh hưởng gián tiếp vì khi giữ phần đầu thì phải dùng kích thước chuẩn. "It excludes the convolutional layers from the top of the model." sai vì tham số này không đụng tới các lớp tích chập; phần trên cùng của mạng là các lớp kết nối đầy đủ chứ không phải tích chập.

Đáp án đúng: "To randomly drop neurons during training to reduce reliance on specific features". Lớp Dropout trong Keras, ví dụ Dropout(0.2), mỗi bước huấn luyện đặt ngẫu nhiên một tỉ lệ đầu ra nơ-ron về 0, nên mạng không thể dựa mãi vào một vài nơ-ron hay đặc trưng cụ thể mà phải phân tán thông tin, giống như huấn luyện nhiều mạng con khác nhau; khi suy luận, dropout tự tắt và toàn bộ nơ-ron được dùng. "To increase the number of training epochs" sai vì số epoch là tham số của model.fit, dropout không thay đổi nó, dù mạng có dropout đôi khi cần thêm epoch để hội tụ. "To set a fixed learning rate for the entire training process" là việc của optimizer, không liên quan đến việc tắt nơ-ron. "To eliminate regularization effects" nói ngược bản chất, vì dropout chính là một kỹ thuật regularization (chuẩn hoá chống quá khớp).

Đáp án đúng: "More training data reduces overfitting.". Overfitting (quá khớp) xảy ra khi mô hình đủ mạnh để học thuộc cả nhiễu và chi tiết riêng của tập huấn luyện nhỏ, nên điểm trên tập huấn luyện cao mà trên tập validation thấp; có nhiều dữ liệu hơn, hay tạo thêm biến thể bằng augmentation, buộc mô hình học quy luật chung đúng cho nhiều mẫu, từ đó khoảng cách giữa hai đường loss thu hẹp. "Limited training data decreases the risk of overfitting." sai vì ít dữ liệu mới là nguyên nhân phổ biến nhất khiến mô hình học thuộc lòng. "The amount of training data has no impact on overfitting." sai vì lượng dữ liệu là một trong những yếu tố ảnh hưởng mạnh nhất tới khả năng khái quát. "Overfitting occurs only when there is an abundance of training data." sai vì nó ngược với thực tế: dữ liệu dồi dào giúp giảm quá khớp, còn quá khớp thường gặp nhất khi dữ liệu khan hiếm so với độ phức tạp của mô hình.

Đáp án đúng: "All of the above". Image augmentation (tăng cường ảnh) tạo thêm biến thể của ảnh huấn luyện bằng các phép biến đổi ngẫu nhiên nhưng vẫn giữ nhãn, giúp mô hình bớt overfitting (quá khớp); cả ba kỹ thuật nêu ra đều thông dụng trong TensorFlow nên chọn phương án gộp. "Increasing image brightness" là kỹ thuật đúng, thực hiện qua brightness_range của ImageDataGenerator hoặc tf.image.random_brightness, nhưng chỉ là một trong ba nên chọn riêng nó là chưa đủ. "Reducing image contrast" cũng đúng, dùng tf.image.random_contrast hoặc lớp RandomContrast để mô phỏng điều kiện ánh sáng khác nhau, song chọn riêng nó bỏ sót việc tăng độ sáng và lật ảnh. "Flipping images horizontally" đúng và phổ biến nhất, qua horizontal_flip=True hoặc lớp RandomFlip, nhưng cũng chỉ là một phần của đáp án đầy đủ.

Đáp án đúng: "It provides an initial set of weights that capture generic features, enhancing model performance". Một mạng đã huấn luyện trên tập lớn đã học được các đặc trưng chung như cạnh, góc, kết cấu và hình khối ở các lớp tích chập; dùng lại các trọng số này làm điểm xuất phát, tập dữ liệu nhỏ chỉ cần dạy thêm các lớp phân loại mới phía trên, hoặc fine-tuning (tinh chỉnh) vài lớp trên cùng, nên đạt độ chính xác cao mà ít bị quá khớp. "It completely replaces the need for any training on the small dataset" sai vì vẫn phải huấn luyện ít nhất các lớp mới để khớp với nhãn của bài toán. "It hinders the model's ability to adapt to the small dataset" ngược lại thực tế, các đặc trưng có sẵn giúp mô hình thích nghi nhanh hơn với ít dữ liệu. "Pre-trained models are not suitable for small datasets" sai vì tập nhỏ chính là trường hợp học chuyển giao phát huy hiệu quả nhất.

Đáp án đúng: "tf.keras.utils.image_dataset_from_directory". Hàm này đọc một thư mục có các thư mục con mang tên lớp, tự gán nhãn theo tên thư mục, đưa ảnh về image_size, chia lô theo batch_size, có thể tách tập validation bằng validation_split và trả về tf.data.Dataset; đặt label_mode='categorical' thì nhãn ở dạng one-hot hợp với phân loại nhiều lớp. "tf.keras.preprocessing.text_dataset_from_directory" sai vì nó nạp tệp văn bản thành tập dữ liệu chuỗi cho bài toán ngôn ngữ, không đọc ảnh. "tf.keras.datasets.load_images" sai vì mô-đun tf.keras.datasets không có hàm nào tên như vậy. "tf.keras.datasets.load_data" sai vì load_data là hàm của từng bộ dữ liệu dựng sẵn, ví dụ tf.keras.datasets.mnist.load_data(), chỉ tải các tập mẫu có sẵn như MNIST hay CIFAR-10 chứ không đọc ảnh từ thư mục của người dùng.

Đáp án đúng: "Image classification dataset". Bài toán phân biệt chó và mèo là phân loại ảnh nhị phân: mỗi mẫu là một bức ảnh có nhãn "dog" hoặc "cat", và bộ Dogs vs. Cats trên Kaggle là ví dụ kinh điển để luyện CNN với ImageDataGenerator, flow_from_directory và lớp ra sigmoid với binary_crossentropy. "Housing prices dataset" sai vì giá nhà là dữ liệu dạng bảng cho bài toán hồi quy, đầu ra là số liên tục chứ không phải nhãn ảnh. "Movie ratings dataset" sai vì điểm đánh giá phim dùng cho hệ khuyến nghị, gồm bộ ba người dùng, phim, điểm số. "Historical weather data" sai vì dữ liệu thời tiết theo thời gian là chuỗi thời gian (time series), hợp với bài dự báo bằng RNN hay LSTM, không chứa ảnh chó mèo.