Unsupervised Feature Learning with k-means

Năm 2011, một kết quả khá thú vị trong cộng đồng Unsupervised Feature Learning được công bố trong paper này của nhóm Andrew Ng. Trong đó các tác giả chỉ dùng k-means để học các features và cho kết quả khoảng 80% trên CIFAR-10 (State-of-the-art là 90%, đạt được bằng deep net với DropConnect, công bố năm 2013).

Mặc dù đã khá cũ nhưng trong bài này có nhiều ý khá thú vị. Thứ nhất là k-means, cài đặt rất đơn giản, không có nhiều hyper-parameter để tune, lại tỏ ra tốt hơn Sparse auto-encoder, Sparse RBM và Gaussian mixture models trong ngữ cảnh của paper này. Tất cả các model này đều có thể coi là single-layer network, và mô hình “mạnh” hơn lại chính là kmeans, vốn là một thứ đồ rất cổ trong ML. Thứ hai, trong thuật toán học có sử dụng ZCA whitening, khoảng cách từ mỗi sample tới các entry trong dictionary được tính bằng triangle encoding, và ở cuối lại có thêm một bước max-pooling. Tóm lại work này có thể coi như là tổng hợp nhiều thứ tricky trong cách tiếp cận Bag-Of-Words của cộng đồng làm Vision.

Cụ thể thì quá trình huấn luyện bằng k-means có thể tóm tắt trong sơ đồ sau:

Unsupervised Feature Learning with k-means

Unsupervised Feature Learning with k-means

Khi nào có dịp ta sẽ viết cụ thể hơn, đặc biệt là ZCA whitening, một bản mở rộng rất thú vị của PCA.

Advertisements

One comment

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s