Convolutional neural net rocks!

Sau khi nhóm của Hinton được Google mua lại thì chỉ vài tháng sau đó Google ứng dụng ngay Convolutional neural nets (CNNs) để hỗ trợ tìm kiếm ảnh trong Google Plus. Người in charge dự án này không ai khác là Alex Krizhevsky và Ilya Sutskever, hai đệ tử của Hinton. Có thể nói trong image recognition thì CNN hiện là state-of-the-art.

Không chỉ vậy, một paper trong ICASSP 2013 chỉ ra là CNNs cũng là state-of-the-art trong Speech Recognition. Paper này cho thấy một CNN được design cẩn thận cho kết quả tốt hơn so với Deep neural network (DNN) với layer-wise pre-training (vốn được trình bày ở đây).Gần đây nhất là paper này trình bày một mớ trick để tiếp tục improve kết quả của CNNs. Một trong những trick được dùng là kết hợp dropout với HF optimizer, điều trước đây chưa từng thấy.

Đáng nói nhất, CNNs có thể xem là một trong những deep architecture cổ xưa nhất của cộng đồng. LeNet-5 của LeCunn đã ra đời cách đây hơn 20 năm, và khi đó đã có ít nhất 5 layers (tùy cách đếm các lớp pooling và normalization). Và bây giờ lại chính là CNNs đạt các kết quả tốt nhất trong image và Speech Recognition.

Moral của câu chuyện có lẽ là việc phát triển của phần cứng máy tính đã thay đổi mọi thứ. Máy tính bây giờ nhanh hơn 20 năm  trước nên người ta có thể huấn luyện CNNs nhiều lớp hơn, trên dataset lớn hơn. Tất nhiên 20 năm “cần cù” lao động của không ít người nghiên cứu trong lĩnh vực này cũng đóng góp một phần đáng kể, điển hình nhất là đủ mọi thể loại trick và tips mà khi tập hợp lại có thể viết thành gần 800 trang sách.

Sự “lấn lướt” của CNNs có thể giải thích là vì CNNs sử dụng cơ chế weight sharing nên một CNN sẽ có ít tham số hơn nhiều so với một DNN có cùng số neurons. Nhờ có weight sharing nên thuật toán optimization có thể tìm local optimum tốt hơn. Đương nhiên đây chỉ là một cách giải thích khả dĩ, rất nhiều tricks trong huấn luyện CNN cũng có thể là lí do cho performance vượt trội của chúng. Hơn nữa có thể điều này còn “gợi ý” rằng năng lực của DNN thực ra vẫn còn lớn, và vấn đề là ta chưa  tìm được cách tốt hơn để huấn luyện chúng mà thôi.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s