Convolutional layers in convnet

Một convolutional layer thường có các tham số sau:

  • Kích thước (ảnh) đầu vào: N \times N \times C, trong đó C là số lượng kênh màu hoặc là số feature maps của layer thấp hơn.
  • Convolutional size: s_c \times s_c
  • Padding: p
  • Stride: t_c
  • Số feature map: f

Khi đó số lượng unit của lớp này sẽ là: K \times K \times f, với

\displaystyle K = \left\lfloor \frac{N + 2p - s_c}{t_c}\right\rfloor + 1

Thông thuờng sau lớp convolutional sẽ có một lớp pooling, ngta hay dùng max pooling. Lớp này có khả năng tạo transitional invariance trong một phạm vi nhỏ trong receptive field của các unit. Lớp pooling đặc trưng bởi 2 tham số sau:

  • Pooling size: s_p
  • Pooling stride: t_p

Input của lớp pooling là tensor có kích thước K \times K \times f (kết quả của lớp convolutional ở trên), và output của lớp pooling có kích thước M \times M \times f, với

\displaystyle M = \left\lfloor \frac{K - s_p}{t_p}\right\rfloor + 1

Công việc xác định giá trị các tham số trên coi như là “thiết kế” kiến trúc của mạng neuron. Để thiết kế một convnet hoạt động hiệu quả, có một vài hints và rules of thumb không bao giờ thấy nhắc tới trong các paper mà hình như chỉ được “truyền miệng” giữa những người làm trong lĩnh vực này. Khi nào rảnh rỗi sẽ nói tới sau 😉

Nhân tiện thì file này chứa các công thức nói trên, và một số công thức khác để tính số lượng tham số trong từng layer của convnet. File này tạo trên OpenOffice Calc, nhưng có lẽ cũng có thể mở trong Excel (?). Chỉ cần xác định giá trị các tham số (trong các cột in đậm), các kết quả như kích thước output và số lượng free parameters sẽ được tự động tính cho từng layer.
Theo kinh nghiệm thì đếm số lượng free parameters là một trong những cách nhanh nhất để hiểu các loại mô hình này.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s