Training neural nets with Distributed Tensorflow

The distributed version of Tensorflow has been released, but the documentation is not great. As with other open-source libraries like this, the most effective way is to look into the sample code. In case of tensorflow, the only sample available is the model trained on CIFAR. Technically it isn’t really a sample of the distributed version of tensorflow, it is just training on multiple GPUs. Moreoever, the CIFAR sample is quite obscured, and how to write a program to utilize a tensorflow cluster wasn’t clearly demonstrated.

So this is my attempt to demonstrate that. Check it out and leave me a comment if there is any issue.

Advertisements

4 comments

  1. Chân thành cảm ơn anh với những bài viết vô cùng bổ ích giúp những beginner như em có thể nắm bắt được một số vấn đề trong học máy. Nhân tiện em muốn hỏi anh một chút về deep learning:
    1. Qua tìm hiểu em có thấy convolutional neural network và mạng deep belief network đang đươc tập trung nghiên cứu những năm gần đây. Mạng convolutional em có down được một vài tài lieu của Lecun và cũng hiểu được cơ bản nhưng deep belief thì em chưa hiểu được mấy. Anh chỉ giúp em với vài ý với. Ngoài ra anh có biết còn mộ hình deep learning nào đang được ưa chuộng không ạ?
    2.Facebook và google đều mở mã nguồn về AI của họ( FAIR và TensorFlow). Theo anh thì mô hình nào tốt hơn? và liệu chúng ta có nên xây dung một mo hình deep của riêng mình ko?
    Em cảm ơn anh nhiều

    1. Hi em,
      1. Deep Belief Network giờ không thông dụng lắm, nhưng nếu muốn e vẫn có thể đọc paper: https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf. Nói chung tư tưởng là nó học một mô hình generative của cả dữ liệu và label, chứ không phải discriminative như feedforward net truyền thống.
      Hiện nay thì chủ yếu người ta đang làm về Recurrent nets (LSTM, etc..) và các loại mixed models, trong đó nhiều mô hình kết hợp lại và có thể train end-to-end bằng backprop.

      2. Anh nghĩ tốt nhất là cứ dùng tensorflow. Nếu đã quen với Lua thì có thể dùng Torch, hoặc lười thì có thể dùng keras hoặc scikit-tensorflow.

      Cheers,

  2. Em cảm ơn anh nhiều nhiều. Mong anh có thêm nhiều bài viết về Deep Learning cho tụi em có thêm phương hướng tìm hiểu

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s