Hyungwon's Notebook

ANN lstmRNN gruRNN performance test Image source Comparison of English character recognition performance among RNN(Vanilla), RNN(LSTM), and RNN(GRU). Hyungwon Yang 04.19.17 NAMZ Labs Task Tensorflow에서 제공하는 기본적인 RNN방식과 LSTM cell, 그리고 GRU cell을 적용한 RNN방식 총 3가지 모델의 성능을 비교한다. 영어 character 단위의 데이터셋을 이용하여 훈련한 뒤, 훈련에 사용하지 않은 테스트 셋으로 결과를 추출하여 세 모델의 성능을 비교한다. Training Corpus Project Gutenberg’s The Divine Comedy, Complete, by Dante Alighieri This eBook is for the use of anyone anywhere at no cost and with almost no restrictions whatsoever. You may copy it, give it away or re-use it under the terms of the Project Gutenberg License included with this eBook or online at www.gutenberg.org The part of the corpus was extracted for training. Experimental Setting. Python 3.5.3 Tnesorflow 1.0.0 Mac OSX sierra 10.12.4 Data Preprocessing. 이전 report에서 보고하였던 것으로 갈음한다. RNN(Vanilla) Training Hidden unit의 개수는 50, 100, 200으로 총 3번에 걸쳐 실행하였으며, 자세한 설정사항은 아래와 같다. 설정...

ANN RNN performance test Image source Tensorflow를 이용한 기계학습 실험 Google에서 Tensorflow를 오픈소스로 공개한 이후, 기계학습에 대한 접근성은 더욱 용이해졌다. 물론 Tensorflow가 나오기 전에도 Keras나 Theano와 같이 기계학습 관련 툴들은 존재했었다. 하지만 Google이라는 막강한 기업이 python이라는 비교적 쉬운 언어를 통해 이번 툴을 무료로 배포하고, 전세계의 다양한 연구자들이 함께 코드를 발전시켜나갈수 있도록 기반을 다져주었기에 Tensorflow의 인기는 다른 툴들보다 나날이 상승할 것으로 보인다. 물론 초반에 나온 코드라 그런지 업데이트가 자주 일어나서 펑션들이 이리저리 옮기다니는 덕분에 코드를 자주 수정해야되는 번거로움이 따르긴 하지만, 이런 불편함을 감수할 정도로 Tensorflow는 많은 편리성을 제공한다. 어찌되었던 이런 시대의 흐름을 타고 필자도 최근 Theano로 사용하던 기계학습 코드를 Tensorflow로 수정하였고 이를 통해 다양한 실험을 진행하고 있다. 여기 올리는 실험 결과들은 비교적 단순한 호기심, 혹은 연구 주제를 발전해 나가는 과정중에 도출된 것이기에 편하게 봐주길 바란다. Comparison of English character recognition performance between ANN and RNN(LSTM). Hyungwon Yang 04.17.17 NAMZ Labs Task Compare the performance achieved by two machine learning techniques: ANN and RNN(LSTM). Train the preprocessed character level corpus, Project Gutenberg’s The Divine Comedy, Complete ebook , with the two techniques and test their p...