목록Machine Learning/Natural Language Processing (3)

Soohyun’s Machine-learning

A Survey of NLP-Related Crowdsourcing HITs: what works and what does not

Amazon Mechanical Turk (AMT) 워커들의 업무 효율과 결과물에 대해서 크라우드소싱 리퀘스터들은 의문과 불안함을 갖고 있다. 너무 다양한 워커들이 있고, 그 워커들의 결과물이 리퀘스터가 원했던 것과 많이 달랐기 때문인데... 이 문제점들을 파헤쳐보고자 한다. HIT : Human Intelligence Task 2. Background 2.1 워커 비용 지급 AMT에서의 워커들의 평균 급여는 1시간에 3.13 달러 정도인데, 리퀘스터는 보통 시간 당 11.58 달러의 비용을 지불한다. 이렇게 차이나는 이유는 대부분의 HITs가 낮은 비용을 주기 때문이다. (이 논문을 쓴) 연구자들은 AMT 워커들이 조금만 일하고자 했고, 보상의 크기는 데이터 퀄리티에 별 영향을 주지 못했을거라 믿었다...
Machine Learning/Natural Language Processing 2021. 11. 28. 21:24
The Annotated Transformer 번역

※ I allowed translating and posting the article "The Annotated Transformer" to Korean by Dr. Rush.  original page : https://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformerfrom IPython.display import Image Image(filename='images/aiayn.png') The Transformer from “Attention is All You Need” has been on a lot of people’s minds over the last year. Besides producing majo..
Machine Learning/Natural Language Processing 2021. 3. 26. 23:49
[NLP] Character-Aware Neural Language Models

Contribution character level의 embedding을 통해 word-level language model의 성능을 향상하는 방법을 제시했다. (네트워크 자체는 당시 보편적인 걸 사용했지만, input으로 char-level을 사용함으로써 word-level embedding이 정말 필요한 것인가-라는 의문을 제기한다. 영어, 체코어, 독일어, 스페인어, 불어, 러시아어, 아랍어 데이터셋으로 실험을 진행했다. 형태소가 풍부한 언어일수록 성능차이가 word-level 대비 더 좋게 나왔다. 여기까지가 장점이며 단점으로는 성능은 괜찮지만 char-level 자체가 efficiency - time tradeoff가 있다.) Abstract 우리는 오로지 Char-level inputs에만 의..
Machine Learning/Natural Language Processing 2019. 10. 29. 21:37
Prev 1 Next