Soohyun’s Machine-learning

"1:1 화상영어 링글은 영어 교육을 넘어 개인의 글로벌 성장을 응원하는 플랫폼입니다. 글로벌 커리어를 꿈꾸는 여러분을 위해 대망의 링글 글로벌 커리어 컨퍼런스를 개최합니다." 말 그대로 Global Career Conference이다. 한국 뿐 아니라 전세계를 대상으로 커리어를 이어나가고 있는 5명, 평균 경력 20년에 달하는 연사분들이 나온다. 이런건 보통 채용 플랫폼에서 많이 하는 일인데, 영어회화 플랫폼인 링글이 이 컨퍼런스를 벌써 두 번째로 개최하고 있다고 해서 신기하다 😊😊 링글이 진짜 여러가지 시도들을 많이 하는 것 같다. 영어 스터티 플랫폼이었던 턴챗, 10대들을 위한 링글, 각종 링글러들과의 대화, 작은 커리어 강의 등등을 온라인 오프라인으로 계속 하더니... 링글로 영어회화를 배우기도 ..

첫번째, 링글 수업 (feat. 예습과 복습) 링글의 가장 근본이자 현재의 링글을 있게 해준 최고의 코스이다. 수십회의 수업을 진행하면서 개인적으로 링글을 이용하는 개인적인 방법이 생겼는데, 기존에 링글 직원 분들이 ot를 해주신 내용과 개인적으로 잘 맞았던 부분들을 조합해서 쓰고 있다. 교재를 고를 때 - 자신이 가장 흥미있어하고 재밌어하는 주제를 선택한다. ㄴ 몇 번 좀 있어보이겠다고.. 어려운 주제를 선택하면 (...) 쩜쩜쩜.. 하게 되더라. 튜터와 활발하게 대화하고 토의를 하고 싶은데, 나에겐 너무 어려운 주제라서 튜터는 튜터대로 교재에 수준을 맞추자니 내가 어려워하고, 그렇다고 내가 확실하게 요구를 해주지도 않으니(왜냐하면 정작 공부해야 할 내가 교재를 100% 이해를 못했으므로!! ㅠㅠ) 튜..

영어를 현실에서 사용할 때 대전의 K모 대학에서 인공지능 수업을 받을 때, 당시 내 그룹을 담당했던 사람은 외국인 석박사 통합 과정 학생이었다. 금발에 푸른 눈을 가진 우크라이나 출신 학생은 한국어는 거의 못했고, 가끔 감탄사 정도를 제외한 나머지는 전부 영어로 소통했다. 당시는 링글 초기로, 링글도 아직 이름을 알리는 중인 파릇파릇한 영어회화 사이트였고, 나도 아이비리그 원어민들의 힘(?)을 절감중이었던 신규 유저였다. 링글 수업으로 영어를 듣는 귀가 높아진 것인지(...), 외국인 석박통합과정 학생 멘토의 영어도 fluent 수준이었음에도 와 영어 엄청나게 잘한다-는 느낌보다는 유창하다-는 인식을 받았다. 왜 그럴까를 생각해봤는데, 아무래도 쓰는 어휘가 한정적이라서 그랬던 것 같다. 링글 수업을 할 ..

사회 생활을 하다보면, 외국인을 만나 대화를 해야할 때가 있다. 특히 나는 IT계열이라 그런지 상대적으로 외국인 멤버들을 만나는 것도 종종 있고, 학술이나 커리어 관련한 네트워킹을 할 때에도 외국인들을 자주 보고는 한다. 인도인도 있고, 미국인에 영국인, 우크라이나 인 등등 정말 많이 본 것 같다. 처음엔 외국인들 앞에서 뚝딱거리기도 했는데, 링글 수업을 시작하면서 대화하는 튜터의 인종도, 억양도, 스타일도 굉장히 다양하다보니, 외국인을 대하는 태도도 상당히 자연스러워졌다. 외국인이라도, 아이비리그 출신들이라 하더라도, 그들 역시 그냥 사람이다-라는 것을 많이 느꼈기 때문일 것이다. . 필리핀 화상영어와 가장 큰 차이점을 느끼는 부분이기도 했는데, 필리핀 화상영어가 튜티의 손을 잡고 아장아장 걷게 도와준..

머신러닝 엔지니어로서, 인공지능에 대한 일반인들의 기대가 부쩍 늘어났음을 최근 느끼고 있다. 2016년 이세돌과 알파고의 대결이, cutting edge, 최첨단 산업들에 재직하고 있는 사람들에게 경각심을 주었다면, 최근에는 ChatGPT가 완전 buzz word가 되어서 사람들 사이를 휩쓸고 있다는 느낌이다. 그래서 이번 링글 수업을 진행할때는 일부러 ChatGPT를 주제로 한 내용을 골랐다. 유저들의 질문에 답을 해주는 ChatGPT가, 구글에 영향을 끼칠 것이다 - 라는 골자의 내용이다. 기본적으로 구글은 검색 산업을 메인으로 해서, 거기에 광고를 다는 형식으로 비지니스 모델이 형성되어 있는데, ChatGPT는 아무런 광고도 없이 질문에 바로 답변을 해주므로, 구글이 영향을 받을 수 밖에 없다는 것..

Free Dos 레노버 컴퓨터 사전 준비물 - 레노보 홈페이지에서 wirelesslan 드라이버를 받는다. (솔까 사운드 드라이버야 인터넷 연결 후 받아도 되지만.. 이거 없이 하려고 하면 진짜 디짐... 이틀간 온갖 오류들로 진짜 고생했다. 드라이버 설명으로는 win11 꺼라는데 win10에 적용해도 별 상관없는 듯.. 걍 되더라) 윈도우 10 설치 기준 1. 시리얼 키없음 상태로, 윈도우 설치 usb를 사용해 설치 완료하기 2. 은색 USB에 드라이버들 있음. wlan driver - 와이파이 드라이버부터 먼저 깔기 3. windows update 쫙쫙 해주기 4. sound driver 1이랑 2 전부 다 깔아줘야 제대로 됨 5. intel 홈페이지가서 업데이트들 다 받기 (블루투스랑 arch.. ..

장어로 부모님 몸보신도 시켜드리고, 갈비도 먹고 싶어서 들른 고깃집, '총각네장어' 돼지갈비도 같이 하기 때문에 장어를 못 먹는 사람들도 장어를 먹는 가족들과 함께 와서 식사하기 좋다 ㅎㅎ (우리 가족이 그렇다 😎) 전체적으로 원목 느낌과 검은 느낌이 잘 어우러지는 깔끔한 인테리어다. 특이한 점은 더워서 그런지, 각 테이블마다 미니 선풍기가 있다. 에어컨 덕분에 크게 덥진 않아서 가동해보지는 않았지만, 정말 더울 때는 쓰기 좋을 것 같다. 주인 분의 센스가 돋보이는 포인트였달까 ㅎㅎ 가게에서는 이렇게 해놓은 걸 처음 봐서 너무 귀여웠다. 장어 2마리에 48,000원!!! 엄청 저렴하다. 더 둘러보고 싶었지만 배가 많이 고파서.. 장어와 돼지 갈비를 시키고 먹기부터! 메뉴판을 잘 보면 '라면 3,000'이..

Contribution Suggest a way for improvement word-level language model with character level embeddings Pros and Cons of the Approach Used network in the paper was general things at the time, but input was different, character-level embeddings. The results was better if the language had more various morphemes. Yet character-level embeddings has a tradeoff between efficiency and time. Model Architec..

Amazon Mechanical Turk (AMT) 워커들의 업무 효율과 결과물에 대해서 크라우드소싱 리퀘스터들은 의문과 불안함을 갖고 있다. 너무 다양한 워커들이 있고, 그 워커들의 결과물이 리퀘스터가 원했던 것과 많이 달랐기 때문인데... 이 문제점들을 파헤쳐보고자 한다. HIT : Human Intelligence Task 2. Background 2.1 워커 비용 지급 AMT에서의 워커들의 평균 급여는 1시간에 3.13 달러 정도인데, 리퀘스터는 보통 시간 당 11.58 달러의 비용을 지불한다. 이렇게 차이나는 이유는 대부분의 HITs가 낮은 비용을 주기 때문이다. (이 논문을 쓴) 연구자들은 AMT 워커들이 조금만 일하고자 했고, 보상의 크기는 데이터 퀄리티에 별 영향을 주지 못했을거라 믿었다...

AWS를 가볍게는 알고 있는데, 실제 서비스는 잘 몰라서 서평 리뷰를 남기고 받은 책이다. 책의 목적 AWS가 AI와 관련한 어떤 서비스를 제공하고 있는지를 알려주는 책이다. 인공지능 붐의 배경과 기계학습에 대한 간단한 설명, AWS의 머신러닝 서비스들에 대해서 설명을 해주고 있다. 중간중간 간단한 모델들에 대한 설명도 친절하게 잘 되어 있다. 좋았던 점 - AWS에서 어떤 서비스를 제공하는지, 그리고 그 서비스를 어떻게 활용할 수 있는지를 고민하는 분들이라면 읽어볼만한 책이다. - AWS나 Azure같은 서비스들이 무엇인지 잘 모르는 분들이라면, 읽어보면 아-이런거구나!하고 알 수 있을 것 같다. - 책 전체적인 플로우가 무척 친절해서, 잘 모르는 사람이라도 하나하나 스크린샷을 보고 읽으면서 따라할 수..

BERT가 충분하게 트레이닝되지 않았다-고 주장하고 시작한다. RoBERTa의 contribution 1) 더 나은 downstream task 성능을 낼 수 있는, BERT의 디자인 선택 (design choices), 그리고 트레이닝 전략 (training strategies)을 제시 2) CC-NEWS라는 새로운 데이터셋을 사용, 또한 사전학습(pretraining)에서 더 많은 데이터를 사용하는 것이 downstream tasks에서의 성능을 향상시키는 걸 확인 3) 트레이닝 향상은 masked language modeling이 올바르게 디자인 된 조건하에서, 최근에 발표된 방법들에 비견할만 함 RoBERTa (로베르타)의 특징 == 오리지널 BERT와의 차이점 1) dymanic masking ..

- GPT2의 계승 모델로, GPT3라고 부른다 - GPT는 Generative Pre-Training의 약자 (GPT1 논문 제목이 Improving Language Understanding by Generative Pre-Training) - input : N개의 단어 sequence - output : N+1번째의 단어 - GPT2 사이즈 업 + Unsupervised pre-training (like NLG) + Sparse Attention + No fine-tuning Alternating dense and Locally banded sparse attention - (a) Transaformer처럼 앞쪽의 전부를 보면 연산량이 많으므로, (b)나 (c)처럼 제한된 개수의 input token..

graphical model의 inference 문제를 보자. 그래프에서 관측된 값들로 다른 노드들의 posterior distribution을 구하려고 한다. 앞으로 보게될테지만, graphical structure를 사용해서 추론에 효과적인 알고리즘을 찾을 수도, 이 알고리즘을 알려주는 structure를 만들 수도 있다. 많은 알고리즘들이 그래프상에서의 local messages의 propagate, 전파로 표현할 수 있다. Bayes Theorem의 graphical interpretation을 생각해보자. joint distribution $p(x,y)$는 아래와 같이 decompose 할 수 있다. 위의 공식에서 marginal distribution $p(x)$는 latent variable..

Probabilistic Graphical Models 확률적 그래피컬 모델이 가진 속성들 1. 확률적 모델의 스트럭쳐를 보여줄 수 있는 간단한 방법을 제공하며 새로운 모델을 만드는데 동기부여가 될 수도 있다. 2. 모델의 속성들에 대한 인사이트(그래프를 검사하는걸로 얻어낼 수 있는, 조건부 독립 속성 conditional independence properties 포함) 를 제공한다. 3. 복잡한 연산, 복잡한 모델을 배워야 하고 추론을 해야한다. 그래프는 노드 nodes (버텍스, vertex/vertices)와 그걸 이어주는 링크 links (엣지 edges, 아크 arcs)로 구성되어 있다. graphical models에서 각 노드는 확률 변수 random variable (or group of..

TabNet 라이브러리 깃허브 링크 : https://github.com/dreamquark-ai/tabnet Abstract TabNet uses sequential attention to choose which features to reason from at each decision step, enabling interpretability and more efficient learning as the learning capacity is used for the most salient features. keywords - interpretability - self-supervised learning - single deep learning architecture (for feature selection..

데이터 특성 1) 기존의 타이타닉 생존 데이터를 기반으로, CTGAN으로 인위적으로 생성한 데이터(10만) 2) 1번 때문인지 실제 현실에서는 불가능한 데이터들이 껴 있었다 (e.g. 승선한 가족 사이즈가 수십명이거나..) Preprocessing & EDA (+ Pseudo labels) 1) 결측치 처리 : 데이터 자체의 비현실성이 컸고, 실제 타이타닉 데이터의 칭호처럼 레퍼런스할 수 있는 항목도 없었으므로, 결측치는 해당 칼럼의 mean값이나 median 값으로 그냥 채워주었다 (뭘로 하든 결과에서 유의미한 차이를 느끼지 못했음) 2) feature 생성 : FamilySize 외에는 만들지 않았다 3) 다른 캐글러가 트레이닝 셋으로 모델을 트레이닝하고, 다시 트레이닝 + 테스트를 섞어서 얻어낸 결..

“Minari,” Reviewed: A Strangely Impersonal Tale of a Korean-American Boy in Arkansas By Richard Brody February 10, 2021 Sometimes technique is so showy that it overwhelms a movie, but there’s also technique that dominates by flaunting its modesty. That’s the kind on display in “Minari,” Lee Isaac Chung’s quasi-autobiographical drama about growing up, as the child of Korean immigrants, in rural A..

가우시안 프로세스에서는 parametric model을 쓸 것이다. (함수에 prior distribution을 direct하게 적용하지 않는다.) 이럴 경우 함수에서 uncountably infinite space를 생각할 수 있는데, finite data set만 생각하면 된다. ARMA, Kalman filters, radial basis function networks 도 가우시안 프로세스 모델의 형태라고 볼 수 있다. 6.4.1 Linear regression revisited linear regression으로 돌아가서 y(x, w) 함수에 대한 predictive distribution을 다시 유도해보자. M개의 고정된 기저 함수들(fixed basis functions)간의 linear c..

※ I allowed translating and posting the article "The Annotated Transformer" to Korean by Dr. Rush. original page : https://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformer from IPython.display import Image Image(filename='images/aiayn.png') The Transformer from “Attention is All You Need” has been on a lot of people’s minds over the last year. Besides producing major impr..