hcik 2017 튜토리얼; 인공지능으로 사용자 리서치
•
12 likes•2,917 views
인공지능으로 도큐먼트 분석하기 챗봇으로 인터뷰 머신 만들기 인공지능으로 인터뷰 결과 분석
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to hcik 2017 튜토리얼; 인공지능으로 사용자 리서치
Similar to hcik 2017 튜토리얼; 인공지능으로 사용자 리서치 (20)
More from Seoul National University
hcik 2017 튜토리얼; 인공지능으로 사용자 리서치
- 2. 1.년.전. 2016년 hci 학술대회 튜토리얼에서 ux연구자가 널리 사용하는 포스트 잇 기반의 어피니티 작업을 개선하 는 방법들을 소개하였다. 소개된 세 개의 툴들은 모두 '방법론 이 녹아 있는(process-embeded) 도구’로서 칸을 채우다 보면 일이 끝 나게 된다. 물론 포스트잇이나 엑셀 같은 범용 도구는 자유도가 높지만, 이런 도구 를 쓰게 되면 불필요한 반복작업이 많아 일의 목적에 집중하기 어렵다. 질적 분석의 목표는, 해석적 독창성(analytical originality)에 도달하는 것인데, 과 정을 쉽게 오가며 내용을 조망할 수 있는(tracability) 도구가 이를 돕는 다.
- 3. 리프레이머 지난 1년을 돌이켜 보면, 세 가지 도구 중 리프레이머의 사용 이 가장 많았다. 인터뷰에서 채집한 수 많은 ‘발화’들 을 객체화하여 시각적으로 그루핑 해주는 리프레이머는, 우리랩의 질적분석 시간을 20% 정 도 줄여주었다. 중요한건 의미 도출 의 향상과 두려움의 사라짐이다.
- 4. ㅇㄴ고 2016년 2016년은 인공지능 충격의 해이다. 이세돌-알파고 대결 이후 인공지능 이 대체할 일자리에 대한 논의가 뒤 따랐다. 연말이 되어감에 딥러닝 오픈소스를 만져본 엔지니어들에 의해 다양한 인공지능 응용이 나타나기 시작했 다. 혹자는 ‘텐서플로우를 엑셀처럼 쓰는 시대’가 다가왔다고 했다.
- 5. HCI & 인공지능 제품에 인공지능을 탑재할때 인터액션은… ux/hci 분야에서도 인공지능에 대한 논의가 많이 벌어졌다. 대부분의 논 의는 ‘인공지능’을 탑재한 기기의 새 로운 인터액션에 대한 고민이었다. 화면이 사라지고 에이전트가 강해진 인공지능머신의 초기 제품들도 시장 에 등장하기 시작하였다.
- 6. #인공지능 #사용자경험을 #도울수있을까 관찰 맥락질의 퍼르소나 저니맵 정보설계 화면설계 프로토 타이핑 참여디자인 인터뷰 멘탈모델 평가 메타포 패턴 분석 설계 language Speech Vision Data Insights Emb. Cognition 하지만, 우리 랩에서는 조금 다른 관점을 가 지고 인공지능에 접근하였다. 인공 지능이 우리의 일을 덜어줄 수 있지 않을까? IBM Watson은 그 기능들을 쓰기 쉽게 정리하여 웹에 공개하였다. 기 능들을 살펴보면 ux 작업의 많은 단 계에서 인공지능이 개입될 여지가 보인다. 그래서 그 가능성을 점검하고자 탐 색적 연구를 진행하였다. 이번 튜토 리얼에서는; - 인공지능을 이용한 도큐먼트 분석 - 챗봇을 이용한 인터뷰 머신 - 인공지능을 이용한 인터뷰 정리 를 시도해 보았다. < ux 업무 단계 > < 왓슨의 기능들 >
- 7. Sample Case: “ TV 시청 경험은 어떻게 변하고 있는가? 연구를 위해 가상의 시나리오를 상 정하였다. xx전자에선 빅스크린 티브이 판매를 위해 최근 시청경험 변화를 조사하 고자 한다. ‘홀로’족도 많아지고 TV 시청 중 스마트폰을 보는 등 다른 일 과 병행하여 켜 놓는 일도 많아 TV 앞 사용자 경험을 제대로 조사해 보 고자 한다.
- 8. 2017.02.08. 서울대학교 융합대학원 사용자경험연구실 석사과정 나누리 IBM Watson을 활용한 Document Analysis - Big Screen TV에 관한 Desk Research에 왓슨 부려먹기 - HCIK 2017 Tutorial Session
- 9. 9 Document Analysis: 누가 좀 대신 읽어서 요점만 말해주었으면… 공유경제의 대두의 원인은 1. 정보화 2. 경제악화 흔한_대학원생의_책상_ㅠㅠ.jpg
- 10. 10 이제는, 누구나, Document Analysis를 자동화 content analysis statistical analysis manual automatic manual coding QDAS Text Mining Intelligent Software 수동 분석은.. Watson, can you help me? 자동화 가능하지만..
- 12. Body of Text URL Keywords Concepts Input Outpu #Keywords #본문에등장한 #감정적뉘앙스 #본문복붙 #URL복붙
- 13. Body of Text URL Keywords Concepts Input Outpu #Concept #본문에없는 #위키피디아 #시멘틱계층고려 #Evidence #본문복붙 #URL복붙
- 14. 빅스크린 텔레비전 연구를 시작하게 됐거든~ 요즘 TV 관련 서비스나 트렌드 같은 건 대충 다 캐치업 하고 있지? 그런건 나보다 너네들이 잘 알거 아냐. 내일 얘기하자. 여전한 교수님 그런데 어느날, 교수님의 급-주문 네..교수님.. 근심 걱정 나누리 (26, 해시태그 연구자) #TV안본지9년째 #텔레비전1도모름 #유투브가곧TV아닙니까 #뉴스언제다보지
- 15. 하루 안에, 혼자서 빅스크린 TV의 기술과 서비스에 관한 트렌드를 알아내야 한다 MISSION START !MISSION START !
- 16. 16 정보원 선별 검색어 정교화 자료 수집 Watson에서 돌리기 키워드 선별 Watson을 이용한 텍스트 분석의 recipe 1 2 3 4 5
- 17. 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 어떤 종류의 정보를 찾고 싶은지에 따라 정보원을 선별한다 - 관점이 필요한지(opinion driven), 사실이 필요한지 (fact driven) - 최신의 정보가 중요한지(timely), 시간에 관계없는 정보가 필요한지(time-neutral) 17 fact-drivenopinion-driven timely time-neutral 소설 블로그 인터뷰 기사 컬럼 수필
- 18. 18 전문성 공신력 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 Document Analysis 의 핵심은, 좋은 정보를 골라내서 왓슨에게 던지는 것 심혈을 기울여 좋은 정보를 찾아내야 한다 - 소스 중 fact-driven한 것은 공신력, 전문성을 기준으로 선별 가능하다 - 대략 5-6곳 정도로 솎아낸다
- 19. 19 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 정보원을 선별했으니 이제 정보원에서 어떤 검색어를 넣어야 원하는 정보가 ‘많이’ 나오는지 알아볼 차례 - 적절한 쿼리를 조합한다는 측면에서 기존의 검색과정과 매우 유사 - 결과 화면의 제목들만 대강 훑으면서, 어떤 쿼리를 넣으면 relevant한 것을 많이 찾 을 수 있는지 확인 new + big screen tv big screen tv + technology tv + trends future + tv home + tv next generation + tv
- 20. 20 아티클의 URL을 수집 http://www.tvtechnology.com/ thewire/smpte-partners-in- producing-2017-nab-shows- future-of-cinema-conference- the-intersection-of-technology- art--commerce-in-cinema/7555/ view 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 뉴스와 아티클 검색은 구글에서 ‘메타검색’하기보다는 각 소스 사이트에서 검색하는 것을 추천 - 메타 검색은 정보원의 특성이 사라지므로 NYT, Techtimes 등 소스 사이트에서 검 색하는 것이 좋음
- 21. 21 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 킬.링.파.트. 가장 보람차고 희열이 느껴지는 순간!
- 22. 22 (20개 기사)X(20개 키워드) = 400개 키워드 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 (그러나… 기쁨은 잠시) 곧 키워드의 바다에 빠지게 됩니다 이 많은 거 언제 다봐! 이럴 거면 왜 했어!
- 23. 23 성실하지만 우둔한 AI 조수 Watson… 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 시키는대로 했는데 나한테 왜그래.. 키워드 달라며~~??
- 24. 24 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 수많은 AI 키워드를 선별하는 거름망이 있다면 - 나라도: 나라도 선택했을 것. 사전지식에 부합하는 키워드. - 식상한: 쿼리 자체를 포함하고 있거나, 우리 엄마도 알만한 식상한 내용의 키워드. - 특이한: 낯설지만 검색을 하고싶은, 호기심을 자극하는, 신선한 키워드. 뻔하지만 지속적으로 반복등장하여 무게를 주는 키워드. A.I. 나 #나라도 #식상한 #특이한 Lee and Lee, Off-the-shelf Artificial Intelligence and Qualitative Research interacting IBM Alchemy Language in HCI research methodology, HCIK, 2017.
- 25. 25 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 거름망도 준비되었으니, 이제 골라보자!!!
- 26. 26 정보원 선별 1 검색어 정교화 2 자료 수집 3 Watson 4 키워드 선별 5 #특이한 #식상한 #나라도
- 27. 누리야, 빅스크린 TV는 OLED 이후에 무슨 변화가 있나? 빅스크린 TV에서 두드러지는 새로운 경험이 있니? 앞으로 빅스크린 TV조사 어떻게 하면 좋을까? 아이디어 있어? 여전한 교수님 오늘도 평화로운 유엑스랩 교수님, 빅스크린 TV 요즘 추세가 Quantum dot인 거는 아시죠? 그리고 요즘 밀레니얼 세 대는 Zero TV 세대라고해서 텔레비전을 보지 않거나, 스맛폰, 랩탑을 통해서 텔레비전 컨텐 츠를 소비한다고 해요. 이렇게 사용자 라이프 스타일에 따라서 패턴이 다른 것 같은데, 여기 를 조사해보면 어떨까요? 다.음.날
- 28. 하루 안에, 혼자서 빅스크린 TV의 기술과 서비스에 관한 트렌드를 알아내야 한다 MISSION SUCCESS
- 29. - 대량 분석을 해야할 때 유용하다. 1시간 동안 텍스트 분석 석사 1학기 후배 2개 vs. AI 조수 40개 — 좋은 데이터가 좋은 결과를 낳는다. (정보원, 쿼리 중요) - 분석하고자하는 목적에 따라, 정보원을 바꾸어 구사할 수 있다. - ‘인간-인간’과 ‘인간-AI’에서 키워드 수용의 패턴이 유사하다. Watson을 이용한 텍스트 분석의 recipe & tip! 정보원 선별 검색어 정교화 자료 수집 Watson에서 돌리기 키워드 선별 easy recipe + tip! 29
- 30. 30 이 레시피는 3 projects, 40 topics, 659 docs, 10,590 kewords 를 통해 도출된 ㅠㅠ
- 31. 2017.02.08. 서울대학교 융합대학원 사용자경험 연구실 나누리, 이현정, 한수교, 정재원, 고유미 IBM Watson을 활용한 Document Analysis - Big Screen TV에 관한 Desk Research에 왓슨 부려먹기 - HCIK 2017 Tutorial Session
- 32. 32 김진영, 송지은, 윤수경, 김병준, 박주영 @SNU UX lab 도전 ‘봇’터뷰! ‘ B o t ’e r v i e w : I n t e r v i e w i n g w i t h C h a t b o t 챗봇으로 하는 인터뷰 HCIK 2017 Tutorial Session
- 33. 33 챗봇 인터뷰는..? 챗봇 인터뷰는 메신저라는 플랫폼에서 봇을 활용해 인터뷰를 진행한다는 점에서 여섯 가지 특징이 있다 각각의 특징은 인터뷰 종류 선정 시 챗봇 인터뷰를 하는 기준이 된다 비대면 • 참여자의 (감정적) 부담을 줄임 • 인터뷰어의 편견이나 감정이 배 제 • 민감한 사항에 대한 답변 도출 In-Situ • 현장의 경험을 바로 채집 메신저 화법 • 메신저의 화법에서만 드러날 수 있는 만족 도나 의도를 담은 행동을 표현 Massive • 다수의 인터뷰이를 다양한 시간대 에 인터뷰 진행 다양한 양식 • GPS, 이미지 등의 형태로 응답 수신 자동화 • 주기적으로 질문 가능 • 결과 정리 및 분석이 비교적 용이
- 34. 34 챗봇 저작툴 선정 기준 시중에 다양한 챗봇 저작툴이 있지만 저작툴들의 기능이 각각 향상 되면서 작업자의 코딩 가능 여부와 다양한 답변 양식이 선정에 가장 큰 영향을 미친다 선정기준 api.ai flow XO motion.ai text.it sequel chatfuel 작업자의 능숙도 코딩이 필요없는가? x △ ○ ○ ○ ○ 인터뷰이의 메신저 접근성 지원 메신저 다양한가? ○ ○ ○ ○ ○ 페이스북 메신저 특화 인터뷰 답변 양식 다양한 답변 형식이 제공되는가? ○ x ○ x ○ ○ 저작 복잡도 저작 과정이 간단한가? x ○ x ○ △ ○ 결과 정리 응답자별 데이 터 추출이 가능 한가? ○ ○ ○ ○ ○ ○ 2017.2.8. 기준 <저작툴별 특징>
- 35. 35 Chatfuel은 코딩할 필요 없이 다양한 입력 형태의 답변을 받을 수 있는 장점이 있다 Chatfuel로 챗봇 인터뷰 만들기
- 36. 36 Recipe for ‘Bot’erviewing 1 인터뷰 스크립트를 작성한다 2 스크립트를 로직화한다 3 저작툴에 말풍선을 입력한다 4 인터뷰 결과 추출을 준비한다 5 파일럿 인터뷰를 통해 대화를 최적화한다 6 챗봇인터뷰를 진행한다 7 인터뷰 결과를 분석한다
- 37. 37 리서치의 목적에 따라 어떻게 실시할 것인지 기획 후 이를 토대로 무엇을 물을지, 질문 스크립트를 작성한다. 1 인터뷰 스크립트를 작성한다 고지사항 인적사항 <계획서 토대로 질문 스크립트 작성> 2 3 4 5 5 5 TV 시청 맥락 평소 TV시청 패턴
- 38. 38 2 스크립트를 로직화한다 스크립트를 말풍선 단위로 나누고, 말풍선이 자연스럽게 이어지도록 대화의 흐름을 만든다. 2 3 4 5 5 5
- 39. 39 저작툴에 탑재되어 있는 다양한 기능들을 활용하여 대화를 입력한다 3 저작툴에서 말풍선을 만든다 •기본적인 메시지 입력은 Text Card 기능을 이용한다. 2 4 5 5 5
- 40. 40 3 저작툴에서 말풍선을 만든다: 선다형 저작툴에 탑재되어 있는 다양한 기능들을 활용하여 대화를 입력한다 • 선다형의 경우 Quicky Reply 기능을 이용한다. 2 4 5 5 5
- 41. 41 3 저작툴에서 말풍선을 만든다: 자유입력 저작툴에 탑재되어 있는 다양한 기능들을 활용하여 대화를 입력한다 • 자유입력의 경우 User Input 기능을 이용한다. 2 4 5 5 5
- 42. 42 4 인터뷰 결과 추출을 준비한다 대부분의 챗봇 저작툴들은 CS 대응을 목적으로 만들어졌으며, 단순 통계 화면만 보여주는 경향이 있다. 심층적인 분석을 위해서는 크로스 플랫폼 API를 연동해 사용자별 데이터를 확인한다. 2 5 5 5
- 43. 43 4 인터뷰 결과 추출을 준비한다 인터뷰 응답결과를 받을 구글 스프레드 시트를 만들고 데이터 속성을 순서대로 행에 기입한다. 크로스 플랫폼 API인 Flow XO를 활용해 Webhook&HTTP 블록과 구글 시트 블록을 추가하고 플로 우 상태를 on으로 바꾼다. 인터뷰 결과를 받고자 하는 단계에 Json API 플러그인을 추가한다. 2 5 5 5
- 44. 44 5 파일럿 인터뷰를 통해 대화를 최적화한다 대화 맥락에 벗어나는 응답을 받았을 때 플로우가 깨지는 것에 대비할 필요가 있다. 이 경우 Default Answer 블록 기능을 활용하여 이전 대화 블록으로 잇는다. 2 5 5
- 45. 45 5 파일럿 인터뷰를 통해 대화를 최적화한다 로직(분기점 관리), 표현(대화체), 인터랙션(대화의 자연스러움) 위주로 플로우를 확인하고 피드백을 정리한다. 2 5 5 “ “다시 입력하려고 하니 멈췄어요 • 로직의 경우
- 46. 46 5 파일럿 인터뷰를 통해 대화를 최적화한다 로직(분기점 관리), 표현(대화체), 인터랙션(대화의 자연스러움) 위주로 플로우를 확인하고 피드백을 정리한다. 2 5 5 “ “직업 선택지 중에 주부가 없어요 • 로직의 경우
- 47. 47 6 리서치를 진행한다 인터뷰 시작 및 진행방법을 포함한 가이드라인을 인터뷰이에게 제공한다 경험하는 순간을 포착하기 위해, 일정한 시간 간격으로 질문을 푸시한다 2 5
- 48. 48 FlowXO와 연동되어 있는 구글스프레드시트에서 객관식으로 받은 정보 위주로 기술 통계를 확인할 수 있 다 7 수집된 인터뷰 응답을 분석한다 2
- 49. 49 챗봇 인터뷰, 이렇게 설계하면 더 좋다! 마치며: 챗봇 인터뷰 TIP - 리서치 대상이나 인터뷰이가 highly engaged 할 때 적합하다. - 말풍선의 길이를 고려해 문장을 나누면 인터뷰이의 가독성을 높일 수 있다. - 대화의 단계 사이에 전환이 있음을 알려주어 인터뷰이의 혼란을 줄인다. - 응답자의 답변을 토대로 변수화한 후 다음 대화 반응에 넣으면 대화가 더 매끄러워진다. - 프로젝트 복사본을 만들어 테스트하면 수정사항을 본 프로젝트에 반영하기 편하다. 1 인터뷰 스크립트를 작성한다 2 스크립트를 로직화한다 3 저작툴에 말풍선을 입력한다 4 인터뷰 결과 추출을 준비한다 5 파일럿 인터뷰를 통해 대화를 최적화한다 6 챗봇인터뷰를 진행한다 7 인터뷰 결과를 분석한다 - 메신저 페이지 관리자에서 실시간 인터뷰 진행 상황을 볼 수 있다. - 자유형식으로 입력한 응답의 경우 메신저 화법의 특수성을 고려해 맥락과 뉘앙스를 파악한 다.
- 50. 50 T h a n k y o u
- 51. HCI-K 2017 TUTORIAL AI를 활용한 사용자 조사: 왓슨과 인터뷰 분석하기 HCI KOREA 2017 TUTORIAL 2017. 1. 1. Tue. @UX Lab 409 김민준, 김유정, 윤종묵
- 52. 52 질적 데이터 분석은 사금을 골라내는 일 아주 넓은 강가에 서서 일일이 사금을 골라내는 것과 인터뷰 분석 데이터에서 의미있는 결과를 도출하는 것은 본질적으로 다르지 않다 우리는 많은 양에 압도당하고, 반복적인 분류 작업에 지치고, 결과에 대해서는 의심당하기도 한다 망망대해 같은 인터뷰 데이터 속에서 분석을 해내는 것은 사금을 골라내는 작업 만큼이나 지난한 과정이다
- 53. 53 인공지능, 기성제품화 되다 전통적으로 질적 분석은 데이터를 늘어놓고 인간의 예리한 눈으로 하나씩 골라내는 작업 오랜 시간이 걸리고, 많은 노고가 필요하다 하지만 이제는 AI가 Off-the-shelf 서비스로 제공되는 시대 인터뷰 분석에 기계의 빠른 손을 빌려, 우리의 눈을 대체해본다 원두를 볶고, 커피를 고르고, 끓이는 과정의 패키지화 이제는 마트 선반에서 커피믹스를 손쉽게 고르고 꺼내 쓸 수 있다
- 54. 54 의도Intent를 읽어내는 Watson Conversation AI가 이제는 훈련을 통해 우리의 의도를 읽어낼 수 있다 Watson Conversation은 발화에 대해 숨겨진 의도를 훈련하면, 비슷한 의도를 가진 다른 말을 골라낼 수 있다 따라서, 왓슨으로 인터뷰를 분석하려면 ’의도가 담긴 사용자의 말’을 획득하는 게 필수적이다 발화 반응 뭐 좀 추천해줘! 숨겨진 의도(intent) “나 심심해” “뭐 할 거 없나?” “이거 다썼다” “살 거 있는데” 영화볼래? 놀이공원 갈래? 쇼핑하러 가야해! 마트에서 쇼핑할래? 백화점 둘러볼래? 왓슨에게 훈련(Training)시킨다
- 55. 55 의도Intent를 읽어내는 Watson Conversation AI가 이제는 훈련을 통해 우리의 의도를 읽어낼 수 있다 Watson Conversation은 발화에 대해 숨겨진 의도를 훈련하면, 비슷한 의도를 가진 다른 말을 골라낼 수 있다 따라서, 왓슨으로 인터뷰를 분석하려면 ’의도가 담긴 사용자의 말’을 획득하는 게 필수적이다 발화 반응 뭐 좀 추천해줘! 숨겨진 의도(intent) “나 심심해” “뭐 할 거 없나?” “이거 다썼다” “살 거 있는데” 영화볼래? 놀이공원 갈래? 쇼핑하러 가야해! 마트에서 쇼핑할래? 백화점 둘러볼래? “이제 뭐하지?” 분류 분류“나 필요한 거 있어”
- 56. 56 RECIPE 1 2 3 의도가 담긴 발화 수집하기 번역: 임시방편 트레이닝셋 — 오픈코딩 4 트레이닝셋 — 의도(intent) 도출/코딩 5 왓슨 트레이닝(Training) 6 왓슨 솎아주기 — On-The-Fly Adjusting 7 결과 분석
- 57. 57 1 의도가 담긴 발화 수집 분석에 용이한 표현을 수집하기 위해서는 의도가 잘 드러나야 한다 (인터뷰에서 질문을 이쪽으로 유도하는 것이 중요)
- 58. 58 2 번역: 임시방편 구글 번역기를 사용합니다 tip: 구글 번역기를 직접 이용하거나 구글 시트의 =GOOGLETRANSLATE() 함수 이용 쓸만하죠?
- 59. 59 3 트레이닝셋 — 오픈코딩 전체 코드의 10%만 코딩 하시면 됩니다 인텐트를 뽑기위한 중간 단계로서의 — 발화에 대한 ‘인수분해’ 인텐트를 바로 뽑을 수도 있지만, 오픈코딩 및 인수분해는 뒤의 과정을 원활하게 해줍니다 여러분의 인스타그램 #해쉬태그 실력을 마음껏 발휘해주세요
- 60. 60 4 트레이닝셋 — 의도(intent) 도출/코딩 인수분해한 것들 중 공통되는 것 묶어내기 1 의도 당 최소 5개 이상의 발화 포함 다다익선, but 편리함 — 성능 balancing 발화는 의도로 코딩 #오픈코딩 의도Intent
- 61. 61 5 왓슨 트레이닝Training 인터뷰 데이터를 [utterance,intent] 형식의 csv 파일로 만들어서 import
- 62. 62 6 왓슨 솎아주기 — On-The-Fly Adjusting 1 2
- 63. 63 6 왓슨이 “모르겠어요” 라고 하면 >> 다시 가르쳐주거나: “왓슨아, 그거 #context_aware야” >> 새롭게 가르쳐주거나: “새로 #summarize 인텐트를 만들어서 알려줘야겠다” 왓슨 솎아주기 — On-The-Fly Adjusting
- 64. 64 7 결과 분석 잘못 풀린 실제 텍스트 잘풀린 실제 텍스트 트레이닝 텍스트 “광고나 소음 지나치게 큰 음악소리 등을 알아서 걸러주고 듣고 싶은 소리만 명확하게 들을수 있게해주면 좋겠다" “TV로 카톡 내용을 보고싶어 "
- 65. 65 7 결과 분석 70개를 가지고 700개를 분석 센티멘트 분석 인텐트 코딩 컨피던스 분석
- 66. 66 7 결과 분석 n 수: 총 두번째로 많은 VOC “맞춤형”과 관련된 감정분석: 1위 - 기쁨 joy / 2위 - 슬픔 sad #맞춤형 의도 분류 대한 왓슨의 자신감: 67.62% 맞춤형에 대한 요구사항이 많구 나 아마도 맞춤형은 이렇게 되면 더 좋겠다는 것 때문에 기쁨의 감정도 있지만 동시에 맞춤이 안되는 상황이 부정적으로 나타나고 있는가보다 맞춤형에 대해서 말한 발화들은 대부분 누가 봐도 ‘그 의도’를 가진 말들인가보네. 그러면 굉장히 강하고 뚜렷한 요구사항일 가능성…
- 67. 67 RECIPE 1 2 3 의도가 담긴 발화 수집하기 번역: 임시방편 트레이닝셋 — 오픈코딩 4 트레이닝셋 — 의도(intent) 도출/코딩 5 왓슨 트레이닝(Training) 6 왓슨 솎아주기 — On-The-Fly Adjusting 7 결과 분석 - 인공지능이 잘하는 분석에 맞는 재료: 발화를 모아야한다 - confidence 값은 참고용: 낮다고 무조건 틀린 것은 아니다 높은 것들은 그만큼 ‘명확한 의 도’ - 왓슨 한글서비스까지… 구글 번역기를 쓴다 - 전체의 10% 정도, 인수분해! (6에서 조정) - 표면적인 코딩 보다는 행동과 의도를 파악 (광고가 싫다 vs. 스킵하기) - 인텐트는 서로 겹치지 않도록 - 최소 5개 이상; 다다익선 - 분석불가 예시에 대해 리뷰할 필 요 (빠진 코드가 있을 수 있음) - 유목별 중요도, 감정의 파악
- 68. HCI-K 2017 TUTORIAL THANK YOU 사용자경험 연구실 D-409, 145, Gwanggyo-ro, Suwon-si, Gyeonggi-do
- 69. 짧은 의심 후 긴 맹신 그 pivoting moment 재료 결과 본 레시피는 질적연구에서 인공지능 사용의 가능성을 점검해 본 탐색 연 구이다. 몇 가지 레슨은 다음과 같다. 1. 레시피는 ‘인간이 할 일’과 ‘인공 지능이 할 일’로 나뉘어져 있다. 인공 지능이 모든 걸 다 해결해 줄 수는 없다. 2. 인공지능을 쓴다는 건 기존의 도 구들을 쓰는 것과 크게 다르다. 과정 과 단계를 조절할 수 없는 대신, 좋 은 재료 넣기와 기계를 얼마나 돌릴 지만 할 수 있다. 3. 인공지능은 과정을 은닉(hidden) 한다. 과정에서 소외되면 사람은 결 과에 대해 판단하기 어렵다. 연구자 들은 짧은 의심 후 근거 없는 맹신의 상태에 들어가게 된다. hci연구자로 서 우리는 그 모멘트를 어떻게 디자 인 할 것인가? 출입금지 - Do not cross - 인공지능 - Do not cross - 출입금지 인공지능과의 협업이란 건…
- 70. ux.snu.ac.kr