국내 생성형 AI 스타트업인 뤼튼테크놀로지스(이하 뤼튼)는 지난해 오픈AI의 GPT 시리즈, 네이버의 하이퍼클로바, 구글의 PaLM2 등 국내외 거대언어모델(LLM) 5종을 10가지 평가지표로 평가하는 연구를 진행했다. 최근 유행하는 마이어스-브릭스 성격유형검사(MBTI)처럼 인공지능(AI) 모델의 명확성, 공감능력, 정중함, 일관성 등을 평가한 것이
인공지능은 인간 노동자를 돕게 될까요, 아니면 대체하게 될까요. AI로 인해 새로운 직업이 생기기도 했고, AI와 인간의 경쟁이 촉발되기도 했습니다. 이미 시작된 노동시장의 '지각변동'을 심층취재했습니다."쉽게 말해 GPT-4는 똑똑하지만 덜 예쁘게 말하고, 클로드 2는 덜 똑똑하더라도 예쁘게 말합니다. 두 가지 인공지능 모델을 조합하면, 똑똑하고 말도 예쁘게 하는 모델이 탄생하는 것이죠."국내 생성형 AI 스타트업인 뤼튼테크놀로지스는 지난해 오픈AI의 GPT 시리즈, 네이버의 하이퍼클로바, 구글의 PaLM2 등 국내외 거대언어모델 5종을 10가지 평가지표로 평가하는 연구를 진행했다. 최근 유행하는 마이어스-브릭스 성격유형검사처럼 인공지능 모델의 명확성, 공감능력, 정중함, 일관성 등을 평가한 것이다. 그 결과 GPT-4는 적절성과 대화 참여도에서 높은 성능을 보였고, 하이퍼클로바는 완결성이 더 뛰어난 것으로 나타났다.
법률과 기술을 융합한 리걸테크 스타트업 BHSN의 이성진, 김윤기 AI 엔지니어는 법률에 특화한 도메인 프롬프트 엔지니어다. 이 엔지니어는"간단히 말해 초·중·고교를 졸업해 기반 지식만 있는 AI를 법학전문대학원에 보내고 실무 지식까지 교육시키는 역할을 한다"고 비유했다. BHSN의 AI 모델은 판례, 법령, 행정규칙 등 다양한 법률 데이터를 학습해 법률 특화 언어 이해력이 높고 정확한 답변을 생성한다."데이터만 학습시킨다고 끝나는 게 아니라, 프리 트레이닝과 파인 튜닝 과정까지 거쳐야 한다"면서"이젠 이런 과정을 직접 겪어보고 해당 AI 모델을 제일 잘 이해하면서 성능까지 평가할 수 있어야 전문가"라고 강조했다. 김 엔지니어는"AI 모델 학습 과정에서 사내 법률가들과 협업했을 뿐 아니라, 직접 법제처나 공정거래위원회 등이 공개한 공공 법률 데이터들을 습득하려고 노력했다"고 덧붙였다.
일각에선 AI 모델이 발전할수록 프롬프트 엔지니어링 기술의 중요성이 낮아진다는 주장이 나온다. 이들은 그러나 동의하지 않는다고 했다. 김 엔지니어는"AI 성능이 아무리 고도화해도, AI가 무슨 일을 할지 정의하는 사람은 결국 프롬프트 엔지니어"라고 말했다. 이 엔지니어도"이제는 AI 정확도가 아무리 높아도 수익화로 직결되지 않으면 가치를 인정받기 어려워졌다"면서