<aside> 🌐 🔗 참조 기사 읽기
</aside>
1. 핵심 요약
- 링크드인은 차세대 추천 시스템 개발 시 프롬프트 엔지니어링 방식이 아닌, 소형 모델을 활용한 '다중 교사 증류(Multi-teacher Distillation)' 기법을 통해 정확성, 속도, 효율성을 극대화했습니다.
- 제품 정책 문서를 기반으로 70억 개 파라미터의 대규모 모델을 구축하고, 이를 반복적으로 증류하여 수억 개의 파라미터를 가진 교사 및 학생 모델을 최적화하는 방식을 사용했습니다.
- 이 과정에서 제품 관리팀과 머신러닝 엔지니어 간의 협업 방식이 변화했으며, 이는 링크드인의 모든 AI 제품 개발에 적용될 새로운 청사진이 될 것으로 기대됩니다.
2. 기사 상세 번역
링크드인의 AI 추천 시스템 리더십
링크드인은 15년 이상 AI 추천 시스템 개발을 선도해 왔습니다. 그러나 미래의 구직자들을 위한 차세대 추천 시스템을 구축하기 위해서는 완전히 새로운 기술이 필요했습니다. 회사는 최고 수준의 정확성, 지연 시간 및 효율성을 달성하기 위해 범용 모델을 넘어선 접근 방식을 모색해야 했습니다.
프롬프트 엔지니어링의 한계
“프롬프트 엔지니어링으로는 목표를 달성할 수 없다는 것을 알았습니다. 그래서 차세대 추천 시스템 개발 시 프롬프트 엔지니어링을 시도조차 하지 않았습니다.” 링크드인 제품 엔지니어링 부사장 에란 버거(Erran Berger)는 새로운 <a href="https://www.youtube.com/playlist?list=PLMQoSwszBxm5dCv2bdqGnJ0QAL9n7Ds4_">Beyond the Pilot</a> 팟캐스트에서 밝혔습니다.
다중 교사 증류 기법의 도입
대신 그의 팀은 초기 70억 개의 파라미터를 가진 대규모 모델을 미세 조정하기 위해 매우 상세한 제품 정책 문서를 개발했습니다. 이후 이 모델은 수억 개의 파라미터로 최적화된 추가적인 교사 및 학생 모델로 더욱 정제되었습니다. 이 기술은 이제 링크드인의 AI 제품 전반에 걸쳐 재사용 가능한 '레시피'로 자리 잡았습니다.
품질 향상에 대한 기대
버거 부사장은 “이 평가 프로세스를 전반적으로 채택하면 링크드인에서 수년간 경험하지 못했던 상당한 품질 향상을 이끌어낼 수 있을 것입니다.”라고 강조했습니다.
다중 교사 증류의 ‘돌파구’
버거 부사장과 그의 팀은 제품 정책을 정확하게 반영하면서 개별 구직 쿼리, 후보자 프로필 및 채용 공고를 실시간으로 해석할 수 있는 LLM(Large Language Model)을 구축하고자 했습니다.
제품 관리팀과 협력하여 엔지니어들은 채용 공고와 프로필 쌍을 “다양한 차원”에 걸쳐 평가하는 20~30페이지 분량의 문서를 작성했습니다. “이 문서를 수없이 반복적으로 수정했습니다.” 버거 부사장은 설명했습니다. 이 제품 정책 문서는 수천 개의 쿼리-프로필 쌍으로 구성된 “황금 데이터 세트”와 함께 ChatGPT에 입력되어 데이터 생성 및 실험을 진행했습니다. 모델은 점차 점수 쌍을 학습하고 더 큰 합성 데이터 세트를 생성하여 70억 개의 파라미터를 가진 교사 모델을 훈련했습니다.
그러나 버거 부사장은 제품 정책만으로 LLM을 프로덕션 환경에서 운영하는 것은 충분하지 않다고 지적합니다. “결국 이것은 추천 시스템이며, 클릭 예측 및 개인화 측면에서 어느 정도의 노력이 필요합니다.”
그래서 그의 팀은 초기 제품 정책 중심의 교사 모델을 사용하여 클릭 예측에 중점을 둔 두 번째 교사 모델을 개발했습니다. 이 두 모델을 활용하여 17억 개의 파라미터를 가진 모델을 추가로 증류하여 훈련 목적으로 사용했습니다. 최종 학생 모델은 “수많은 훈련 실행”을 거쳤으며 품질 손실을 최소화하기 위해 “모든 지점”에서 최적화되었습니다.
이러한 다중 교사 증류 기법을 통해 팀은 원래 제품 정책에 “많은 유사성”을 확보하고 클릭 예측을 “성공적으로 구현”할 수 있었습니다. 또한 학생 모델의 훈련 프로세스를 “모듈화 및 구성 요소화”할 수 있었습니다.
이는 두 가지 다른 교사 모델을 가진 챗 에이전트를 고려하는 것과 같습니다. 하나는 응답의 정확성에 대해 에이전트를 훈련하고, 다른 하나는 응답의 어조와 의사소통 방식에 대해 훈련합니다. 버거 부사장은 이 두 가지는 매우 다르지만 중요한 목표라고 설명합니다.
“이 두 가지를 혼합하면 더 나은 결과를 얻을 수 있으며, 독립적으로 반복할 수도 있습니다.” 그는 “이것이 우리에게 돌파구가 되었습니다.”라고 덧붙였습니다.
팀 협업 방식의 변화
버거 부사장은 제품 정책과 반복적인 평가 프로세스를 기반으로 하는 것이 얼마나 중요한지 강조했습니다.
“정말 좋은 제품 정책”을 수립하려면 제품 관리자의 전문 지식을 통합된 문서로 변환해야 합니다. 과거에는 제품 관리팀이 전략 및 사용자 경험에 집중하고 모델링 반복 접근 방식은 머신러닝 엔지니어에게 맡기는 경우가 많았습니다. 그러나 이제 두 팀은 협력하여 “미세 조정”하고 정렬된 교사 모델을 만들고 있습니다.
“제품 관리자와 머신러닝 엔지니어가 협력하는 방식은 이전과는 완전히 다릅니다.” 그는 “이제 이것이 링크드인의 모든 AI 제품에 대한 기본 청사진이 될 것입니다.”라고 말했습니다.
추가 정보
팟캐스트 전체 내용: <a href="https://www.youtube.com/watch?v=ErDS9TIQoWU">https://www.youtube.com/watch?v=ErDS9TIQoWU</a>
- 링크드인이 속도와 실제 결과를 시간 또는 몇 시간 단위로 얻을 수 있도록 R&D 프로세스의 모든 단계를 최적화하는 방법
- 팀이 유연성을 지원하기 위해 플러그 가능성 및 실험을 위한 파이프라인을 개발하고 다양한 모델을 시도해야 하는 이유
- 기존 엔지니어링 디버깅의 지속적인 중요성
팟캐스트 청취 및 구독: <a href="https://beyondthepilot.ubpages.com/">Beyond the Pilot</a>, <a href="https://open.spotify.com/episode/6JAkIlnPfmA0oT73P8KX5e">Spotify</a>, <a href="https://podcasts.apple.com/us/podcast/how-booking-com-built-ai-that-converts-millions-with/id1839285239?i=1000739492195">Apple</a>
3. 기술 용어 해설
- LLM (Large Language Model): 대규모 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 인공지능 모델입니다. ChatGPT, Gemini 등이 대표적인 LLM입니다.
- 프롬프트 엔지니어링 (Prompt Engineering): LLM에게 원하는 결과를 얻기 위해 특정 질문이나 지시(프롬프트)를 설계하고 최적화하는 기술입니다.
- 다중 교사 증류 (Multi-teacher Distillation): 여러 개의 '교사' 모델로부터 지식을 추출하여 하나의 '학생' 모델을 훈련시키는 기법입니다. 이를 통해 학생 모델은 교사 모델의 성능에 근접하면서도 더 작고 효율적으로 만들 수 있습니다.
- 파라미터 (Parameter): 머신러닝 모델의 학습 가능한 변수입니다. 파라미터의 수가 많을수록 모델의 복잡도가 증가하며, 더 많은 데이터를 필요로 합니다.
4. 수석 분석가의 Insight
링크드인의 이번 사례는 거대 모델 경쟁 속에서, 특정 목적에 최적화된 소형 모델이 더 효율적이고 실용적인 대안이 될 수 있음을 보여줍니다. 국내 IT 업계는 불필요한 거대 모델 투자를 지양하고, 제품 정책 기반의 데이터 정제 및 증류 기술에 집중하여 자체적인 경쟁력을 확보해야 할 것입니다. 특히, 제품 기획 단계부터 머신러닝 엔지니어와의 긴밀한 협업을 통해 모델 개발 방향을 설정하는 것이 중요합니다.
AI검색 기반 자료입니다. 중요한 정보인 경우 다시 확인해주세요.
댓글, 공감 버튼 한 번씩 누르고 가주시면 큰 힘이 됩니다