Morning, my hero. https://www.youtube.com/watch?v=RnjD-nhutK0

Wow you can check most of sessions at data summit. Thanks Databricks 🙂

모든 인생에는 과거가 물러나고 미래가 열리는 때가 있습니다. 미지의 세계로 눈을 돌리는 순간이 바로 그 순간입니다. 어떤 사람은 이미 알고 있는 것으로 돌아갈 것입니다. 어떤 이들은 불확실성 속으로 곧장 걸어 들어갈 것입니다. 어느 쪽이 옳다고 말할 수는 없습니다. 하지만 어느 쪽이 더 재밌는지는 말씀드릴 수 있습니다.
필 나이트 나이키 회장

박지웅 대표님

비전펀드를 만들고 150조원이 넘는 돈을 400여개가 넘는 AI 스타트업들에 투자했지만, 정작 Open AI는 놓치고 Nvidia도 너무 일찍 팔았으며 다수의 generative AI deal도 놓쳤다는 WSJ의 신랄한 비판 기사. 알리바바 투자 한 건 만으로도 세계 최고의 투자자 중에 한 명이라 충분히 여겨질 수 있을텐데, 또 생각해보면 스타트업 투자를 통해 2-3개 decade를 연속으로 흐름을 짚고 훌륭한 투자를 해낸다는게 얼마나 어렵고 (아마도 사실상 불가능할지도) 희귀한 일인지를 보여주는게 아닐까.

https://www.wsj.com/articles/he-spent-140-billion-on-ai-with-little-to-show-now-he-is-trying-again-dbcca17

https://ai.googleblog.com/2022/11/mixture-of-experts-with-expert-choice.html

Mixture of Expert, Architecture of GPT-4

Chat GPT에서 GPT-4를 쓰다보면 하나의 대화 창(Window)내에서 이전 대화의 맥락을 잘 기억하는 편인데요. 이것과 관련해서 어떤 방식의 Engineering을 활용하는지를 찾아봤는데요. Perplexity가 어느정도 답을 알려줬네요 ㅎㅎ 혹시 잘못된 정보 있으면 알려주셔요!
GPT-3의 후속 버전인 GPT-4는 프롬프트나 사용자 입력에 대한 응답을 생성할 때 더 넓은 범위의 토큰이나 단어를 처리하고 고려할 수 있도록 컨텍스트 창이 확장되었습니다. GPT-4에서는 컨텍스트 창이 8,000개의 토큰으로 확장되었으며, 일부 버전에서는 최대 32,000개의 토큰까지 확장되었습니다. 4,000토큰(약 3,000단어)으로 제한되었던 GPT-3에 비해 이렇게 큰 컨텍스트 창은 크게 개선되었습니다.
대화를 관리하고 컨텍스트를 유지하기 위해 GPT-4는 입력 및 출력에 채팅과 유사한 트랜스크립트 형식을 사용합니다. 이 형식은 다중 턴 대화를 위해 특별히 설계되었으며 채팅이 아닌 시나리오에서도 잘 작동할 수 있습니다. ChatGPT에서 GPT-4를 사용할 때는 사용자 프롬프트에 접두사와 접미사를 붙인 다음 연결된 전체 프롬프트가 처리될 가능성이 높습니다. 그러나 이 프로세스의 구체적인 엔지니어링 세부 사항은 공개적으로 공개되지 않았습니다.
=> 추측하건데 깃헙 코파일럿과 비슷한 방식을 사용하지 않았을까 싶네요.
긴 프롬프트를 관리하기 위해 GPT-4 개발자는 제로 샷 이론, 생각의 사슬 이론, 역할 프롬프트, 몇 번의 샷 프롬프트를 결합하여 효율적인 프롬프트를 만드는 크로노스 방법과 같은 다양한 프롬프트 엔지니어링 기법을 사용할 수 있습니다.
또 다른 접근 방식은 시스템 프롬프트 엔지니어링으로, 개인화된 경험을 만들기 위해 챗봇의 행동과 응답을 안내하는 지침을 설계하고 개선하는 것입니다. .
요약하면, GPT-4는 더 큰 컨텍스트 창을 통해 대화의 컨텍스트를 보다 효과적으로 유지할 수 있습니다. 정확한 엔지니어링 세부 사항은 공개되지 않았지만, GPT-4는 긴 프롬프트를 관리하고 대화의 컨텍스트를 유지하기 위해 접두사 및 접미사 연결과 고급 프롬프트 엔지니어링 기법을 조합하여 사용할 가능성이 높습니다.
참고 Copilot이 개인화된 경험을 주는 방식
프롬프트의 ‘접두사‘에는 여러 가지 측면이 포함됩니다:
프로젝트의 다른 파일에서 가져온 코드 섹션으로, 모델에 더 넓은 코드베이스에 대한 컨텍스트를 제공하며, “# codeviz\predictions.py:“라는 줄과 그 뒤에 오는 줄로 표시됩니다.
커서 위치까지 현재 편집한 파일의 상당 부분 블록입니다.
“접미사“에는 다음이 포함됩니다:
현재 파일에서 커서 위치 뒤에 오는 코드입니다.
접두사와 접미사가 모두 포함된 이 프롬프트는 코덱스와 유사한 모델로 전송되어 코드를 완성하기 위한 제안을 생성합니다.
이는 모델이 주어진 접두사와 접미사 사이에 프롬프트를 완성하려고 시도하는 중간 채우기(FIM) 모드를 반영한 것입니다. ‘접미사‘가 비어 있으면 모델은 ‘접두사’만 고려하는 표준 자동 완성 모드로 작동합니다.
따라서 접두사와 접미사는 더 넓은 프로젝트, 현재 파일 및 현재 코딩 작업에 대한 풍부한 컨텍스트 정보를 제공하여 모델이 관련성 있고 유용한 코드 제안을 생성하는 데 도움이 됩니다.

A hilarious fact of corporate life is that your odds of getting promoted will be higher if you strategically escalate multiple times to your senior management while delivering your team’s goals than if you manage to deliver the very same goals without ever escalating.

Visibility matters. So does senior management’s perception that they personally helped with this difficult project. Vanity trumps wisdom. 😭

It's a challenging reality. How can we foster a high degree of meritocracy within our organization?

이 백서에서는 생의학 이미지에 대한 개방형 연구 질문에 답할 수 있는 비전 언어 대화 도우미를 훈련하기 위한 비용 효율적인 접근 방식을 제안합니다. 핵심 아이디어는 PubMed Central에서 추출한 대규모의 광범위한 생의학 그림 캡션 데이터 세트를 활용하고, GPT-4를 사용하여 캡션의 개방형 명령어 데이터를 자가 학습한 다음, 새로운 커리큘럼 학습 방법을 사용하여 대규모 일반 도메인 비전 언어 모델을 미세 조정하는 것입니다. 구체적으로 이 모델은 먼저 그림-캡션 쌍을 그대로 사용하여 생물의학 어휘를 정렬하는 방법을 학습한 다음, 일반인이 생물의학 지식을 점진적으로 습득하는 방식을 광범위하게 모방하여 GPT-4에서 생성된 지시-추종 데이터를 사용하여 개방형 대화 의미를 마스터하는 방법을 학습합니다. 이를 통해 바이오의학을 위한 대규모 언어 및 비전 어시스턴트(LLaVA-Med)를 15시간 이내에 훈련할 수 있습니다(8개의 A100 사용). LLaVA-Med는 뛰어난 멀티모달 대화 능력을 보여주며 개방형 지시에 따라 생물의학 이미지에 대한 문의를 지원할 수 있습니다. 세 가지 표준 생의학 시각적 질문 답변 데이터 세트에서 LLaVA-Med는 특정 지표에서 이전의 감독형 최첨단 기술보다 뛰어난 성능을 보였습니다. 유니티는 생물의학 멀티모달 연구를 촉진하기 위해 지침에 따른 데이터와 LLaVA-Med 모델을 공개할 예정입니다.

https://arxiv.org/abs/2306.00890

Altimeter Capital의 Vivek Goyal이 보고 있는 미래의 AI 서비스들: Personal Assistant, Digital companion, Therapy / coaching, Research Assistant, Personalized education, Content generation, Travel companion

https://medium.com/@goyalv89/ai-agents-next-frontier-to-access-the-web-482ff25f7062

디스커버리형 커머스 (핀둬둬, 바이트댄스) 또한 AI가 만들어낸 작품인데, 이 시대에서는 어떤 통용되는 BM이 등장할 것인가. 참고로 이 글은 2020년도 글.

https://medium.com/@goyalv89/browsing-e-commerce-an-untapped-250b-opportunity-d793e8556f86

Maybe this ideal could be achieved within few years.

⭐️ 프로덕트보다 잘 팔리는 팀? 비캔 김우진 대표님의 3년차 비법

오늘은 #비즈니스캔버스 의 세번째 생일이다.
처음 김우진님을 만났을 때, 몸이 5개인듯 열정적인 모습은 멋있었지만, 과연 저런 방식이 지속가능할꺄?라는 생각이 들었다. 그러나 1년 전의 지금 그리고 3년 전의 모습이 똑같다. 비캔의 생일을 맞아 우진님을 포함한 우리 팀의 에너제틱한 태도가 지속가능한 이유를 생각해봤다.

1) 작은 일에도 쉽게 설레하고 기뻐함😆
최근 우리 팀에 합류한 사람은 우리 팀의 슬랙에 이모지와 느낌표가 과도하다고 말하는데 그만큼 작은 성취와 발견에도 소녀처럼 함께 기뻐하고 즐거워한다.

2) 안 되는 거에는 쉽게 슬퍼하지 않음🧐
사실 기존의 제품을 피봇하고 새로운 제품을 만드는 결정은 보통 무겁고 암울한 과정이지만 비캔에서 기존 제품의 문제점을 분석하고 새로운 제품을 0에서부터 아이데이션하는 과정은 흥미진진했다. 안 되는 건 빠르게 인정하고 '될 거'에 집중했다.

3) 몰랐던 것을 새롭게 알게 되는 거에 전혀 부끄러워하지 않음 🥸
시장에서 이름이 알려지고, 내부에서도 대표라는 직책을 갖고 있지만 우진님은 몰랐던 사실을 알게 되는 것에 대해 전혀 거리낌이 없다. '몰랐던' 것이 아니라 새로운 걸 '배웠다는' 것에 대해 진심으로 즐거워한다.

스타트업을 고객으로 만나며 좋은 제품이 있지만, 팀 빌딩을 어려워하는 팀이 많다는 사실이 신기했다. 보통 반대일 거라고 생각했다. 하지만 비캔은 팀 자체가 타입드, 타입드 파이낸스, 리캐치와 함께 잘 팔리는 하나의 프로덕트처럼 느껴진다. 이렇게 비캔의 팀이 특별한 이유는 민승님이 주도하시는 비캔의 팀 컬쳐 덕분인 것 같다!