벌써 몇 년 전 일이다. NCSL 연구실 후배의 결혼식을 계기로 연구실 사람들이 예식장에 모였다. 후배의 결혼식이 끝난 후 지도교수님과 나눴던 이야기 중에 꼬리가 길어져 지금까지도 머릿속 한 편에 붙잡힌 주제가 있다.

결국 지금 일을 계속했을 때의 목표와 비전이 뭔가? 라는 질문을 받았다. 앞으로 올 것으로 생각하는 시대에 “machine-driven science” 시대라는 이름을 붙이고 설명해 보았다.

그 때는 미래에 대한 생각이었지만, 2023년엔 그 미래가 이제 눈앞까지 왔다.

실용인공지능학회에서 감사하게도 평소에 이야기할 기회가 별로 없는 주제를 꺼낼 수 있는 시간을 만들어주셨다. 내일 오전 키노트를 준비하는 중 오래된 기억과 생각이 몰려와 잠시 적어둔다.

*

기술 주도의 과학 발전 시대
The era of technology-driven science

이 강연에서는 과학의 발전이 더 이상 인간의 손으로만 이루어지지 않는 시대의 도래에 대해 이야기합니다. 인류는 19세기, 20세기를 지나며 과학의 발전과 함께 놀라운 업적을 달성했습니다. 20세기에는 석탄에서 전기로의 에너지 전환, 증기기관에서 로켓으로 이어진 운송 수단의 변화 등 동역학 분야의 혁신이 있었습니다. 동시에 인류는 눈에 보이지 않는 미디움을 구축했습니다. 전신, 컴퓨터, 네트워크로 이어지는 정보 체계의 진화는 20세기 및 21세기 초를 통틀어 일어난 거대한 변화를 이끌었습니다. 이제 우리는 정보 처리 분야의 혁신이 딥 러닝을 통해 정보 생성 분야로 이어지는 시점에 와 있습니다. 인간은 상상하고 상상을 통해 학습하는 능력이 있습니다. 딥러닝의 진화와 합성 데이터 및 언어 모델의 거대화가 어떻게 상호 연결되어 새로운 과학적 방법론의 시대를 만들어내는지 살펴봅시다.

#AAiCON

구글, 제미니 'Gemini 1.0' 정식발표 (자료: Google Blog)

- 순다르 피차이 CEO, 여러 주요 벤치마크에서 최첨단 성능 달성한 Gemini에 대해 자신. 올해 초 Google Brain + DeepMind가 합작해서 만든 첫 LLM

- 알파고의 주역 데미스 허사비스가 주도. 텍스트, 멀티모달 벤치마크 여러 부문에서 GPT-4를 능가 (실제 성능은 조금 더 봐야 할 것으로 예상)

제미니 모델은 총 3가지
- Gemini Ultra : 최고 성능을 위한 가장 크고, 뛰어난 모델
- Gemini Pro : 광범위한 작업에 확장 가능한 모델
- Gemini Nano : 온디바이스 AI 작업을 위한 가장 효율적 모델

- 오늘부터 Bard는 Gemini Pro 모델을 사용할 것, 또한 구글 픽셀 8 프로 제품에서 Gemini Nano 실행하도록 할 것. 향후 검색/광고/크롬/듀엣AI 등 더 많은 제품에 배포할 예정 PaLM을 대체하는 것

- 12월 13일부터 개발자/기업고객은 Google Vertex AI (=자신만의 AI 구축하는 서비스)를 통해 Gemini Pro 사용 가능

- 가장 뛰어나고 큰 버전인 Gemini Ultra는 내년 초 출시하기 전에 선택된 고객과 파트너에게 초기 실험용으로 배포할 것. 또한 내년 초 Ultra 탑재한 'Bard Advanced'도 출시할 예정

Gemini is finally out. Its technical report, while 60 pages long, is light in details. I did a quick read-through and here's the summary.

1. Gemini was written in Jax and trained using TPUs. The architecture, while not explained in details, seems similar to that of DeepMind's Flamigo, with separate text encoder and vision encoder.

2. Gemini Pro's performance is similar to GPT-3.5 and Gemini Ultra is reported to be better than GPT-4. Nano-1 (1.8B params) and Nano-2 (3.25B params) are designed to run on-device.

3. 32K context length.

4. Very good at understanding vision and speech.

5. Coding ability: the big jump in HumanEval compared to GPT-4 (74.4% vs. 67%), if true, is awesome. However, the Natural2Code benchmark (no leakage on the Internet) shows a much smaller gap (74.9% vs. 73.9%).

6. On MMLU: using COT to show that Gemini is better than GPT-4 seems forced. In 5-shot setting, GPT-4 is better (86.4% vs. 83.7%).

7. No information at all on the training data, other than they ensured "all data enrichment workers are paid at least a local living wage."

https://youtu.be/v5tRc_5-8G4

처음엔 혼자서 서칭하는 것들을 물어보는 대상에서, 토론하는 대상에서 어느정도 결정까지 위임할 수 있는 대상까지 우리는 컴퓨터와 일하는 방식이 변하는 시점에 있다.

Influence

Reciprocity: This principle is based on the idea that people feel obligated to return a favor when something is given to them. For example, if a company offers a free sample of their product, customers may feel inclined to make a purchase in return.

Commitment and Consistency: People tend to honor their commitments, especially if they are consistent with their values and beliefs. For instance, if a person publicly commits to a goal, they are more likely to follow through with it to maintain consistency.

Social Proof: People often look to the actions and behaviors of others to determine their own. This is why testimonials and reviews are powerful marketing tools. If a product is highly rated by others, potential customers are more likely to purchase it.

Authority: People tend to follow the lead of credible, knowledgeable experts. This is why companies often use celebrities or experts in their field to endorse their products.

Liking: People are more likely to be persuaded by people they like. This can be influenced by physical attractiveness, similarity, compliments, and cooperative efforts. For example, salespeople often try to build rapport with their customers to increase their likability.

Scarcity: People value items more when they are scarce. Marketers often use this principle by creating a sense of urgency around a product or service, such as a limited-time offer.

The $41 million funding raise is across the seed and Series A financing rounds. Lightspeed led the Series A round and co-led the seed with Peak XV Partners. Peak XV and Khosla Ventures also participated in the Series A funding.

The Bengaluru-headquartered startup is building large language models with support for Indian languages, Sarvam AI’s founder Vivek Raghavan told TechCrunch. The startup is also creating a platform that will allow businesses to build with LLMs — “everything from writing an app, deploying it to popular channels, observing logs, and custom evaluation,” he said.

Sarvam AI, which currently employs about 18 employees, is also focusing on building LLMs that use voice as the default interface in India. This strategy, combined with its emphasis on supporting local languages, aims to cater specifically to the Indian market’s requirements.

“This requires us to change the architecture of existing open models and to train them in custom ways to teach the new language. The advantage is that the resultant models are more efficient (in terms of tokens consumed) for understanding and generating Indian language than any of the existing LLMs,” said Raghavan.

AMD, 엔비디아의 GPU ‘H100’ 뛰어넘는 ‘MI300’ 칩 공개
- 리사 수 AMD CEO는 “AI 훈련 능력은 H100과 동일하며, 추론에서는 훨씬 뛰어나다”라고 발언
- 메타, MS, OpenAI 등이 구매 계약을 하는 등 시장 확장 중이지만, 엔비디아의 독점을 막을 수 있을지는 회의적

생성 AI 파운데이션 모델 구축하는 스타트업 Liquid AI, 약 $37M 규모의 투자 유치
- 새로운 모델 아키텍처인 액체 신경망(LNN, Liquid Neural Network)을 기반으로 모델 구축
- 뉴런의 동작 방정식을 고정하지 않고 액체처럼 변경할 수 있어, 변동성이 크거나 연속적인 데이터 처리에 특화

맞아 죽어도 글로벌에서 죽겠다. 🔥

https://youtu.be/mSCVbUeY55Y?si=GREjId_LW2CpfEDr

<실패에서 배울 수 있는 사람이 ‘찐’입니다!>
1. 우리는 신문과 잡지를 통해 비즈니스 세계를 배운다. 또, 대부분의 사람들은 손님이 많은 식당을 찾아가고, 가장 인기 있는 영화를 보려고 한다.
2. 이렇듯, 우리는 성공한 사례를 주로 경험하게 되는데, 문제는 여기서 야기된다. 신문과 잡지는 10억 달러에 매각된 스타트업에는 많은 지면을 할애하지만, 비슷하게 시작했으나 파산의 나락으로 떨어진 수백 개의 스타트업에 대해선 거의 다루지 않는다.
3. 또 붐비는 피자집을 찾아가는 길에 텅 빈 식당 옆을 지나가면서도 그 식당에는 눈길조차 주지 않는다.
4. 이렇듯, 우리는 성공한 것에 주목하도록 길들어진 탓에, 실패한 것은 무시해버린다. 성공한 것을 주로 접촉하고, 그런 왜곡된 경험으로는 성공에 편향된 추정을 할 수밖에 없다. 그렇게 우리의 예측은 틀리는 경우가 많다.
5. 반면에, (진짜) 성공한 사람들은 실패에 대한 정보를 구하는 데 많은 시간을 할애한다. 그들은 신문의 비즈니스란에서 파산한 기업에 대한 기사를 찾아 읽는다. 또, 승진에 실패한 동료들과 점심 식사를 함께 하며, 그들에게 무엇이 잘못되었다고 생각하는지 묻는다.
6. 또한, 연례 평가에서 칭찬만이 아니라, 비판까지 요구한다. 그리고 자신의 소망만큼 많은 돈을 저축하지 못한 이유를 알아내기 위해 신용카드 명세서를 면밀히 살핀다.
7. 퇴근길에는 업무 중 저지른 사소한 실수들을 잊으려 애쓰지 않고 오히려 그런 실수들을 하나씩 짚어 가며 반성의 시간을 갖는다. 또, 어떤 결정이 괜찮은 효과를 거두지 못했다면, 그 이유가 무엇인지 탐구하고, 회의 시간에 더 간결하게 발언할 수는 없었을까를 반성하는 시간도 가진다.
8. 우리는 낙관적으로 생각하며 자신의 잘못이나 타인의 작은 실수를 잊으려는 성향을 띤다. 하지만 올바른 예측을 해내려면 현실에 기반을 두고 추정해야 하며, 추정은 경험에 크게 영향을 받는다.
9. (즉) 좋은 것에만 관심을 기울인다면, 자신의 예측력을 스스로 떨어뜨리는 셈이다.
10. ‘적정한 판단력 향상을 위한 프로젝트’에 참여한 버클리 대학교의 돈 무어 교수는 다음과 같은 의외의 말을 한 적이 있다. “최고의 기업가는 성공한 사람들의 이야기만 들을 때 발생하는 위험을 잘 알고 있습니다. 그래서 최고의 기업가들은 대부분의 사람들이 의식적으로 피하려고 하는 사람들, 그러니까 실패를 경험했거나 그 과정에서 불만을 늘어놓는 사람들과 어울리며 시간을 보내는 편입니다”
11. (다시 말해) 더 나은 결정을 내리는 방법을 터득하는 중요한 비결 중 하나는 경험을 골고루 쌓는 것이다. (특히) 올바른 선택을 하려면 미래를 잘 예측해야 하며, 미래를 잘 예측하려면 성공한 사례만이 아니라, 실패한 사례까지 최대한 많이 듣고 봐야 한다.
12. 항상 만원인 영화관만 다니는 것이 아니라, 텅 빈 영화관에도 앉아 보아야 어떤 영화가 수익을 올리는지 더 잘 알 수 있고, 훌륭한 비즈니스 감각을 키우려면 성공한 동료하고만 지내지 말고, 실패를 경험한 동료들과도 함께 시간을 보내야 한다.
13. 물론 성공에 눈길이 더 쉽게 가기 마련이기 때문에 이는 어려운 주문이기도 하다. 실패한 친구에게 실례되는 질문을 피하고 싶은 게 인지상정이기도 하고.
14. 하지만 기준율을 적절하게 측정하려면 성공한 사람만이 아니라, 실패한 사람에게도 배워야 한다.
15. 그리고 이러한 노력을 통해 얻은 통찰력과 지혜를 최대한 활용해야 조금이라도 미래를 더 잘 예측할 수 있고, 상대적으로 더 많은 가능성을 생각할 수 있게 된다.
- 찰스 두히그, <1등의 습관> 중

https://youtu.be/uU3_lJUGono?si=e1IugXZCBQI3GDO1

They are cool!

[에어비앤비의 변화]
1) 의사 결정 과정을 위임했더니, 속도가 더 느려졌습니다.
2) 수천개의 AB테스트 대신, 1년에 두번 크게 런칭하는 것에 집중합니다.

Lenny와 진행한 에어비앤비 창업자의 인터뷰에서 좋은 내용이 많아 요약해 보았습니다.

[에어비앤비가 겪었던 문제]
- 조직이 커지면서, 팀들은 각 팀에게 오너십을 달라고 요청했다.
- 각 팀에게 의사결정권을 위임했더니, 오히려 프로덕트 런칭 속도가 느려졌다. 방향성을 결정하는 데 혼란이 있었기 때문이다.
- 이 영향으로 2015년부터 2020년까지 에어비앤비 프로덕트가 크게 바뀌지 못했다.

[문제를 겪으면서 갖게된 생각]
- 팀원들은 명확한 방향성을 원한다. CEO가 리더십을 가지고 프로덕트를 이끌어야 한다. 모두가 같은 방향을 바라볼 수 있도록 만드는 것이 가장 중요하다.
- 매니저의 가장 중요한 역할은 자신의 분야에서 중요한 결정을 내리는 것이다. 사람들을 관리하는 건 두번째로 중요한 역할이다. 실무를 못하면서 조직 구성원을 제대로 관리하는 건 불가능하다.
- 데이터를 보는 것이 중요하지만, 이해하지 못하는 데이터는 시체다. 결과를 이해하지 못하는 AB 테스트는 잘못된 방향으로 이끌 수 있다.
- 엔지니어와 마케터의 관계가 가까워야 한다. 엔지니어는 쉐프이고, 마케터는 웨이터다. 둘이 친하지 않으면 손님에게 최고의 경험을 줄 수 없다.

[변화]
- 관리자 직급을 크게 줄였다 (현재 직원은 7,000명, 기업가치는 100조)
- 진행하는 프로젝트를 크게 줄였다.
- 수천개의 AB 테스트 대신, 1년에 두번 크게 런칭 하는 것에 집중한다.
- CEO는 런칭의 모든 디테일에 참여한다.

From 전경석님 Unsexy Business

지난주 뉴욕에서 데이비드 루벤스타인 칼라일 창업자를 만났다. 데이비드는 많은 창업가와 투자자와의 대담 시리즈로도 잘 알려져 있는데, 세계경제포럼에서 좋은 기회를 만들어주어서 직접 뵐 수 있었다. 외부에 공유하기 어려운 내용은 제외하고, 성공적인 창업가에 대한 관점과 칼라일 창업 초기에 대한 이야기만 따로 메모해 둔다.
"성공적인 창업가는 결국 추진력 있는 CEO이면서도, 무엇을 모르는지 잘 모르는 사람이라는 공통점이 있다고 생각합니다. 위대한 기업을 만드는 창업자 중에 20대 혹은 30대가 많은 이유는, 그들이 뭘 모르기 때문에 할 수 없다고 생각하지 않기 때문입니다."
"사모펀드 대부분이 뉴욕에서 시작한 것과 다르게 칼라일을 워싱턴 DC에서 창업한 이유는, 투자은행 경력이 없었기 때문에 뉴욕에서 창업을 시도할 신용도 없었지만, “도시에서 쫓겨날 때, 앞장서서 행진하는 것처럼 행동”하기 위해서였습니다. 제가 처한 상황(지미 카터 대통령이 연임에 실패하면서, 백악관에 몸담고 있던 경력이 끝난 것)을 이용했던 거죠. 뉴욕에 있는 사모펀드와 다르게 연방정부가 어떻게 돌아가는지 잘 알고 있는 것이 내 자산이었습니다."
"나아가 회사를 성장시키는 과정에서 가장 중요한 세 가지 자질을 꼽자면 1) 어디로 가는지 명확히 아는 것, 2) 그것을 사람들에게 효과적으로 설득할 수 있는 것, 그리고 가장 중요한 것으로 3) 솔선수범입니다."