한중일 출신이 구글에서 왜 인도 출신에 비해 리더십 수가 왜 적은가? https://youtu.be/auSJeTzzuEE Sunghyun Hwang 🙏
1. 권위에 대한 존중
- 고전적인 동양 문화에서는 개인적인 가치보다는 사회나 집단의 기대에 부응하는 것이 중요하게 여겨집니다. 이로 인해, 사람들은 자신만의 독특한 가치나 목표를 세우는 대신, 누군가가 제시한 목표를 따르는 경향이 있습니다.
- 이런 접근법은 우리가 부여받은 업무를 잘 수행하는 데에는 효과적일 수 있지만, 이를 통해 리더십을 발휘하거나 전략적인 결정을 내리는 능력을 발전시키는 데에는 한계가 있을 수 있습니다.
2. 관계 구축
- 사람들이 타인을 평가할 때 두 가지 요소, 즉 따뜻함과 능력을 중요하게 여깁니다.
- 하지만 동양 문화에서는 감정을 내보이는 것이 부적절하다고 여겨질 때가 많아, 이로 인해 따뜻한 인상을 주기 어려울 수 있습니다. 이러한 문화적 배경 때문에, 적대적이거나 친밀감을 형성하는데 어려움을 겪는 경우가 있을 수 있습니다.
3. 취약점을 보여주는 용기
- 취약점을 보여주는 것은 상대방에 대한 신뢰의 표현이지만, 동양 문화에서는 이를 약점으로 보는 경우가 많습니다.
- 실패에 대한 공포와 체면을 유지하려는 문화가 이러한 취약점을 공개하고, 이를 통해 배우려는 시도를 억제할 수 있습니다.
현대 세상에서는 꿈만 크게 꾸면 방법은 이미 다 나와있습니다. 따라서, 우리 스스로의 가치를 찾아내고, 따뜻하고 능력있는 사람으로 인식되며, 취약점을 공유하고 그것을 통해 배울 수 있는 용기를 가지는 것이 중요합니다. 이러한 능력은 오늘날의 글로벌 환경에서 우리의 성장과 발전을 위해 필수적입니다.

AGI house session deck: small developer(Baby AGI) https://docs.google.com/presentation/d/1d5N3YqjSJwhioFT-edmyjxGsPBCMb1uZg0Zs5Ju673k/edit#slide=id.g254e571859c_0_192

Interesting neural science book, Brain and Behavior: A Cognitive Neuroscience Perspective http://amazon.com/dp/0195377680/ref=cm_sw_r_as_gl_api_gl_i_CGDWM54CK5QGT4C9TQ7M?linkCode=ml1&tag=swyx0d-20

Andrej on AGI house’ event
https://twitter.com/swyx/status/1672686090589990912?s=20

Andrej Karpathy @ AGI House today: hackers and startups outcompete OpenAI when applying OpenAI models to new capabilities.

“If a paper comes out that proposes some different way of training a transformer, the OpenAI Slack is something along the lines of, ‘Oh, yeah, someone tried that 2.5 years ago and here’s what happened, and here’s why it didn’t work. It’s very well understood and mapped out.

But when a new agent paper comes out, we’re all interested and we look at it, and we’re like, ‘That’s really cool, that’s novel.’ And that’s because a team didn’t have five years to spend on it. And it’s competing now with all of you, the entrepreneurs and the hackers. And that’s hard to do. So I hope it’s really inspiring that you are at the edge of capability.”

이번 주말 AI 해커톤에서 얻은 핵심 내용 요약: 1) AGI를 대중에게 전달하는 형식으로 에이전트에 대한 낙관적 전망 2) 다음 도약을 위해 신경과학에서 영감 구하기

의견 #1: - 대형 기업이 진정한 우위를 점하는 모델 트레이닝과 달리 에이전트 설계는 보다 민주적이며 스타트업이 진정한 기회를 잡을 수 있다 - 신경과학에서 얻은 영감이 현장에서의 다음 혁신을 주도할 가능성이 높다. 잘 표현된 부분(예: 해마, 시각, 청각 피질)도 있지만 그렇지 않은 부분(예: 모델의 기저핵 기능이 약함(실행 기능/감정))도 있습니다.
- 영감: 데이비드 이글먼의 뇌와 행동

#2: AGI는 여러 명의 작은 에이전트가 서로 대화하는 형태가 될 것입니다. 특정 에이전트의 책임은 좁아질 것이므로 전문화하세요.

#3: 에이전트에 대해 다소 비관적이며, 현재 실제 업무에 에이전트를 사용하는 사람은 아무도 없다고 생각합니다. 핵심 질문: 에이전트를 실제로 유용하게 만들려면 어떻게 해야 할까요? 에이전트 설계를 위해 인간의 뇌에서 영감을 얻음

#4: 에이전트의 ‘유용성’은 과대평가되어 있습니다. 미친 과학자 입장에서 에이전트를 생각해 보세요. 상담원이 “미친 짓 X”를 할 수 있다면 어떨까요? 스스로 조직화되는 에이전트에 대한 호기심(예: 소프트웨어가 스스로 계약을 협상하는 것)

https://twitter.com/apoorv03/status/1672748865064415236

Greg Kogan VP of marketing at Pinecone.

Check his blog, gkogan.co/blog/

If you would like to run a new kind of media in the world, consider to leverage the Twitter.

https://twitter.com/MarioNawfal/status/1672828857445916672

There’s an old saying in poker: “If you can't spot the fish at the table, you are the fish.” Same is true of propaganda. If you can’t spot it, you’re the one getting propagandized.

https://twitter.com/DavidSacks/status/1672841786019172352?s=20

"Be it resolved, AI research and development poses an existential threat."
On the YES side: Yoshua Bengio & Max Tegmark
On the NO side: Melanie Mitchell & me.

https://lnkd.in/g7c6PVVt

Hyena Hierarchy: Towards Larger Convolutional Language Models
https://arxiv.org/pdf/2302.10866.pdf

The authors propose a new architecture called Hyena Hierarchy, which aims to improve the performance of convolutional transformers by leveraging hierarchical representations and multi-scale processing1.The Hyena Hierarchy architecture is designed to address the limitations of existing convolutional transformers, such as the inability to scale efficiently to larger models and the lack of support for hierarchical representations1. By incorporating these features, the authors demonstrate that the Hyena Hierarchy model can achieve state-of-the-art performance on various benchmark datasets, including ImageNet-1K and ImageNet-21K1.

The paper highlights the potential of larger convolutional transformers in deep learning applications, particularly in the areas of computer vision and natural language processing. The Hyena Hierarchy architecture offers a promising direction for future research and development in this field1.

The Secret Sauce behind 100K context window in LLMs: all tricks in one place
https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c

The article provides an overview of techniques to speed up training and inference of Large Language Models (LLMs) to use large context windows of up to 100,000 input tokens during training and inference. Some of the techniques mentioned in the article include ALiBi positional embedding, Sparse Attention, FlashAttention, Multi-Query attention, Conditional computation, and the use of 80GB A100 GPUs1.

The article discusses recent announcements about new LLMs that can consume extremely large context windows, such as 65,000 tokens (MPT-7B-StoryWriter-65k+ by MosaicML) or even 100,000 tokens (Introducing 100K Context Windows by Antropic)1. These advancements are significant as they allow LLMs to process and understand larger amounts of text, potentially leading to improved performance and capabilities in various AI applications1.