Greg Kogan VP of marketing at Pinecone.

Check his blog, gkogan.co/blog/

If you would like to run a new kind of media in the world, consider to leverage the Twitter.

https://twitter.com/MarioNawfal/status/1672828857445916672

There’s an old saying in poker: “If you can't spot the fish at the table, you are the fish.” Same is true of propaganda. If you can’t spot it, you’re the one getting propagandized.

https://twitter.com/DavidSacks/status/1672841786019172352?s=20

"Be it resolved, AI research and development poses an existential threat."
On the YES side: Yoshua Bengio & Max Tegmark
On the NO side: Melanie Mitchell & me.

https://lnkd.in/g7c6PVVt

Hyena Hierarchy: Towards Larger Convolutional Language Models
https://arxiv.org/pdf/2302.10866.pdf

The authors propose a new architecture called Hyena Hierarchy, which aims to improve the performance of convolutional transformers by leveraging hierarchical representations and multi-scale processing1.The Hyena Hierarchy architecture is designed to address the limitations of existing convolutional transformers, such as the inability to scale efficiently to larger models and the lack of support for hierarchical representations1. By incorporating these features, the authors demonstrate that the Hyena Hierarchy model can achieve state-of-the-art performance on various benchmark datasets, including ImageNet-1K and ImageNet-21K1.

The paper highlights the potential of larger convolutional transformers in deep learning applications, particularly in the areas of computer vision and natural language processing. The Hyena Hierarchy architecture offers a promising direction for future research and development in this field1.

The Secret Sauce behind 100K context window in LLMs: all tricks in one place
https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c

The article provides an overview of techniques to speed up training and inference of Large Language Models (LLMs) to use large context windows of up to 100,000 input tokens during training and inference. Some of the techniques mentioned in the article include ALiBi positional embedding, Sparse Attention, FlashAttention, Multi-Query attention, Conditional computation, and the use of 80GB A100 GPUs1.

The article discusses recent announcements about new LLMs that can consume extremely large context windows, such as 65,000 tokens (MPT-7B-StoryWriter-65k+ by MosaicML) or even 100,000 tokens (Introducing 100K Context Windows by Antropic)1. These advancements are significant as they allow LLMs to process and understand larger amounts of text, potentially leading to improved performance and capabilities in various AI applications1.

Databricks가 MosaicML을 $1.3b 가치로 인수

https://www.databricks.com/company/newsroom/press-releases/databricks-signs-definitive-agreement-acquire-mosaicml-leading-generative-ai-platform

이제 AI 기업들도 M&A가 더 많아지려나요 ㅎㅎ
스타트업 입장에서는 돈 잘버는 비즈니스 모델 찾던지, 아니면 좋은 인재+특정 섹터 먹은다음에 Enterprise Distribution Channel이 있는 곳에 회사를 팔던지.
기존 기업 입장에서는 팀 꾸리는 것보다 사는 것이 훨씬 좋으니 인수에 적극적일것 같고요. 단 인수했을 때 바로 제품간 시너지가 날 곳들을 많이 보겠네요.
AI 쪽에서 앞으로 빅딜들이 더 쏟아질 수 있겠네요

이번 Figma Config 2023에서 AirBnB의 브라이언 체스키가 fireside chat 같은 발표를 했다. 그가 사업 초기 때 비해 엄청 발전하고 성장했다고 AirBnB 내외부에서 인정 받는다 들었는데 역시 그런듯 하다.
https://youtu.be/Dkfijg7s76o

기억에 남는 내용들.

1. 현재 포춘 500 기업 대표 중에서 디자이너는 브라이언 체스키 1명이다.

2. 위기 때 각 팀에게 로드맵을 그려오라고 함. 그걸 크게 하나로 다 합침. 그 중에서 10%만 함. 이게 회사의 방향이 되고 살아남.

3. Product manager 없다. 대신 product marketer가 있는데 제품을 가져다 팔 생각을 해야 한다.

4. 가설이 있으면 A/B 테스트 해라. 다만 디자이너가 그 제품이 자랑스럽고 크레딧에 자신의 이름을 넣고 싶고 행복한지를 봐라. 그게 먼저다.

5. 단순하게 만든다는 것은 기능을 제거하는게 아니다. 모든 것을 증류하여 그 핵심을 뽑아내는 것이다.

* 단상 -
표본 수가 적긴하나 나는 국내외 잘되는 회사들에서도 있었고 잘 안되는 회사들에서도 있었는데 이 영상을 보며 그 잘되는 회사의 대표들이 떠올랐다. 그들은 말 모호하게 하지 않고 명징하게 원칙을 정하고 의사결정을 내리고 공유한다. 지쳤다고 숨지 않으며 자신이 해결해야 할 일에 나타나고 필요하다면 기꺼이 get hands dirty 한다. 이게 가능한 이유는 회사가 성장하는 만큼 대표는 더 큰 성장을 이뤄내기 때문이다. 돌아보니 그런 분들과 함께 일해서 영광이었고 롤모델이 있어 다행이다.

"와 ChatGPT에 미드저니까지 쓰니 대박이야!! 미드저니 API 인테그레이션 코드도 ChatGPT가 썼어! 우리 앱의 미드저니 관리 UX도 두시간만에 나와 ChatGPT가 다 만들었어! 이전 같으면 3일은 걸렸을텐데 두시간만에 다 끝났어!"

COO가 말했다.

"뭘 아직도 새삼스럽게;;"

아.. 이제 AI가 우리 일을 다 한다는 것은 놀라운 일도 아닌 것 같다. 뉴노말로 정착되어버렸다.

우리 엔지니어는 0명이 되었고, stock image와 뉴스 이미지 구독도 끊었고 미국 진출 컨텐츠 관리자는 원래는 2명 풀타임 정도는 필요했을 텐데 한명 파트타임이면 충분하게 되었다.

실리콘밸리 스타트업들에게는 AI는 이미 현실이다. 한국의 대기업까지 전달되는 시간이 얼마나 걸릴지 모르겠다.

https://github.com/AntonOsika/gpt-engineer
GPT Engineer is made to be easy to adapt, extend, and make your agent learn how you want your code to look. It generates an entire codebase based on a prompt.

Data-Centric FinGPT: Open-source for Open Finance.

We democratize Internet-scale data for financial large language models (FinLLMs) at FinNLP and FinNLP Website

Why FinGPT?
1). Finance is highly dynamic. BloombergGPT retrains an LLM using a mixed dataset of finance and general data sources, which is too expensive (1.3M GPU hours, a cost of around $5M). It is costly to retrain an LLM model every month or every week, so lightweight adaptation is highly favorable in finance. Instead of undertaking a costly and time-consuming process of retraining a model from scratch with every significant change in the financial landscape, FinGPT can be fine-tuned swiftly to align with new data (the cost of adaptation falls significantly, estimated at less than $416 per training).

2). Democratizing Internet-scale financial data is critical, which should allow timely updates (monthly or weekly updates) using an automatic data curation pipeline. But, BloombergGPT has privileged data access and APIs. FinGPT presents a more accessible alternative. It prioritizes lightweight adaptation, leveraging the strengths of some of the best available open-source LLMs, which are then fed with financial data and fine-tuned for financial language modeling.

3). The key technology is "RLHF (Reinforcement learning from human feedback)", which is missing in BloombergGPT. RLHF enables an LLM model to learn individual preferences (risk-aversion level, investing habits, personalized robo-advisor, etc.), which is the "secret" ingredient of ChatGPT and GPT4.

https://github.com/AI4Finance-Foundation/FinGPT

'좋은 커리어를 만난 분들'의 공통점이 있는 듯 하다. 정리해 보자면...

1. 한 회사에서 최소 3년 이상은 꾸준히 업무하며 impact 을 만들어 낸, 결국 좋은 커리어를 만난다. 회사에서의 성과는 만들어 내는 데에 최소 3년 이상은 소요되기 때문이다.

2. 주로 상사에게 인정받는 사람 보다는, 함께 실무하는 사람들 및 다른 팀 사람들에게까지 인정받는 분들이 좋은 커리어를 만난다. 역량, 성실/노력, 겸손/인성, 소통력이 좋은 커리어를 만나기 위한 키워드이기 때문이다.

3. 이직에 별 관심 없는 분들이, 오히려 더 좋은 커리어를 만난다. 회사에서 찾는 인재는, 이직에 관심이 많고 더 좋은 기회를 수시로 탐색하는 사람 보다는, 본인이 소속된 회사에서 누구보다 잘 일하고 있고, 인정 받고 있고, 하루하루 성실히 열심히 노력하고 있는 사람이기 때문이다.

4. 단기적 관점이 아닌, 장기적 관점에서 사람과 인연을 중시하는 사람이 좋은 기회를 만난다. 좋은 커리어 기회는 보통 좋은 사람으로부터 이어져 나오는 경우가 대부분인데 (회사에서 인재를 찾을 때, 보통 소수의 좋은 사람들에게 '어디 좋은 분 없어요?' 물어보기 때문이다), 주변 사람들에게 '일도 잘하고 commitment 도 훌륭한 좋은 사람'으로 기억되어 있어야, '어.. 저 생각나는 사람이 있는데 한 번 물어볼께요!!' 에 들어갈 수 있기 때문이다.

5. 다른 사람들에게 잘 나누는 분들이, 더 좋은 기회를 만난다. 생각을 나누고, 인사이트를 나누고, 경험을 나누고, 인연을 나누고, 시간과 음식을 나누는 분들이 좋은 커리어를 이어 나가는 경우를 자주 본다. 커리어에는 작용-반작용 법칙이 성립하는데, 내가 먼저 공유하며, 그 공유 과정에서 스스로 배울 수 있을 뿐 아니라, 그 이상의 것을 공유 받기도 하기 때문이다. 그런데, 이 나눔을 특정 기간에만 하는 것이 아닌, 오래, 꾸준히 하는 것이 중요하다. 그렇게 하기 위해서는, 나누는 과정 자체를 좋아하고 또 즐겨야 한다 (좋아하지 않으면 꾸준히 하기 어렵다). 그런 사람 주변에는 좋은 기회가 몰리고, 그 좋은 기회를 다른 사람에게 또 나누기 때문에 좋은 사람들이 모여들고, 그렇게 의미있는 관계의 집단이 형성된다.

6. Framework 을 바탕으로 이것 저것 판단하는 사람보다는, 삶의 의사결정이 단순한 분들이 더 좋은 기회를 만난다. 커리어 관점에서의 정말 좋은 기회는, 처음에는 객관적으로 좋아 보일 수 없기 때문이다. 그 기회를 take 하기 위해서는, '내가 정말 중요하게 생각하는 것'에 대한 기준이 정립되어 있어야 하는데, 보통 이런 기준은 몇 번의 실패 또는 시행착오를 통해 형성되는 경우가 많다.

https://brunch.co.kr/@seunghoon82/230?fbclid=IwAR3abuEmdz34d4vCWMX3-8SyItItj4o-N2cccqk1AXtDRyF83T5UBHOvAko_aem_AThxv58fYfRZamwWe-xEtgEpI1FOiOu2_tMym8oh8WxGBUq7Vx52UMLYOte7otgrxX0&mibextid=Zxz2cZ

Just as LLM Infra was created after a use-case like ChatGPT came out, I think that if various experiments using Auto Agent and PMF found services come out, then Infra for Auto GPT will be laid down.