최인아 대표님의 '내가 가진 것을 세상이 원하게 하라' 책에 이런 구절이 나온다. 2007년 한 신문에 기고했던 글의 내용이라고.
"젊기는 쉽다. 모두 젊다, 처음엔. 늙기는 쉽지 않다. 세월이 걸린다. 젊음은 주어진다. 늙음은 이루어진다. 늙기 위해선 세월에 섞을 마법을 만들어내야 한다."
이 구절을 보고 예전에 읽었던 한 문장이 떠올랐다. '젊다'는 형용사인데, '늙다'는 동사라는 문장. 그렇기에 사람마다 어떻게(어떤 모습으로) 늙어갈지 개인이 선택할 수 있고, 그 선택에 따라 만들어 간 것이 자신의 '늙은 모습'이라는 것.
자신의 '늙음'이 '늙어버렸다'라는 단어로 표현되는 것이 아니라, 어떤 모습으로 늙어가고 싶은지에 대해 생각하고 그것을 적극적으로 이루려고 한 결과로써 '늙음'을 바라볼 수 있다면, 걱정의 대상이 아니라 설렘의 대상으로 늙음을 바라볼 수도 있겠다는 생각이 들었다.
그런 의미에서 이 책은, 누군가에겐 자기 계발서겠지만, 자신을 충분히 사랑하는 사람이 되자는 것과 그렇게 하기 위해 가져야 하는 태도를 얘기하는 삶의 철학에 대한 이야기이다.

Welcome To the Era of LLMOps: Arize:Observe 2023 https://youtu.be/55y1GMEnoSw?list=PL86ARIu_ElO6BgtB6w3JtKJDBGOWUAtHr

Picking Teams in AI

Yesterday, Databricks announced its intent to acquire Mosaic for $1.3b. Perhaps not coincidentally, Snowflake announced a deepened partnership with Nvidia to offer customers models & training on Nvidia’s Nemo platform.
Clouds are picking teams in one of the most important dislocations in software.
Cloud <- -> LLM Infrastructure
Microsoft <- -> OpenAI
Snowflake <- -> Nvidia
Databricks <- -> Mosaic
Google <- -> Anthropic
Oracle <- -> Cohere
Amazon <- -> HuggingFace
Microsoft has invested over $10b, plus significant development efforts to work with OpenAI. In addition, Microsoft & Snowflake announced a deeper AI go-to-market partnership with Snowflake.
Snowflake’s partnership with Nvidia positions Snowflake’s cloud as a broader infrastructure platform.
DataBricks, whose business revolves around Spark operating in customer environments, has announced plans to acquire Mosaic, a vertically integrated model training & management system that functions on similar workloads.
Google has invested hundreds of millions into Anthropic, complementing its efforts with Google Brain.
Oracle has paralleled Microsoft’s OpenAI partnership with Cohere, investing & seeking to build a product for Oracle’s cloud with Cohere.
Amazon has announced HuggingFace LLMs on their Sagemaker product, embracing the open-source community.
Cloudflare, which has seen tremendous interest in its R2 storage product for model training because of a lower cost storage infrastructure, had partnered with Mosaic. It’s unclear how the Databricks acquisition might change that relationship.
Cloud infrastructure players are picking teams within the infrastructure layer. Most major cloud players have picked an LLM partner & perhaps will choose multiple.
For startups building LLM-based applications & infrastructure, this alters the calculus of selecting a cloud. Five years ago, many startups defaulted to AWS for the generous credits, broad catalog, & rapid pace of innovation.
LLM-enabled apps require customer data to train, propelling data security to the top of the list for most enterprise buyers. Startups may begin to pick clouds to reach a particular class of customer, the security promises the underlying platforms provide, & then available algorithms & cost.
Access to particular models may be a consideration, but given the rapid advances in open-source that advantage will likely erode over time.

https://tomtunguz.com/ai-consolidation/

Economic Uncertainty Elevates Importance of Machine Learning Observability Arize

https://news.hada.io/topic?id=9520&utm_source=discord&utm_medium=bot&utm_campaign=4
LLM의 등장으로 Vector 형식의 데이터 수송신이 JSON처럼 대중화될 것이라는 주장

I think we’re starting to see frothy valuations coming back in certain areas, especially genAI. We’re talking about $30mm pre for pre-seed, pre-product teams. I don’t think that’s particularly healthy.

If you were lucky enough to raise big venture money, one thing I tell founders is treat the money as if it was a repayable loan.

No one throws a block party for their mortgage approval and part of the reason is they know too well that the money needs to be repaid at some point. It’s the same for VC funding too - except the investor expectation/hope is only higher (everybody wants a 10x return). All kinds of problems happen when founders think the VC money is “theirs”.

Chang Kim

“Approved H1-B holders as of July 16, 2023 will receive an open work permit of up to 3yrs, which means they will be able to work for almost any employer anywhere in Canada.”

Canada is finally ready to eat USA’s lunch on poor immigration policy!

As part of Canada’s first-ever Tech Talent Strategy, Minister Fraser announced the following aggressive attraction measures:
• the creation of an open work permit stream for H-1B specialty occupation visa holders in the US to apply for a Canadian work permit, and study or work permit options for their accompanying family members
• the development of an Innovation Stream under to the International Mobility Program to attract highly talented individuals, options for which include
◦ employer-specific work permits for up to five years for workers destined to work for a company identified by the Government of Canada as contributing to our industrial innovation goals
◦ open work permits for up to five years for highly skilled workers in select in-demand occupations
• a return to the 14-day service standard for work permits under the Global Skills Strategy
• the promotion of Canada as a destination for digital nomads
• the creation of a STEM-specific draw under category-based selection to issue additional invitations to apply under the Express Entry program
• improvements to the Start-up Visa Program
◦ We allocated more spots to this program for 2023, with further increases planned for 2024 and 2025.
◦ Applicants will be able to apply for a work permit that is up to three years in duration instead of one year.
◦ Applicants will be able to apply for an open work permit instead of one that limits them to working for their own start-up.
◦ We’re making this three-year open work permit available to each member of the entrepreneurial team instead of only those who are essential and urgently needed in Canada.
◦ We’re prioritizing applications that are supported by venture capital, angel investor groups and business incubators and have capital committed, along with applications that are supported by business incubators who are members of Canada’s Tech Network.

1. OpenAI Plans ChatGPT ‘Personal Assistant for Work,’ Setting Up Microsoft Rivalry.

• OpenAI wants to build ChatGPT into a personal assistant
• The effort could take years
• It hinges on training AI models on personal data without leaking that information

Earlier this month, Altman made a key hire that could be related to the assistant effort. OpenAI named former Facebook leader Peter Deng as vice president of consumer product. In a LinkedIn post announcing his new role, Deng cited the company’s desire to develop “assistive capabilities that make people more productive and creative.” Deng was previously the first product manager of Facebook Messenger and later led product at Instagram before serving as a product leader at Uber and then Airtable, a productivity software firm.


2. ChatGPT last fall, OpenAI started charging individuals and companies for an upgraded version, which recently had more than 2 million subscribers and is on pace to generate hundreds of millions of dollars per year

=> Chat GPT paid customer 2m x $20 -> monthly revenue $40m (월 520백억) yearly $480m 6280억)

Open AI’s last year loss $540 million(7000억)

3. To boost ChatGPT’s value, OpenAI is considering opening a type of app store in which its customers would sell customized versions of the chatbot that could help other businesses draft marketing materials, identify fraudulent transactions or build customer service chatbots, The Information reported last week.

Challenges
1. But to operate in a more personalized fashion and respond quickly the way Apple’s Siri does, the prospective OpenAI assistant software may need to be partly stored on users’ devices.

MS’s situation
Large-language models that allow ChatGPT and other software to understand conversational commands are relatively new, although Microsoft is already charging a 40% premium to Office 365 customers that want to use OpenAI’s LLMs to automate tasks such as creating PowerPoint presentations based on text documents, summarizing meetings or drafting email responses.

New challengers

If open-source LLMs continue to progress, developers may be able to create their own assistants. One example is Personal AI, a startup founded in 2020 that has raised $7.8 million. It has trained open-source models—as well as its proprietary LLM—on an individual’s data and made the models small enough to run entirely on laptops or phones.

평범한 사람들이 위대한 결과 만들어내는 이야기는 소설같지만, 매력적입니다. 영화같기만 한 이야기 같은데, 실제로 버핏이 그런 사례를 얘기하니 더 울리기도 하고요. 사실 평범한 사람들이 위대한 회사를 만든다는 말 자체가 모순이지 않나 싶기도 합니다. 위대한 회사 만들기 위해서 평범한 것 오래 포기하지 않고 쌓아간 것 자체가 안 평범한 것이니까요. 모두가 알지만, 지키지 못하는 것이니까요. 사실 성공이 거창한 것인가 싶습니다. 하루하루 쌓아 올리는 것인데요. 그것을 하루 하기는 쉬워도, 100일, 1년, 10년 하기 어려우니까 어려운 것이겠지요. 오늘도 자기만의 길 걸으시는 모든 모든 분들께 버핏의 한 마디가 위로와 격려가 되기를 바라며 올립니다.

https://youtu.be/gXFXMCAwP-k

This story deeply resonates with me and its significance can be appreciated by everyone.

AI 진보/뉴스에 관한 정체감

돌이켜 보니 최근 AI 소식에 관한 포스팅을 뜸하게 하고 있었습니다. 여전히 소식은 끊임없이 쏟아져 나오고 있지만 전처럼 민감하게 반응하지 않는 이유에 관해 생각해 보게 됐는데요. 개인적으로 피로감을 느껴서일 수도 있지만 요즘은 무엇을 봐도 '와우!'가 전처럼 많지 않아서 때문인 것 같기도 합니다.

어떤 소식을 보고선 "이건 충분히 나올법한 내용이군~"하며... 스스로의 반응이 무뎌졌단 자각이 있습니다. 구글 딥마인드의 Gemini가 다음에 보여줄 것, 멀티 모달도 기대되지만 '플래닝'이 과연 무엇일지 정도에 큰 호기심이 있달까요. ( https://www.wired.com/story/google-deepmind-demis-hassabis-chatgpt ) 멀티 모달은 이미 플라밍고나 GPT-4 데모에서 그 편린을 봤기 때문에 어떠한 것인지 어느 정도 그림이 그려지지만 GPT-4도 계산 자원 부족 때문에 멀티 모달 기능의 롤 아웃을 아직 못하고 있다고 하니, 과연 Gemini의 멀티 모달 기능이 세상에 나와도 서비스로 경험할 수 있을런지는 또 모르는 일입니다. 그래서 '플래닝'이 좀 더 관전 포인트가 될 것 같아요. (과연 Monte-Carlo Tree Search + RL을 Auto-regressive 방식의 LLM에 계산 비용을 크게 늘리지 않고 뭔가 혁신적으로 접목하는 방식일런지요?)

오픈 소스 진영의 LLM의 경량화나 오늘도 끊이지 않는 소식들(오늘은 MosaicML이 인수된 소식이 있었죠)이 있지만, GPT-4와의 간극을 줄이는 것이 목표로 보여서 그 간극이 줄어들지언정 그 이상의 성능은 보여주기 어려울 것이란 생각이 들어서 막 흥분되며 기대가 되진 않더라고요. GPT-4의 활용에서 이미 어느 정도 한계를 만났다면 그 이하의 모델에서 거길 넘어서는 것은 불가능하겠죠.

GPT-4가 비교적 최근의 루머대로 220B 모델 8개의 Mixture of Experts 형태라면( https://thealgorithmicbridge.substack.com/p/gpt-4s-secret-has-been-revealed ), 이 또한 경천동지할 혁신은 아니라... 샘 올트만이 트윗에서 GPT-4가 나오기 전에 누누히 말한대로 너무 큰 기대를 하면 반드시 실망할 것이다란 말과 앞뒤가 맞는 셈입니다. 당분간 OpenAI의 로드맵이 GPT-4의 초기 성능을 너프시키면서 계산 비용을 줄이고 속도를 높이고 하는 것이 가능해지는 것과 이 루머도 앞뒤가 잘 맞는 편인 듯 하고요.

그래서 당분간 (경함 가능한) 커팅 엣지에서의 마지노선은 GPT-4일 것이고, 앞서 말한 것 처럼 GPT-4로도 달성하기 어려운 서비스는 그 이하에서도 안될 가능성이 높다는 의미겠죠. 아무리 같은/다른 여러 모델로 앙상블을 하던 체이닝을 하던 모델들의 사회로 숙의하는 시스템2를 구현해도 기본 GPT-4의 성능을 크게 넘지 못하고 고만고만 할 것 같아요.

샘 올트만이 투어 중에 발언했듯 LLM에게 도구를 쥐어주는 플러그인은 뚜껑을 열어보니 PMF(프로덕트 마켓 핏)을 못찾는 모양새가 됐습니다. 그래서 OpenAI도 작은 모델을 직접 하며 모델 마켓을 열 것이다란 전망이 나오고 있는데요. 이것도 나와봐야 알겠지만 역시 당분간의 마지노선인 GPT-4의 성능 이하겠죠.

비즈니스 측면에선 기반이 되는 기술의 (당분간의) 베스트 프랙티스, 레시피는 나온 셈이라... 저는 그걸 크게 두 가지로 봤습니다.

- 비교적 저렴한: 임베딩/벡터 서치를 그라운딩으로 → LLM의 컨텍스트 윈도우(4k ~ 16k) 채우기 → 텍스트 출력 또는 코드 / JSON 등으로 출력 → 샌드박싱으로 제한하고 도구 연동 또는 체이닝

- 상대적으로 비싼: 그라운딩으로 쓸 수 있는 대용량 토큰 → 큰 컨텍스트 윈도우(32k ~ 100k급)를 가지는 LLM의 컨텍스트 윈도우를 이 토큰으로 채우기 → 텍스트 출력 또는 코드 / JSON 등으로 출력 → 샌드박싱으로 제한하고 도구 연동 또는 체이닝

그래서 다들 이 잘 알려진 기술 구조에 기대어 여기에 뛰어들며 다양한 실험을 하고 있겠지만... 그만큼 PMF를 찾지 못하고 애매한 경우 또한 많을거라 추측해 봅니다. 비슷한 출발선을 제공하는 기술이 문제가 아니라 다른게 문제일지, 그 토대가 되는 기술의 품질이 문제인건지는 아직 불분명합니다.

그래서 이 AI Hype을 이어가려면 Gemini의 역할이 중요하다고 느낍니다. 당장은 아니지만 여기에 더 기름/기대를 부으며 다음을 상상할 수 있게 해줘야 하니까요.

토이 모델을 통해서 해석가능성을 높이는 일에도 다양한 시도가 있어왔습니다.

Anthropic의 Transformer Circuit( https://transformer-circuits.pub/ )이나

Microsoft research의 TinyStories: How Small Can Language Models Be and Still Speak Coherent English? ( https://huggingface.co/papers/2305.07759 ),

그리고 지난 주의 Textbooks Are All You Need( https://huggingface.co/papers/2306.11644 ) 같은 소식을 보면...

적어도 공감대를 형성하는 것이 '가비지 인 가비지 아웃'의 반대로 '지적인 내용이 압축되어있는 양질의 토큰을 입력으로 주는 것에 관한 중요함 같습니다. 그러고보니 일리야 수츠케버도 인터뷰에서 그런 양질의 토큰을 어떻게 계속 더 많이 확보할 것이냐에 관한 이야기를 몇 번 했던 듯 합니다.

그래서 여전히 이 LLM의 정체가 다 규명된 것은 아니고 연구가 계속 되어야 하겠지만... 이 바닥을 파고드는 해석 가능성 연구가 당장의 성능 향상에 크게 기여하진 않을 것 같습니다. 물론, 경량화 해서 성능을 높이는 것에는 어쩌면 좋은 기여를 하겠죠.

그렇다고 교과서에 비유할 수 있는 양질의 토큰만 학습한다고 될 일인가 하면 아마 그렇지 않을 겁니다. '야생'에 그리고 '노이즈' 속에 있는 무엇인가도(심지어 그게 편향일지라도) 무척 중요할 수 있으니까요. 그게 '거대'를 통해 획득할 수 있었던 능력의 의미이기도 했다고 봅니다.

또한 아직 LLM만으로는 해결할 수 없는 월드 모델에 관한 계열로는 얀 르쿤 등이 꾸준히 이야기 하고 있는 I-JEPA: The first AI model based on Yann LeCun’s vision for more human-like AI ( https://ai.facebook.com/blog/yann-lecun-ai-model-i-jepa ) 같은 방향도 있고,

From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought( https://github.com/gabegrand/world-models )이 LLM이 자연어 입력에 대한 출력으로 베이즈 추론 기반의 probabilistic language of thought, 또는 probabilistic programming language 를 생성하게 하는 접근도 나오고 있습니다만 이건 앞에 언급한 베스트 프랙티스에 해당하는 이야기로도 여겨집니다. ( 위 논문에선 Lisp의 방언인 Church를 사용했지만, https://probmods.org 는 Javanoscript 비슷한 WebPPL로 넘어간듯 하네요. 조슈아 테넨바움 쪽의 연구입니다)

물론 이 베이즈 기반으로 AI 능력을 제한하자는 것은 요슈아 벤지오가 강조하는 부분과 공명하기도 하는 점이 흥미롭게 느껴지긴 합니다. AI Scientists: Safe and Useful AI? ( https://yoshuabengio.org/2023/05/07/ai-scientists-safe-and-useful-ai/ )

하지만 이러한 접근들 또한 아직 '와우!'까진 아니죠. 가상 공간의 에이전트나 로봇으로 환경 속에서 체화를 시도하는 접근도 있습니다만... 역시 이게 실생활의 유용한 서비스나 제품으로 만나기 까진 시간이 꽤 걸릴 듯 합니다.

AI 리스크에 관한 얼라인먼트/안전/규제 쪽도 어느정도 논의의 가닥이 잡히며 '와우!'는 줄어들고 있다고 여겨집니다.

어떻게 보면 AI 리스크를 통해서도 Hype을 이어가고 있었는데 말이죠.

여기에 관한 제 관전 포인트는...

The AI Apocalypse: A Scorecard How worried are top AI experts about the threat posed by large language models like GPT-4? ( https://spectrum.ieee.org/artificial-general-intelligence )

Munk Debate on Artificial Intelligence ( https://munkdebates.com/livestreamai )

의 인선을 보듯, 몇 가지 잘 알려진 입장들이 있는데... 굳이 이 입장들을 협의해서 하나로 할 필요없이,

OpenAI 등에서 이야기하는 얼라인먼트에 대한 이슈는 그쪽 그룹에서,
제프리 힌튼 등이 걱정하는 바에 대한 대안은 그쪽 그룹에서,
요슈아 벤지오 등이 걱정하는 바에 대한 대안은 그쪽 그룹에서,
장기주의자/효율적 이타주의자 등의 계열이 걱정하는 바에 대한 대안은 그쪽 그룹에서,
멜라니 미첼, 확률적 앵무새 저자 계열이 걱정하는 바는 그쪽 그룹에서,
엘리에저 윳코우스키나 게리 마커스 계열은 또 그쪽 나름으로,
얀 르쿤 등의 그룹도 역시 그쪽 나름의 화두로,
앤드류 응이 말하는 것 처럼 공감대를 형성하는 것은 또 앤드류 응 등의 그룹에서,
EU나 미의회 쪽의 규제 논의도 나름의 방식으로~

각자의 입장에서 각자 우려하는 '리스크'를 완화하는 도전을 하고 그 성과를 공유하면 Anthropic이 이야기한 다양한 수준의 'AI 리스크'에 각각 대응하는 헷징을 하는 접근, Core Views on AI Safety: When, Why, What, and How( https://www.anthropic.com/index/core-views-on-ai-safety )과 비슷해지는 모양새라...

이제 나올법한 논의는 꽤 나왔고 이 또한 당분간은 '와우!'는 없을 것 같단 전망을 하게된달까요. 정말 AI 리스크가 크게 터지는 사건이 일어난다면 이 AI 리스크 이슈가 크게 부각되며 AI Hype에 일조하겠지만 그러지 않는다면, 아이러니하게도 이 또한 정체감에 일조할 수 있겠습니다.

기반이 되는 기술 진보에서 '와우!'가 없다면 여기에 토대를 두는 예술/퍼포먼스 분야에서도 아직 이걸 접목해 보지 않은 도메인이나 장르와 만남이 있을 때 잠깐 잠깐 이슈가 만들어지겠지만, 어디서 봤던 기시감이 들며 정체감이 일어날 수 있을 겁니다.

마찬가지로 역시 토대가 되는 기술 진보에서 '와우'가 없다면 여기에 토대를 두는 '책'도 빠르게 관심이 불타오른 것 처럼, 베스트 셀러 양서 몇 권이 정점을 한번 찍으며... 많은 사람들이 어느 정도 감을 잡은 뒤에는 빠르게 타오른 것 만큼 빠르게 식을 수도 있고요. 물론 많은 사람들이 감을 잡기까지는 롱테일이 있겠죠.

따라서... 다시 한번 '와우!' 모먼트, 이 정도가 되는 건 처음이야!라는 '경이감'을 주는 것이 다시 적당한 타이밍에 콤보를 이어가 주지 않는다면, '정체감'을 느끼며, 일상으로들 돌아가기 시작할 수 있겠죠.

물론 그 사이 이미 무엇인가가 뉴노말이 되었을 겁니다. 매우 중요한 건데, 이젠 그렇게 신기하지 않고 너무 당연한 그런 무엇인가로요.

어쩌면... 그냥 제가 AI 뉴스에 관해 피로감을 많이 느끼고 있는 중이거나... 노회해서 소식에 민감하게 감응하는 능력이 떨어져있는 상태일 수 있습니다. 뉴스는 계속 감당하기 어렵게 많이 나올겁니다. 다만 거기에 관한 반응이 정체되어 있는 것이죠.

그래도 이렇게 정체감을 느끼는게 계속 계속 다음의 큰 자극을 찾는 도파민 중독이 해독되고 있는 중이라면... 다행입니다.

The CEO of Databricks explains the justification for the $1.3 billion acquisition of young AI startup, Mosaic. Databricks has paid 65 times Mosaic’s annual recurring revenue of $20 million, a cost Ghodsi deems reasonable due to Mosaic's substantial revenue growth and the growing demand for customized AI models within large enterprises.

He believes that the merger can significantly boost their revenue, considering MosaicML's small sales team of three will now be part of Databricks' extensive 3,000-strong sales organization.

Databricks offers a cloud database and other software to facilitate the application of machine learning models to data. The purchase of Mosaic is aimed at providing customers with a simplified way to customize large-language models, a type of machine learning software that powers chatbots, offering a more bespoke solution than the generalized software provided by OpenAI.

Mosaic's AI models, while less advanced than OpenAI’s, are typically more cost-effective and are better tailored to companies’ internal needs, such as sourcing internal information for employees. Mosaic's value has been attested by its clients like Replit, a software development tool provider, and Glean AI, which develops software to monitor company expenses and suggest cost-saving measures.

However, the deal's actual value is considerably lower as Databricks will pay for Mosaic in stock, priced at Databricks' last equity financing round in 2021, which was at its peak valuation.

The acquisition also signals an unfolding competition between companies like OpenAI, Anthropic, and Cohere that develop large, proprietary or closed-source LLMs, and providers like Databricks hoping businesses will prefer to train smaller, open-source LLMs on their own corporate data for superior performance and data security. This acquisition could potentially strain the relationship between OpenAI and Microsoft.

https://www.theinformation.com/articles/how-databricks-ceo-justifies-paying-1-3-billion-for-a-young-ai-startup