Hyena Hierarchy: Towards Larger Convolutional Language Models
https://arxiv.org/pdf/2302.10866.pdf

The authors propose a new architecture called Hyena Hierarchy, which aims to improve the performance of convolutional transformers by leveraging hierarchical representations and multi-scale processing1.The Hyena Hierarchy architecture is designed to address the limitations of existing convolutional transformers, such as the inability to scale efficiently to larger models and the lack of support for hierarchical representations1. By incorporating these features, the authors demonstrate that the Hyena Hierarchy model can achieve state-of-the-art performance on various benchmark datasets, including ImageNet-1K and ImageNet-21K1.

The paper highlights the potential of larger convolutional transformers in deep learning applications, particularly in the areas of computer vision and natural language processing. The Hyena Hierarchy architecture offers a promising direction for future research and development in this field1.

The Secret Sauce behind 100K context window in LLMs: all tricks in one place
https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c

The article provides an overview of techniques to speed up training and inference of Large Language Models (LLMs) to use large context windows of up to 100,000 input tokens during training and inference. Some of the techniques mentioned in the article include ALiBi positional embedding, Sparse Attention, FlashAttention, Multi-Query attention, Conditional computation, and the use of 80GB A100 GPUs1.

The article discusses recent announcements about new LLMs that can consume extremely large context windows, such as 65,000 tokens (MPT-7B-StoryWriter-65k+ by MosaicML) or even 100,000 tokens (Introducing 100K Context Windows by Antropic)1. These advancements are significant as they allow LLMs to process and understand larger amounts of text, potentially leading to improved performance and capabilities in various AI applications1.

Databricks가 MosaicML을 $1.3b 가치로 인수

https://www.databricks.com/company/newsroom/press-releases/databricks-signs-definitive-agreement-acquire-mosaicml-leading-generative-ai-platform

이제 AI 기업들도 M&A가 더 많아지려나요 ㅎㅎ
스타트업 입장에서는 돈 잘버는 비즈니스 모델 찾던지, 아니면 좋은 인재+특정 섹터 먹은다음에 Enterprise Distribution Channel이 있는 곳에 회사를 팔던지.
기존 기업 입장에서는 팀 꾸리는 것보다 사는 것이 훨씬 좋으니 인수에 적극적일것 같고요. 단 인수했을 때 바로 제품간 시너지가 날 곳들을 많이 보겠네요.
AI 쪽에서 앞으로 빅딜들이 더 쏟아질 수 있겠네요

이번 Figma Config 2023에서 AirBnB의 브라이언 체스키가 fireside chat 같은 발표를 했다. 그가 사업 초기 때 비해 엄청 발전하고 성장했다고 AirBnB 내외부에서 인정 받는다 들었는데 역시 그런듯 하다.
https://youtu.be/Dkfijg7s76o

기억에 남는 내용들.

1. 현재 포춘 500 기업 대표 중에서 디자이너는 브라이언 체스키 1명이다.

2. 위기 때 각 팀에게 로드맵을 그려오라고 함. 그걸 크게 하나로 다 합침. 그 중에서 10%만 함. 이게 회사의 방향이 되고 살아남.

3. Product manager 없다. 대신 product marketer가 있는데 제품을 가져다 팔 생각을 해야 한다.

4. 가설이 있으면 A/B 테스트 해라. 다만 디자이너가 그 제품이 자랑스럽고 크레딧에 자신의 이름을 넣고 싶고 행복한지를 봐라. 그게 먼저다.

5. 단순하게 만든다는 것은 기능을 제거하는게 아니다. 모든 것을 증류하여 그 핵심을 뽑아내는 것이다.

* 단상 -
표본 수가 적긴하나 나는 국내외 잘되는 회사들에서도 있었고 잘 안되는 회사들에서도 있었는데 이 영상을 보며 그 잘되는 회사의 대표들이 떠올랐다. 그들은 말 모호하게 하지 않고 명징하게 원칙을 정하고 의사결정을 내리고 공유한다. 지쳤다고 숨지 않으며 자신이 해결해야 할 일에 나타나고 필요하다면 기꺼이 get hands dirty 한다. 이게 가능한 이유는 회사가 성장하는 만큼 대표는 더 큰 성장을 이뤄내기 때문이다. 돌아보니 그런 분들과 함께 일해서 영광이었고 롤모델이 있어 다행이다.

"와 ChatGPT에 미드저니까지 쓰니 대박이야!! 미드저니 API 인테그레이션 코드도 ChatGPT가 썼어! 우리 앱의 미드저니 관리 UX도 두시간만에 나와 ChatGPT가 다 만들었어! 이전 같으면 3일은 걸렸을텐데 두시간만에 다 끝났어!"

COO가 말했다.

"뭘 아직도 새삼스럽게;;"

아.. 이제 AI가 우리 일을 다 한다는 것은 놀라운 일도 아닌 것 같다. 뉴노말로 정착되어버렸다.

우리 엔지니어는 0명이 되었고, stock image와 뉴스 이미지 구독도 끊었고 미국 진출 컨텐츠 관리자는 원래는 2명 풀타임 정도는 필요했을 텐데 한명 파트타임이면 충분하게 되었다.

실리콘밸리 스타트업들에게는 AI는 이미 현실이다. 한국의 대기업까지 전달되는 시간이 얼마나 걸릴지 모르겠다.

https://github.com/AntonOsika/gpt-engineer
GPT Engineer is made to be easy to adapt, extend, and make your agent learn how you want your code to look. It generates an entire codebase based on a prompt.

Data-Centric FinGPT: Open-source for Open Finance.

We democratize Internet-scale data for financial large language models (FinLLMs) at FinNLP and FinNLP Website

Why FinGPT?
1). Finance is highly dynamic. BloombergGPT retrains an LLM using a mixed dataset of finance and general data sources, which is too expensive (1.3M GPU hours, a cost of around $5M). It is costly to retrain an LLM model every month or every week, so lightweight adaptation is highly favorable in finance. Instead of undertaking a costly and time-consuming process of retraining a model from scratch with every significant change in the financial landscape, FinGPT can be fine-tuned swiftly to align with new data (the cost of adaptation falls significantly, estimated at less than $416 per training).

2). Democratizing Internet-scale financial data is critical, which should allow timely updates (monthly or weekly updates) using an automatic data curation pipeline. But, BloombergGPT has privileged data access and APIs. FinGPT presents a more accessible alternative. It prioritizes lightweight adaptation, leveraging the strengths of some of the best available open-source LLMs, which are then fed with financial data and fine-tuned for financial language modeling.

3). The key technology is "RLHF (Reinforcement learning from human feedback)", which is missing in BloombergGPT. RLHF enables an LLM model to learn individual preferences (risk-aversion level, investing habits, personalized robo-advisor, etc.), which is the "secret" ingredient of ChatGPT and GPT4.

https://github.com/AI4Finance-Foundation/FinGPT

'좋은 커리어를 만난 분들'의 공통점이 있는 듯 하다. 정리해 보자면...

1. 한 회사에서 최소 3년 이상은 꾸준히 업무하며 impact 을 만들어 낸, 결국 좋은 커리어를 만난다. 회사에서의 성과는 만들어 내는 데에 최소 3년 이상은 소요되기 때문이다.

2. 주로 상사에게 인정받는 사람 보다는, 함께 실무하는 사람들 및 다른 팀 사람들에게까지 인정받는 분들이 좋은 커리어를 만난다. 역량, 성실/노력, 겸손/인성, 소통력이 좋은 커리어를 만나기 위한 키워드이기 때문이다.

3. 이직에 별 관심 없는 분들이, 오히려 더 좋은 커리어를 만난다. 회사에서 찾는 인재는, 이직에 관심이 많고 더 좋은 기회를 수시로 탐색하는 사람 보다는, 본인이 소속된 회사에서 누구보다 잘 일하고 있고, 인정 받고 있고, 하루하루 성실히 열심히 노력하고 있는 사람이기 때문이다.

4. 단기적 관점이 아닌, 장기적 관점에서 사람과 인연을 중시하는 사람이 좋은 기회를 만난다. 좋은 커리어 기회는 보통 좋은 사람으로부터 이어져 나오는 경우가 대부분인데 (회사에서 인재를 찾을 때, 보통 소수의 좋은 사람들에게 '어디 좋은 분 없어요?' 물어보기 때문이다), 주변 사람들에게 '일도 잘하고 commitment 도 훌륭한 좋은 사람'으로 기억되어 있어야, '어.. 저 생각나는 사람이 있는데 한 번 물어볼께요!!' 에 들어갈 수 있기 때문이다.

5. 다른 사람들에게 잘 나누는 분들이, 더 좋은 기회를 만난다. 생각을 나누고, 인사이트를 나누고, 경험을 나누고, 인연을 나누고, 시간과 음식을 나누는 분들이 좋은 커리어를 이어 나가는 경우를 자주 본다. 커리어에는 작용-반작용 법칙이 성립하는데, 내가 먼저 공유하며, 그 공유 과정에서 스스로 배울 수 있을 뿐 아니라, 그 이상의 것을 공유 받기도 하기 때문이다. 그런데, 이 나눔을 특정 기간에만 하는 것이 아닌, 오래, 꾸준히 하는 것이 중요하다. 그렇게 하기 위해서는, 나누는 과정 자체를 좋아하고 또 즐겨야 한다 (좋아하지 않으면 꾸준히 하기 어렵다). 그런 사람 주변에는 좋은 기회가 몰리고, 그 좋은 기회를 다른 사람에게 또 나누기 때문에 좋은 사람들이 모여들고, 그렇게 의미있는 관계의 집단이 형성된다.

6. Framework 을 바탕으로 이것 저것 판단하는 사람보다는, 삶의 의사결정이 단순한 분들이 더 좋은 기회를 만난다. 커리어 관점에서의 정말 좋은 기회는, 처음에는 객관적으로 좋아 보일 수 없기 때문이다. 그 기회를 take 하기 위해서는, '내가 정말 중요하게 생각하는 것'에 대한 기준이 정립되어 있어야 하는데, 보통 이런 기준은 몇 번의 실패 또는 시행착오를 통해 형성되는 경우가 많다.

https://brunch.co.kr/@seunghoon82/230?fbclid=IwAR3abuEmdz34d4vCWMX3-8SyItItj4o-N2cccqk1AXtDRyF83T5UBHOvAko_aem_AThxv58fYfRZamwWe-xEtgEpI1FOiOu2_tMym8oh8WxGBUq7Vx52UMLYOte7otgrxX0&mibextid=Zxz2cZ

Just as LLM Infra was created after a use-case like ChatGPT came out, I think that if various experiments using Auto Agent and PMF found services come out, then Infra for Auto GPT will be laid down.

https://www.sequoiacap.com/article/llm-stack-perspective/

1. Nearly every company in the Sequoia network is building language models into their products.
We’ve seen magical auto-complete features for everything from code (Sourcegraph, Warp, Github) to data science (Hex). We’ve seen better chatbots for everything from customer support to employee support to consumer entertainment. Others are reimagining entire workflows with an AI-first lens: visual art (Midjourney), marketing (Hubspot, Attentive, Drift, Jasper, Copy, Writer), sales (Gong), contact centers (Cresta), legal (Ironclad, Harvey), accounting (Pilot), productivity (Notion), data engineering (dbt), search (Glean, Neeva), grocery shopping (Instacart), consumer payments (Klarna), and travel planning (Airbnb). These are just a few examples and they’re only the beginning.

혼자 있는 시간의 힘 : 무리 지어 다니며 성공한 사람은 없다] (6.24.토)
페르소나 B "동료와 친구들에게 둘러싸이다 가끔 혼자 있는 시간이 되면 어색하다"
1. 고독은 나쁜 걸까? (편견에 의문 던지기)
저자 경험을 근거로 제시 "창조적인 일을 위해선 반드시 혼자만의 시간이 필요하다."
2. 자기력이 필요하다: 성장의 연료 (자기력이란 낯선 용어 사용)
고독의 두 가지 종류 -> 자기력 설명 -> 다른 분들 예시
Q예시로 든 분들이 모두 작가인데, 다양한 분야의 사람들을 예시로 들면 더 좋았을 거라 생각해요!
3. 침잠의 가치 : 몰입의 힘 (침잠=몰입)
침잠 용어 설명 -> 젊을 때부터 연습 필요
4. 혼자일 줄 아는 사람이 함께할 줄도 안다 (너 자신을 알라)
고독의 역설 -> 독서는 작가와의 소통
5. 혼자 있는 시간을 성공의 발판으로 삼아라 (위기를 기회로)
고독은 또 다른 기회
세 줄 요약
1) 창조적인 일을 위해선 반드시 혼자만의 시간이 필요하다
2) 그 시간을 침잠하듯 자신이 원하는 일에 몰입하며 보내라
3) 그 시기가 미래를 위한 '도약대'가 될 것이다

Reddit에서 유용한 정보를 발견해서 옮겨 왔습니다. 인공지능 프레젠테이션 툴입니다.
Plus AI로 이 글을 copy-paste해서 슬라이드를 만들어 보았는데.. 미쳤네요..
https://docs.google.com/presentation/d/1KHgDw-MZlzklOCsKkCgUcyGRffhBDoNbRdXxLaN1E90/edit?usp=sharing
---
GPT를 활용하여 시각적인 프레젠테이션/슬라이드를 생성하는 도구들 중 제가 가장 좋아하는 것들을 공유하려 합니다. 아주 고품질의 결과물을 원한다면 이 도구들이 수동 작업을 완전히 대체하지는 못할 것입니다. 하지만, 그럼에도 불구하고 이 도구들은 90%의 작업을 대신해줄 수 있습니다.
Plus AI for Google Slides - 업무용; 생데이터로 즉석에서 프레젠테이션 생성
Google Slides 프레젠테이션을 자동화하고 향상시키는 데 훌륭한 도구입니다. Plus AI는 프레젠테이션에 대한 간단한 설명으로 시작하면 AI가 개요를 생성하며, 이를 사용자의 요구에 맞게 조정할 수 있습니다. 또한, 웹 콘텐츠에서 ‘스냅샷‘을 생성하여 이를 슬라이드나 문서에 한 번의 클릭으로 삽입하고 업데이트할 수 있습니다. 이 기능은 팀 회의나 프로젝트 보고서 작성 시 준비 시간을 크게 줄여주어 매우 유용합니다. 이 도구는 Google Marketplace에서 GSlides 애드온으로 무료로 사용할 수 있습니다.
Tome - 비즈니스 스토리텔링에 적합
간단한 프롬프트를 기반으로 한 내러티브를 생성하고, 이를 프레젠테이션, 개요, 또는 이미지와 텍스트를 포함한 이야기로 변환합니다. 동적이고 반응성 있는 프레젠테이션을 생성하는 데 매우 효과적이었으며, AI가 자동으로 출처를 인용하거나 컨텐츠를 다른 언어로 번역하는 것이 매우 편리했습니다. 설립자, 경영진, 교육자 등이 매력적인 이야기나 프레젠테이션을 제공해야 하는 모든 사람에게 직관적인 도구입니다. 제품 모형이나 데이터와 같은 실시간 상호작용 콘텐츠를 페이지에 직접 포함시키는 기능이 눈에 띕니다. 이 도구는 웹 앱으로 무료로 제공되며, Figma, YouTube, Twitter, GSheets 등의 앱과 통합이 가능합니다.
STORYD - 비즈니스 스토리텔링, 스크립트 생성기
이 도구는 제가 데이터 프레젠테이션을 접근하는 방식을 완전히 혁신시켰습니다. 주제에 대한 간단한 요약을 제공하면, StoryD는 AI를 활용하여 1분 이내에 프레젠테이션을 스크립트하고 디자인하고 생성합니다. 이 도구는 시간을 많이 절약해주는데다, 내장된 ‘스토리텔링 구조’를 통해 제 데이터의 전달력과 영향력을 향상시킵니다. 테마, 글꼴, 색상, 다양한 레이아웃 옵션 등의 커스터마이징 옵션도 매우 유용합니다. 무료로 제한된 베타 버전은 일반 사용자에게 충분하며, 월 18달러의 프로 버전은 팀 협업과 실시간 편집과 같은 유용한 기능을 추가합니다. 웹 앱으로 제공됩니다.
beautiful.ai - 시각적으로 매력적인 슬라이드 생성
자주 프레젠테이션을 생성하는 누구에게나 시간을 크게 절약해주는 도구입니다. Beautiful.ai는 스마트 슬라이드 템플릿의 광범위한 컬렉션을 제공하며, 이를 활용하여 빠르게 의미있는 프레젠테이션을 구축할 수 있습니다. 이 도구는 내가 그래픽 디자인 경험이 없어도 내용을 자동으로 정렬하고 디자인하는 능력이 매우 인상적입니다. 또한 타임라인, 판매 퍼널, SWOT 분석 등 다양한 요구사항에 맞는 슬라이드 템플릿을 제공합니다. 무료 시험판은 서비스에 대한 이해를 충분히 얻는 데 충분하며, 유료 플랜은 월 12달러부터 시작합니다. 이 도구는 웹 앱으로 제공되며, 클라우드 플랫폼 (예: Dropbox 및 Google Drive)과 통합됩니다.
Albus - 지식 프레젠테이션/카드/맵
지식과 사실에 대한 전형적인 상호작용 방식을 바꾸어, 주제에 대한 문제와 프롬프트로 시작하여 사실 카드를 생성하고, 이를 다른 카드와 이미지로 확장시킬 수 있습니다. 이를 통해 새로운 관점과 각도를 열어주며, 주제를 탐구하고 질문하며 이해를 자연스럽게 확장할 수 있습니다. 보드를 구성하는 데 노트와 이미지를 추가하는 기능은 경험을 더욱 풍부하게 만들어줍니다. 공유할 때 Albus AI가 제어된 콘텐츠 프레젠테이션을 촉진하는 방식도 좋습니다. Albus AI를 사용하면, 학습은 물론이고 발견의 여행에 대해서도 생각해 볼 수 있습니다. 이 도구는 웹 앱으로 제공되며, 현재 베타 버전입니다.
Decktopus - 업무/비즈니스용 전반적으로 좋음, “마이크로사이트” 생성
Decktopus AI는 프레젠테이션 제작의 번거로움을 줄여줍니다. 주제를 입력하면 순식간에 완전한 데크를 생성하므로, 제가 빠른 반응이 필요할 때 매우 유용합니다. 원클릭 디자인 기능과 자동 조정 레이아웃은 커스터마이징 과정을 단순화해주며, 수동 조정의 고충을 덜어줍니다. 이미지 & 아이콘 제안, 맞춤형 슬라이드 노트, 추가 콘텐츠 생성 등의 내장 도구들이 프레젠테이션 생성 과정을 더욱 간편하게 해줍니다. 음성 녹음과 실시간 청중 피드백 수집과 같은 추가 기능은 제 프레젠테이션을 새로운 수준으로 끌어올려줍니다. 빠르고 전문적인 프레젠테이션을 위해선 Decktopus AI가 제 최선의 선택입니다. 이 도구는 LinkTree와 랜딩 페이지 사이의 복잡도를 가진 마이크로사이트를 생성하는 것도 처리할 수 있습니다. 이 도구는 웹 앱으로 무료로 제공됩니다.
Gamma - Decktopus의 좋은 대안
Gamma는 문서의 깊이와 슬라이드의 시각적 매력을 결합한 새로운 접근 방식을 제공하며, 효율성을 위해 AI가 지원합니다. 아이디어를 빠르게 초안으로 만들 수 있게 해주며, 그 결과물은 시각적으로 매력적이고 쉽게 이해할 수 있는 프레젠테이션입니다. 이 도구는 웹 앱으로 무료로 제공되며, 광고가 포함되어 있습니다.
이들 도구는 프레젠테이션 생성에 대한 기존 접근법을 혁신하고, 프로세스를 빠르고 효율적으로 만들어주기 때문에 매우 추천합니다. 여러분의 특별한 요구사항에 따라 한 도구가 다른 도구보다 더 적합할 수 있습니다. 또한 이러한 도구들은 끊임없이 발전하고 있으니, 가능하다면 다양한 도구를 시도해보는 것도 좋습니다.
출처: https://www.reddit.com/r/ChatGPT/comments/14h2656/here_are_some_ai_tools_you_can_use_for/?utm_source=share&utm_medium=ios_app&utm_name=ioscss&utm_content=1&utm_term=1

It’s thrilling to see founders from our earliest-stage Arc investment to Zoom all laser focused on the same thing: delighting users with AI.