이런 경우를 대비하여 Databricks, AnyScale, Mosaic, Modal, RunPod 플랫폼은 모델 파인튜닝 도구를, Hugging Face와 Replicate는 API 인터페이스를 제공하고 있다.

시중에는 다양한 상업용 오픈소스 LLM 모델이 존재하며(Together, Mosaic, Falcon, Mistral 등) 이들이 GPT-3.5의 정확도 수준에 다다른다면 산업계에서는 오픈소스 사용도 고려할 가능성이 보인다. 최근 Meta에서 Llama2를 릴리즈하면서 LLM 씬에도 개성있고 우수한 모델이 쏟아져 나오는 스테이블 디퓨전 모먼트가 발생하지 않을까 그 귀추가 주목되고 있다.

- 주된 작업흐름에 대한 이야기는 끝났다. 요약하자면, 어떤 임베딩, 벡터 DB, 그리고 LLM을 사용할지가 애플리케이션의 성능을 좌우하는 핵심 요소이다. MLOps와 비슷하게 RAG 주위로는 수많은 LLMOps 도구들의 생태계가 형성되고 있다. LLM 응답 캐싱을 위해 Redis, GPTCache가, LLM 출력 모니터링, 추적, 평가를 위해 W&B, MLflow, PromptLayer, Helicone이, 출력의 유해성 검증을 위해 Guardrails가, 그리고 프롬프트 주입 공격 방어를 위해 Rebuff가 제공되고 있다.

전체적인 RAG 아키텍처 호스팅은 주로 클라우드 공급자 서비스 내에서 이루어지겠지만, 흥미로운 두 가지 시도가 있다. Streamship은 LLM 앱을 엔드-투-엔드로 호스팅하면서 다양한 기능을 제공하려고 하고, 독자적인 LLM 모델을 갖추고 있는 AnyScale, Mosaic은 모델과 파이썬 코드를 한 곳에서 호스팅 가능하도록 지원하고 있다.

- 다음번에는 RAG 아키텍처에 대해 AWS 서비스로 한정하여 적어볼 예정이다.

참조:
- Emerging Architectures for LLM Applications(https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/)
- Knowledge Retrieval Architecture for LLM’s (2023)(https://mattboegner.com/knowledge-retrieval-architecture-for-llms/?fbclid=IwAR1zYHaStMU-DJuP84iZ-h9K1vMMb_qVtBsQ5FotPqAjv5Lb4fyyBG_nAoI)
- Building LLM Applications for Production(https://huyenchip.com//2023/04/11/llm-engineering.html)
- ChatGPT의 전두엽(장기기억 저장소)으로 각광받고 있는 Vector DB에 대해 알아보자(https://devocean.sk.com/experts/techBoardDetail.do?ID=164964&fbclid=IwAR2XOaqC8QwGjWoThJmUG-mldeuyiIpLefJHmzd9qJE-GuFhqXlQB-ODwi8)

AI로 인해서 새로운 UX(음성, 이미지, 영상, 텍스트) 등 새로운 기기가 등장할 수도 있겠네요. 이 영상은 Iphone을 처음 개발하던 시기에 활동했던 임원들의 인터뷰입니다.

이 내러티브는 아이폰의 구상부터 대중에게 공개되기까지의 애플의 아이폰 개발 여정에 대해 설명합니다. 스티브 잡스가 이끄는 애플 팀은 처음에 아이팟을 개선하고 휴대폰과의 잠재적 경쟁에 맞서기 위해 아이팟을 휴대폰과 결합하여 시장 지위를 유지하는 것을 목표로 삼았습니다. 첫 번째 디자인은 아이팟의 인터페이스와 하드웨어 키보드를 통합했지만, 논리적이고 직관적인 다이얼링 메커니즘을 개발하는 데 어려움을 겪었습니다.

그러던 중 태블릿용으로 개발하던 터치 기술을 포켓 사이즈 휴대폰에 적용하는 아이디어를 떠올리게 되었습니다. 팀은 몇 가지 장애물과 격렬한 작업에 직면했고, 잡스는 유망한 결과물을 제시하지 못하면 프로젝트를 다른 팀에 넘기겠다고 위협했습니다.

가장 어려웠던 부분 중 하나는 기능적이고 사용자 친화적인 소프트웨어 키보드를 설계하는 것이었는데, 이미 잘 알려진 BlackBerry와 비교될 것을 알았기 때문입니다. 키보드 솔루션은 타이핑하는 동안 다음 글자가 닿을 가능성이 있는 영역을 확대하는 동적 타격 영역 시스템을 개발한 팀원으로부터 나왔습니다.

이 프로젝트는 Apple 내부에서도 일급 비밀로 유지되어 소프트웨어 팀과 하드웨어 팀이 서로의 작업 내용을 알지 못하는 경우가 많았습니다. 마침내 잡스가 라이브 데모를 통해 제품을 공개했고, 출시와 동시에 대중의 엄청난 관심을 받으며 아이폰이 곧 사회적으로 큰 영향을 미칠 것임을 암시했습니다.

관련해서는 이런 책들도 좋겠네요.
https://www.amazon.com/Creative-Selection-Inside-Apples-Process/dp/1250194466
https://www.amazon.com/Build-Unorthodox-Guide-Making-Things/dp/B09CF2YB6Z/ref=sr_1_1?crid=3MS1L5GA70UZ1&keywords=build&qid=1690167035&s=books&sprefix=build%2Cstripbooks-intl-ship%2C274&sr=1-1

Relax. Not Everyone is Out to Get You
“If you ever feel that the world is against you, you are not alone. We all have a tendency to assume that when anything goes wrong, the fault lies within some great conspiracy against us. A co-worker fails to give you a report in time? They must be trying to derail your career and beat you to a promotion. Your child drops and breaks an expensive plate? They must be trying to annoy you and waste your time. WiFi in a coffee shop not working? The staff must be lying about having it to lure you in and sample their crappy espresso. But the simple fact is that these explanations which we tend to jump to are rarely true."

Who controls your focus?
“Focus was ingrained in Jobs’s personality and had been honed by his Zen training. He relentlessly filtered out what he considered distractions. Colleagues and family members would at times be exasperated as they tried to get him to deal with issues—a legal problem, a medical diagnosis—they considered important. But he would give a cold stare and refuse to shift his laserlike focus until he was ready.”

Key questions for a new business

1. The customers
1. How big?
2. How fast growing?
2. Problems?
1. How severe?
3. Solutions
1. Why are or will customer not satisfied with this current solution?
4. Your Solution
1. What do we understand that others don’t?
- Could we do that better, cheaper, faster or totally different way?
- Do you understand the competition?
5. Competition
1. Do you have competition?
2. Do you have any proxy in other areas?
6. Distribution
1. Which channel is ideal to scale this idea to 10, 100x?
7. Unit Economics
1. if the difference between money spent and money earned per customer is (+), the business will make money someday.
2. Even if it's - now, if it's getting better, it's something to look forward to.
8. Why now?
1. How has this opportunity evolved?
2. Have technologies been evolved?
3. Have the regulation been changed?
9. Why you?
1. Do you want to address this problem for several years?
10. Idea space?
1. Does this area or problem have a good potential?

AI startup 하시는 분들 7월 30일까지 Sequioa Arc(초기 스타트업 투자 프로그램 like YC)가 열렸네요.
https://www.sequoiacap.com/arc
Pros
Sequioa네트워크를 활용할 수 있다.
Cons
만약 Sequioa가 후속투자 안 해주면 왜 못받았는지 질문을 많이 받을 수 있습니다.

How will spatial services be redefined in the future?

https://www.linkedin.com/posts/genai-works_the-best-stop-motion-video-ever-produced-activity-7089135122884530176-WMBN?utm_source=share&utm_medium=member_desktop

Bolt, a symbol of overheated financing and questionable due diligence during the pandemic, received an SEC subpoena over statements it made to investors, according to an investor letter. A separate suit says founder Ryan Breslow ousted three board members for not forgiving a $30 million loan.

https://www.theinformation.com/articles/bolt-probed-by-sec-investors-over-statements-made-during-fundraising?utm_medium=email&utm_campaign=article_email&utm_content=article-10930&utm_source=sg&rc=ocojsj

“실리콘밸리에서는 좁은 기회를 뚫기 위해 서로 싸우고 경쟁하기보다는, 공유하고 협력합니다. 성공한 사람을 질투하기 보다는, 다음 세대를 끌어주고 도와줍니다. 오늘 만난 인연으로 다함께 더 협력하고, 공유하여 AI를 발전시키기를 기원합니다.”

Super Koreans

https://www.facebook.com/686279174/posts/pfbid02kEDZocxasrmECHNedA5T9vbgUWT7E5WuTPssVTbJLwBQDwegNd2dpTBnjbtm4xF3l/?mibextid=5eVWNK

How innovation happens in bio pharma?

Builders will need to understand both a) how to exploit the latest and greatest AI tech, and (perhaps more importantly) b) how to commercialize a product or platform in biopharma and healthcare with a defensible product and go-to-market strategy. As such, we believe teams with depth in both (scientists, AI experts, healthcare builders and operators, product and go-to-market experts) will be best poised to lead and win in this new era.

What AI startups should you keep an eye on? :robot_face: 🔥 We asked some incredible investors and founders for their picks. Here are 13 companies pushing the AI frontier 👇

1. Alife
Alife is revolutionizing IVF with AI-powered tools. It’s enhancing decision-making at crucial stages like ovarian stimulation & embryo selection, making fertility treatments more accessible and efficient.
- Rebecca Kaden, Union Square Ventures

2. Glean
Glean uses AI to provide unified, contextual search across apps. Quickly becoming more than just a tool - it’s an intuitive work assistant.
- Josh Coyne, Kleiner Perkins

3. LanceDB (YC W22)
Multi-modal AI is revolutionary, but data management remains a challenge. Lance optimizes storage and handling for this unstructured data, increasing performance, & reducing costs.
- Saar Gur, CRV

4. Abnormal Security
We’ve seen a surge in AI-powered fraud. As these sophisticated attacks rise, so does the need for AI defenses. Abnormal Security uses AI to counter AI threats.
- Saam Motamedi, Greylock

5. Factory
Factory is creating AI coding “droids” designed to take care of an engineer’s annoying busywork, tackling routine tasks like code review and debugging.
- Markie Wagner, Delphi Labs

6. Lamini
Lamini LLM engine creates and fine-tunes customized, private models. It also has a neat partnership with Databricks, making it even easier to get up and running.
- Todd Jackson & James C. Wu, First Round Capital

7. Sereact
Sereact is revolutionizing warehouse automation, leveraging AI to train its robot arm. From picking electronic devices to soft fruits, its arm navigates spatial and physical nuances v well.
- Nathan Benaich, Air Street Capital

8. Mistral AI
Mistral, founded by impressive AI talent, is developing superior OS language models. A potential European challenger to OpenAI.
- Stanislas Polu, Dust

9. poolside
Poolside is another player in the AI-programming space. Its approach is to create a dedicated foundation model focused on one use case: code generation.
- Matan Grinberg, Factory

10. NewLimit
NewLimit is using ML to change the game in epigenetic reprogramming. Their approach could be transformative for treating intractable diseases.
- Simon Barnett, Dimension

11. Runway
Runway is building a new creative suite with AI. It brings professional-grade video creation to anyone. Already used by Fortune 500 and major movies productsions.
- Grace Isford, Lux Capital

12. Labelbox
By making it easy to select, annotate, and assess data, Labelbox makes it easier to experiment with using AI models like GPT-4.
- Robert Kaplan, SoftBank

13. Dust
Dust leverages LLMs for enterprise productivity. The startup is building a “team operating system” designed to augment knowledge workers.
- Konstantine Buhler, Sequoia Capital

There’s a lot more insight and detail in the piece, linked below. Jump in and subscribe for more glimpses of the future 🙂

“Nobody tells this to people who are beginners, I wish someone told me. All of us who do creative work, we get into it because we have good taste. But there is this gap. For the first couple years you make stuff, it’s just not that good. It’s trying to be good, it has potential, but it’s not. But your taste, the thing that got you into the game, is still killer. And your taste is why your work disappoints you. A lot of people never get past this phase, they quit. Most people I know who do interesting, creative work went through years of this. We know our work doesn’t have this special thing that we want it to have. We all go through this. And if you are just starting out or you are still in this phase, you gotta know its normal and the most important thing you can do is do a lot of work. Put yourself on a deadline so that every week you will finish one story. It is only by going through a volume of work that you will close that gap, and your work will be as good as your ambitions. And I took longer to figure out how to do this than anyone I’ve ever met. It’s gonna take awhile. It’s normal to take awhile. You’ve just gotta fight your way through.”

― Ira Glass

Random question
한국은 이런 문화가 있다고 생각하시나요? 그 이유는 뭐라고 생각하세요?
한국에 긍정적인 영향을 줄 수 있는 pay it forward 문화를 만들려면 뭘 해야할까요?

정말 좋은 말. 어떤 일이라도 시작하자마자 열정있는 사람은 없음. 그냥 열심히 하면서 그 안에서 열정을 찾는 것. 열정이 있는 사람과 함께 할 수 있다면 그것 자체가 인생의 운. 살다보니 내 인생에서 좋은 기회는 내가 잘해서가 아니라 내 주변 선배들이 나에게 열정을 불어넣어주어서... 나도 모르게 무언가 하다보니 실력이 생기게 되었던 것 같음. 그게 또 다른 일의 기회가 되었고. 그게 사람 사는 것 아닐까?

Top 7 MLOps GitHub Repository

➡ MLOps Zoomcamp
https://lnkd.in/dJprs9hE

➡ MLOps-Basics
https://lnkd.in/dEMMnuPm

➡ MLOps Guide
https://lnkd.in/guSsnb4m

➡ Awesome MLOps
https://lnkd.in/dZ-WfnY

➡ Awesome MLOps - Tools
https://lnkd.in/dG66ATXm

➡ DTU MLOps
https://lnkd.in/dnGKQvKt

➡ MLOps Course
https://lnkd.in/dQ69PBUr

최근 일론 머스크의 AI 스타트업 ‘xAI’의 공식 출범 이후, 그들의 첫 공개적인 행보가 트위터 스페이스에서 진행되었습니다.

일론 머스크가 xAI의 공동 설립자들과 이야기를 나눈 것인데, 팀의 방향성과 그들의 사명이 잘 나타난 것 같아 내용을 정리해봤습니다.

유튜브 백색나무님께서 내용을 잘 번역해주셨습니다. 이곳에서 전체 내용을 보실 수 있습니다.


1/ xAI의 궁극적인 목표는 ‘우주의 진정한 본질을 이해하는 것’.

그들은 과학을 추구하며, 단순히 AGI라는 시스템의 구축이 아닌 모든 것에 대한 ‘이해’에 집중함.

2/ 이를 위해 그들이 만들고자 하는 것은 ‘고차원적인 목적’을 가진 선한 AGI.

고차원적인 목적이라 함은, 암흑 물질과 같이 아직 해결되지 않은 우주의 근본적인 의문들을 해결하는 것.

3/ 즉 (리만 가설과 같은) 근본적이고 중요한 문제를 풀 수 있는지가 AGI의 영역에 도달했는지 판단하는 핵심 요소라고 함.

인간이 역사적으로 이런 근본적인 의문들을 상당 부분 해결해왔듯, 컴퓨터도 이를 하나라도 해결할 수 있어야 AGI에 도달했다고 생각하는 것.

4/ AI 안전은, AI가 최대한의 호기심을 갖고 진실을 탐구하도록 해야 이루어질 수 있음.

도덕적으로 프로그래밍 된 AI는 단순히 뒤집기만 하면 악한 AI가 될 수 있음. 그렇기 때문에 호기심과 진실을 추구하는 것이 역도덕성 문제를 피하는 방법임.

5/ 태양계만 보더라도 인류만큼 흥미롭고 호기심이 드는 존재는 없음.

즉 AI는 인류가 없는 것보다 있는 것이 훨씬 더 흥미롭다고 여길 것이기 때문에 이를 쫓으면 안전한 AI가 만들어질 수 있을 것.

6/ 현재 진행되는 AI의 방식들은 굉장히 크게 빗나가고 있다고 생각함.

일례로 AI는 10MW의 GPU 컴퓨팅으로도 훌륭한 작가의 집필 능력을 따라가지 못함.

7/ 그에 반해 인간은 고작 10W로 두뇌 능력을 활용하기 떄문에, 10^6(약 100만 배)만큼의 전력 소모 차이가 남.

또한 전기화학과 같은 기술적인 질문에 있어서도 도움이 안 되는 무의미한 답변만 줌.

8/ 답은 생각보다 훨씬 간단할 것임.

현재의 AI 개발은 무차별적으로 대량의 데이터를 학습하는 방식이지만, 성공하지 못하고 있음.

9/ 솔루션을 직접 하드 코딩할 수도 있지만, 컴퓨터가 알아서 해결책을 찾도록 하는 것이 훨씬 더 효과적인 경우가 많음.

결국 AI가 스스로 데이터를 생성하고 평가하는 것이 AGI로 향하는 길이라고 생각함.

10/ AI의 전력 효율성은 앞으로 더욱 중요해질 것임.

전력 효율에 신경 쓰지 않으면 더 많은 발전기와 변압기가 필요해지며, 이를 확보하지 못하면 컴퓨팅에 병목이 생길 수 있음.

11/ 결국 어느 시점에는 지불할 비용이 있음에도 AI를 작동할 수 없게 될 수도 있기 때문에, 에너지 최적화된 추론이 매우 중요해질 것임.

12/ 이러한 에너지 효율적인 측면에서 xAI는 상당한 이점을 얻을 수 있음.

일론 머스크의 또 다른 기업인 테슬라가 GPU 역할을 하는 자체 칩 HW3.0과 자체 슈퍼컴퓨터인 Dojo를 가지고 있기 때문.

13/ xAI는 두 가지 지표를 추적함. 1인당 컴퓨팅의 양과 1인당 에너지의 양.

현재 GPU의 원료인 실리콘이 매우 부족한 상황임. 1년 후에는 변압기가 부족해질 것이며, 2년 후에는 전력 부족으로 이어질 것. 결국 몇 년 후 가장 중요한 지표는 ‘에너지 당 컴퓨팅 양’이 될 것.

14/ 일론 머스크는 테슬라, 스페이스X 등 Real-World와 관련된 기업을 소유하고 있음.

이는 OpenAI와의 큰 차별점이며, 이들 기업 간의 협업과 테슬라의 현실 세계 AI와 관련된 엄청난 통찰력은 xAI에게 큰 도움이 될 것임.

15/ 이미 xAI 내부에서는 첫 번째 발표(release)를 준비 중이며, 몇 주 안에 더 많은 정보를 공개할 예정.


저희도 AGI에 대한 답이 생각보다 간단할 수 있다고 생각합니다. 생각보다 많은 문제들은 명확하고 간단한 프레임워크를 제시한 이후, 그 틀에서 문제를 바라볼 경우 쉽게 풀리는 경우가 많았습니다.
이는 다윈의 진화론과 왓슨-크릭의 DNA 발견에서도 확인할 수 있습니다.

아직까지 우리는 두뇌가 어떠한 방식으로 사고하는지에 대한 프레임워크를 갖추지 못했을 뿐, 간단한 프레임워크만 등장한다면 의외로 쉽게 그 구조를 이해하고 AI에 유사한 솔루션을 적용해볼 수도 있습니다.

이러한 새로운 접근법을 통해 지금까지 풀리지 않던 다양한 문제를 AGI가 해결한다면 이러한 기초 원리들을 응용해 더욱 많은 발전이 일어날 수 있을 것이고, 그 속도는 더욱 가팔라질 것입니다.

재밌는 건, 계속해서 AGI의 기준이 올라간다는 것입니다.
과거에는 수학 문제를 풀거나 인간 챔피언에게 체스를 이기면 AGI에 도달한 것이라고 생각했으나, 그것이 바둑, 그리고 이제는 인간이 풀지 못한 문제를 해결하는 것까지 넘어온 것입니다.
리만 가설과 같은 중요한 문제를 풀게 되면 그때는 인간이 AGI를 인정하게 될까요?

인류를 풍요롭게 하기 위해서, 이들은 더욱 깊은 본질을 보고 있습니다. 영상을 보고 나서, 개인적으로도 많이 응원하게 되는 것 같네요.
읽어주셔서 감사합니다. :)