Continuous Learning_Startup & Investment – Telegram
Continuous Learning_Startup & Investment
2.4K subscribers
513 photos
5 videos
16 files
2.72K links
We journey together through the captivating realms of entrepreneurship, investment, life, and technology. This is my chronicle of exploration, where I capture and share the lessons that shape our world. Join us and let's never stop learning!
Download Telegram
Coming AI event in sf
💁‍♂️ How to Play Long Term Games:

Systems > Goals
Discipline > Motivation
Trust > Distrust
Principles > Tactics
Writing > Reading
Vulnerability > Confidence
North Stars > Low Hanging Fruit
Trends > News
Habits > Sprints
Questions > Answers
Problems > Solutions
People > Projects
AI가 게임의 제작부터 게임의 UI/UX까지 많은 부분을 변화시켜놓을 거라고 생각합니다.

지난 몇년간 AI 모델은 엄청난 속도로 변화해왔는데요. 가장 최신의 AI 모델의 발전 역사와 앞으로 예상되는 AI 연구주제를 바탕으로 미래의 게임을 상상해봅니다.

Stable Diffusion 모델이 빠르게 혁신하면서, 게임 아트와 관련해서 다양한 실험이 이루어지고 있습니다. 게임 아트를 기획하고 개발하는 과정에서 AI를 잘 사용한 프로세스는 뭘까요?

이 두가지 질문에 대해서 궁금증이 생기셨다면 아래 구글폼을 작성해주세요 🙂

https://forms.gle/RFJjwqELL9juekP66
What era do we live in?

A wide range of AI tasks that used to take 5 years and a research team to accomplish in 2013, now just require API docs and a spare afternoon in 2023.

Not a single PhD in sight. When it comes to shipping AI products, you want engineers, not researchers.

Microsoft, Google, Meta, and the large Foundation Model labs have cornered scarce research talent to essentially deliver “AI Research as a Service” APIs. You can’t hire them, but you can rent them — if you have software engineers on the other end who know how to work with them. There are ~5000 LLM researchers in the world, but ~50m software engineers. Supply constraints dictate that an “in-between” class of AI Engineers will rise to meet demand.

Fire, ready, aim. Instead of requiring data scientists/ML engineers do a laborious data collection exercise before training a single domain specific model that is then put into production, a product manager/software engineer can prompt an LLM, and build/validate a product idea, before getting specific data to finetune.

Let’s say there are 100-1000x more of the latter than the former, and the “fire, ready, aim” workflow of prompted LLM prototypes lets you move 10-100x faster than traditional ML. So AI Engineers will be able to validate AI products say 1,000-10,000x cheaper. It’s Waterfall vs Agile, all over again. AI is Agile.
새로운 것이 등장하면 그 누구도 전문가가 될 수 없는 시기가 있습니다. 그저 관심 있는 사람들만 관심을 갖고 가지고 놀며 서로 이야기할 뿐입니다. 하지만 결국에는 그 일이 성숙해지고 그 창이 닫힙니다. 진입 장벽이 훨씬 높아진 후에는요.

당신은 AI로 전환하기 위해 너무 늙지 않았습니다.

https://www.latent.space/p/not-old
AI x Design: https://www.figma.com/blog/ai-the-next-chapter-in-design/

혹시 Design 쪽 커리어를 가져가고 있는 분들중 실력과 관심 두가지가 다 있는 지인 분들이 있으실까요?~ ㅎㅎ
5명정도만 모여도 재밌는 이야기 많이 할 수 있을 것 같은데요!
지난 며칠동안 프랑스 부르고뉴 지방서 유명한 와이너리 오너들과 시음하고, 식사하고 또 음악을 즐기는 시간을 가졌다. 특별한 인연때문 아니라 그냥 아는 사람이 소수인원 (8명) 가는 일정을 만들었는데 거기 끼여서 갔다.

태국기업이지만 세계적으로 사업하는 사람, 호주 대기업 대표, 또 상장기업 투자가 그리고 나... 다들 부부 동반으로 참가했는데 기대보다 훨씬 값진 시간 이였다.

와이너리 오너들하고 같이 즐기면서 대화 하는게 우리가 투자한 회사들과 보내는 시간들하고 비슷했다. 날씨에 대한 고민부터 AI 도 고민하고 있다. 참고로 그들은 보통 새벽 6시부터 밤 10시까지 일한다. 그리고 peak season 에는 잠도 거의 못자면서 일한다. 그들에게도 역시 많은 것을 배우고 감탄하게 되었다.

그중 인상 깊었던 말들:

"음식 먹기전 (배가 고플때) 와인은 더 느끼고 맛있다. 사람의 본능이다."

"이제 30년째 하는데 어떻게 해야되는지 조금 알아가는것 같다. 변수가 많아서 계속 실험을 해야된다."

"우린 열심히 한다. 어느 누구보다도. 그렇지만 결국 하늘이 많은것을 좌우하기때문 기도도 많이 한다."

"다들 특유의 방법이 있다. 물론 남들이 뭘 어떻게 하는지 관심있게 보지만...그리고 실헙도 하지만 우리만의 방식대로 한다."

"모든 와인은 마실때마다 다르다. 각 사람마다 좋아하는 향이 있고 맛이 있는거기 때문 어떤 와인이 절대적이라고 할수 없다. 그리고 똑같은 와인도 병마다 조금씩 다르고 또 그때 기분/분위기 따라서 다른맛을 느낀다." -- (로마네꽁티 오너).

마지막 귀절을 그분에게 듣고... 이제는 편히 쫄지않고 와인 즐길수 있게되서 좋았다.
Continuous Learning_Startup & Investment
What era do we live in? A wide range of AI tasks that used to take 5 years and a research team to accomplish in 2013, now just require API docs and a spare afternoon in 2023. Not a single PhD in sight. When it comes to shipping AI products, you want engineers…
I think this is mostly right.
- LLMs created a whole new layer of abstraction and profession.
- I've so far called this role "Prompt Engineer" but agree it is misleading. It's not just prompting alone, there's a lot of glue code/infra around it. Maybe "AI Engineer" is ~usable, though it takes something a bit too specific and makes it a bit too broad.
- ML people train algorithms/networks, usually from scratch, usually at lower capability.
- LLM training is becoming sufficently different from ML because of its systems-heavy workloads, and is also splitting off into a new kind of role, focused on very large scale training of transformers on supercomputers.
- In numbers, there's probably going to be significantly more AI Engineers than there are ML engineers / LLM engineers.
- One can be quite successful in this role without ever training anything.
- I don't fully follow the Software 1.0/2.0 framing. Software 3.0 (imo ~prompting LLMs) is amusing because prompts are human-designed "code", but in English, and interpreted by an LLM (itself now a Software 2.0 artifact). AI Engineers simultaneously program in all 3 paradigms. It's a bit 😵‍💫

https://twitter.com/karpathy/status/1674873002314563584
잠수함의 생명은 당연히 은밀함이다. 물속에서는 일반적인 전자기파를 쓰기 어려우니 (attenuation coefficient가 커서 진행거리가 매우 짧음), 레이더를 사용하기 어렵다. 대신 잠수함이 만들어내는 소음이 잠수함 탐지의 주된 수단이다. 수상함의 아군은 소나 (Sound of Naviation And Ranging, SONAR) 등의 장비를 이용하여 적의 잠수함이 만들어내는 소음 패턴 (음문)을 인식, 피아식별을 할 수 있으며, 바닷물 속에서라면, 아군의 잠수함에서 액티브 핑 (active ping) 등의 방법으로 적의 잠수함에서 되돌아 오는 음문을 파악하는 능동 소나를 사용할 수 있다. 물론 이 경우, 적 역시 특정 방향과 거리에서 오는 적의 능동 소나 자체를 상대를 파악하기 위한 수단으로 역이용할 수 있다. 그러나 능동 소나를 쓰려면 기본적인 조건이 필요하다. 대략 어느 지점 (거리와 깊이)에 적의 잠수함으로 추정되는 물체가 있는지에 대한 정보는 있어야 한다는 것이다. 애초에 이 정보가 없으면 능동 소나는 무용지물이다.

따라서 현대 잠수함전의 기술 발전에 있어, 나의 소리를 죽이고 상대의 미세한 소리를 캐치하는 것은 가장 중요한 요소가 되었다. 특히 잠수함 추진체계가 디젤에서 원자력으로 바뀌면서 디젤 특유의 발전기 소리나 엔진 소리를 많이 감소시킬 수 있었기 때문에, 자연스럽게 원자력 잠수함은 강대국들의 전략 잠수함의 기본적인 옵션이 되었다. 톰 클랜시의 원작으로도 잘 알려진 영화인 '붉은 10월'에서도 바로 이러한 기술이 나온다. 구소련 시기, 타이푼급 최신예 전략 핵잠수함 '붉은 10월'호는 실제로 냉전 시기 구소련 해군이 자랑하는, 즉, 서방 세계로서는 가장 위협적인 전략 핵잠수함이었다. 영화에서 그려지는 이 잠수함의 신기술은 바로 잠수함 소음이 거의 없는 스텔스 기술이었다. 물론 이 스텔스 기술은 우리가 잘 알고 있는 F-22나 F-35 같은 전투기의 스텔스 기술과는 좀 결이 다르다. 영화에서는 아주 자세히 이 기술의 원리가 설명되지는 않지만, 사실 이 영화가 개봉한 1990년 기준은 물론, 톰 클랜시의 원작이 나온 1984년에도 사실 이 기술이 실제한다는 정보는 알려져 있었다.

냉전 시절, 특히 미국과 소련의 경쟁이 극에 달했던 70-80년대, 양국은 서로의 전략 핵잠수함을 추적하기 위해 열을 올리고 있었다. 다만 공업생산력과 기술에서 미국에 뒤쳐졌던 소련은 자국의 핵잠수함의 원자력 추진 기관의 소음 제거에 큰 고난을 겪고 있었다. 디젤에 비해서 소음이 작다지만, 결국 물속에서 잠수함을 추진하는 방법은 프로펠러를 돌리는 것에서 벗어날 수 없었기 때문이었다. 소련 해군은 소음을 조금이라도 줄이기 위해 타이푼의 전체를 고무 타일로 이어 붙여 감싸는 방법을 시도했는가 하면, 기관실의 유압체계를 바꾸는 시도를 했다. 그러나 이러한 방법은 미봉책에 불과했으며, 사실 프로펠러가 고속으로 회전하게 되면 소음은 다시 커지는 현상이 반복되었다.

잠수함의 프로펠러가 고속으로 회전할 때 프로펠러 주변에는 공동 (cavity)가 생긴다. 이는 간단한 유체역학 이론만 알아도 이해할 수 있는 현상이다. 문제는 프로펠러가 가진 비스듬한 날개 형상을 바꾸지 않는 한, 프로펠러가 고속으로 회전할 때 이 공동은 계속 생겨나고, 공동의 붕괴와 발생이 반복되면서 세찬 물살의 흐름이 생겨나서 기포가 발생하고 소음이 생기는 것을 피할 수 없었던 것이다. 이를 조금이라도 줄이려면 고무타일을 덮는 작업 따위로는 대응이 안 되고, 아예 프로펠러 자체의 형상 (예를 들어 표면에 홈을 만드는 등)을 공동을 최소화할 수 있는 형상으로 바꿔야했다. 문제는 80년대 초반 당시 서방에 비해 한참 뒤쳐진 소련의 공업기술력, 특히 정밀기계공학 실력으로는 이 정도의 고도의 정밀도를 만족시키면서 부품을 가공하는 것은 극도로 어려웠다는 것이다. 사실 가공에 대한 이론 자체는 당시의 소련도 빠삭했지만 (애초에 스텔스기의 기체 형상 최적화에 대한 수학 이론 논문이 50-60년대 구소련에서 먼저 나온 것을 생각해 보자.), 그 이론을 현실로 바꿀 시스템, 특히, 장비가 부족했다는 것이 문제였다. 정밀한 기계 가공은 그에 적합한 정밀 공작기계를 필요로 한다. 그러나 소련은 물론, 중국, 북한, 그리고 당시 바르샤바 조약기구 회원국 중에 당시 최정상급 공작기계 기술을 보유했던 일본이나 서독 수준의 기술을 보유하고 있던 나라는 없었다.

당시는 냉전시대여서 사실 이러한 정밀공작기계가 첨단 무기 시스템에 활용될 수 있다는 것은 미국과 나토, 그리고 미국의 주요 동맹국들 모두 잘 알고 있었던 사실이었다. 2차 대전 종전 후, 냉전이 시작되자 미국은 서방세계 일부 나라들과 '대공산권 수출 통제 위원회(Coordinating Committee for Multilateral Export Controls)' 또는 줄여서 코콤(COCOM) 이라 불리는 다자간 협력기구를 만들었다. 코콤은 소련과 소련이 원조하는 국가들 (공산권의 '경제상호원조회의 (COMECON)')에 대해, 전략적 판단에 의거한 주요 기술과 물품의 수출을 제제하는 경제 제재 조치를 공동으로 시행하는 것을 주요 골자로 삼았다. 당시 회원국들은 호주, 캐나다, 영국 같은 이른바 Five Eyes 국가들 외에도, 현재의 나토를 이루는 주요 국가들인 네덜란드, 노르웨이, 스페인, 프랑스, 덴마크, 서독 같은 유럽 국가들 그리고 일본도 포함되어 있었다. COCOM의 회원국들은 미리 합의된 통제 품목과 기술에 대해 상호 비준을 감시하고 통제하며, 특히 민간 기술이 군사 목적으로 이전되는 라이센스 정책에 대한 일관적인 통제를 따르는 것을 합의하였다. 정밀공작기계는 바로 이러한 COCOM의 라이센스 정책 통제를 받는 물품이었는데, 이는 일본이나 서독의 회사들이 공산권 국가로 정밀공작기계를 수출하는 것이 냉전 시절에는 사실상 막혀 있었다는 뜻이다.

물론 소련이 이러한 협정을 뚫고 물품을 구하기 불가능했던 것은 아니다. 가장 흔한 수법인 위장 회사를 만들어 민수용으로 수입하는 방식, 혹은 부품을 따로 주문하여 현지에서 재조립하는 방식을 쓸 수 있었기 때문이다. 80년대, 일본은 자동차, 기계, 전자, 반도체 할 것 없이, 거의 모든 종류의 제조업 분야에서 글로벌 선두를 달리고 있었고, 90-00년대 한국이 그랬듯, 세계 각지에 종합상사 지점을 세워서 글로벌 시장을 휘어잡고 있었다. 그 엄중한 시절에 일본의 종합상사들은 심지어 소련의 심장인 모스크바에도 지점을 세웠는데, 구 소련의 KGB 요원들은 바로 이 지점이 약한 고리임을 알았다. 1980년, KGB 요원들은 소련의 기계공업 회사 직원으로 위장한 후, 도시바가 만들던 기계류가 포함된 카탈로그를 직접 들고 모스크바 주재 일본의 종합상사인 이토추 상사의 지점을 찾아 기계 수입을 의뢰했다. 소련이 잠수함 프로펠러 가공에 필요로 했던 기계는 잠수함의 크기를 생각해 보면 3층 건물 정도의 육중한 부피를 자랑하는 엄청나게 큰 기계였는데, 그 기계를 당시에 유일하게 만들던 회사는 일본의 도시바였다 (현재 테슬라가 보유한 기가프레스가 생각나는 대목이다.). 기계만 필요한 것이 아니라, 형상 설계와 최적화를 위한 수치해석 전용 소프트웨어와 운용 장비도 필요했는데, KGB는 이를 위해 일본 회사가 아닌, 노르웨이의 기계공업 회사인 콩스베르크 (Kongsberg)을 섭외했다. 역시 마찬가지로 민수용 기계류 수입에 대한 것이라는 조건을 달았다.

COCOM의 협정에 따르면 비록 민수용이라고 해도 이러한 소련 내 거래는 신고되어야 하고, 승인이 나온 후에야 이루어질 수 있었다. 그렇지만 소련은 이들 회사에 시장가의 몇 배나 되는 금액인 5천만 달러 (현재 가치로는 2-3억 달러)를 제시하였고, 거래 규모의 성장에 목마른 종합상사맨들은 이 거래가 불발될까 싶어, 고의로 이 거래를 당국에 신고하지 않았다. 이로써 1981년부터 1984년까지 4년 동안 도시바의 거대한 공작기계와 콩스베르크의 정밀기계 제어 소프트웨어, 그리고 각종 부품은 소련으로 반입될 수 있었다. 기록에 따르면 도시바의 공작기계는 연간 2-3대씩, 총 9대가 소련으로 납품되었다고 하는데, 납품 서류의 수입 당사자는 당연히 소련의 민간 장비 업체로 기록되어 있었다.