Wanting to get started with Generative AI and LLMs, but not sure where to start? 🤔 I am super excited to share Amazon Web Services (AWS) and DeepLearning.AI just launched "Generative AI with LLMs" course, designed specifically for individuals and beginners! 🔰🔥

In Generative AI with Large Language Models (LLMs), you’ll learn the fundamentals of how generative AI works and how to use the Hugging Face ecosystem (Transformers, PEFT, TRL) to instruction-tune, RLHF, or deploy open-source LLMs! 🤯

👉 https://lnkd.in/ep68k-Pk

I am incredibly proud to say that I worked behind the scenes with Antje Barth, Chris Fregly, and Mike Chambers to make this course a reality. Huge kudos to everyone who was involved.
🤗 https://lnkd.in/e3a8jXw7

If you've ever been curious about how generative AI works or want to refresh your knowledge, this course is an absolute must-attend! 🔥🤝

최초로 IOS 탈옥에 성공했던 미국의 천재 해커 조지 호츠(George Hotz)가 그동안 베일에 감춰진 GPT-4의 구조에 대해 언급했습니다.

그가 GPT-4의 성능을 높이는 핵심 구조로 언급한 ‘MoE(Mixture of Experts)’ 모델에 대해 알기 쉽게 내용을 정리해보았습니다.

https://news.aikoreacommunity.com/ceonjaehaekeo-jiohasi-gpt-4yi-bimileul-puleonaeda/

1/ 조지 호츠는 OpenAI의 GPT-4가 1조 개의 파라미터(parameter)를 가진 모델이 아닌, 2,200억 개의 파라미터를 가진 모델 8개가 혼합된 구조로 이루어져 있다고 주장.

즉 같은 크기의 모델을 여덟 번 훈련 시킨 후, ‘MoE’라는 모델 구조를 활용하여 1조 개의 파라미터를 가진 큰 모델인 척 트릭을 썼다는 것.

그렇다면 MoE가 무엇일까?

2/ MoE(Mixture of Experts)는 여러 개의 신경망을 서로 다른 분야에 특화된 전문가(Experts) 신경망으로 각각 훈련시키고, 이 신경망들을 혼합(Mixture)하여 활용하는 딥러닝 모델 구조임.

즉 여러 개의 서로 다른 신경망(전문가)이 서로 다른 문제나 데이터 분야를 처리하도록 설계된 모델인 것.

3/ MoE 모델은 크게 두 가지로 구성됨. 전문가(Experts)와 게이트(Gate).

전문가는 앞서 말했듯 특화된 각 부분에 대한 처리를 담당함. 게이트는 입력값(input)에 대해 각 전문가에게 가중치를 부여하는 역할을 수행함.

4/ MoE 모델이 답변을 내는 방식은 다양함. 큰 가중치를 부여받은 전문가가 출력값(output)을 생성하거나, 혹은 각 전문가들의 답변에 가중치를 매긴 후 이를 합쳐서 출력값을 생성하는 방식도 있음.

어떤 방식이든 각 모델이 전문화된 분야에 특화된 답변을 제공하기 때문에, 같은 크기의 모델로 이루어진 단일 신경망 구조보다 더 높은 답변 성능을 낼 수 있는 것.

5/ 한 가지 단점은 여러 개의 모델을 한 번에 사용하다 보니 계산 및 메모리 비용이 기존 단일 신경망 구조보다 높아질 수 있다는 것.(MoE는 여러 개의 신경망 모델을 이용하기 때문)

하지만 이는 병렬 처리와 관련된 연구와, Sparse Gate 등 다양한 연구를 통해 계속해서 해결되고 있음. 아래 링크는 관련 연구 논문 중 하나.
https://arxiv.org/pdf/2212.05055.pdf

6/ 또한 MoE 구조는 파라미터가 적은 모델일수록 한 개의 신경망으로 작동하는 모델보다 성능을 향상시키기 어려움.

데이터 세트가 작을수록 각 모델이 학습할 수 있는 특정 데이터가 매우 제한적이기 때문.

하지만 학습된 데이터 세트가 커질수록 각 신경망이 학습할 수 있는 데이터가 많아지므로 이 구조가 매우 효율적으로 작용함.

7/ 즉 MoE 구조는 대규모 언어 모델에 매우 적합하다는 것.

GPT-3.5의 파라미터(parameter)는 1,750억 개이며, 조지 호츠가 GPT-4에서 사용되었다고 주장한 모델의 파라미터는 2,200억 개.

만약 그의 주장이 맞다면 GPT-3.5와 GPT-4의 성능 차이는 파라미터의 차이가 아닌 MoE 구조의 유무에서 오는 차이라는 뜻.

8/ MoE가 갖는 특성은 GPT-4와 같은 대규모 AI 모델을 만드는 데 적합하게 사용될 수 있음.

샘 알트만 또한 AI 모델의 규모의 한계에 대해서 언급한 바가 있기에, 규모의 한계를 뛰어넘는 성능을 발휘하도록 하는 MoE 구조의 활용성이 매우 기대됨.

팟캐스트 전문은 이곳에서 볼 수 있습니다. 읽어주셔서 감사합니다. :)

https://www.latent.space/p/geohot#details

인터뷰 보는 내내 창업자가 자신이 만들고 있는 제품과 고객을 사랑하는 게 느껴진다._Character.ai

1. 사용자에게 Character.ai를 어떻게 사용하라고 알려드리는 것은 저희의 일이 아닙니다. 저희의 일은 일반적인 것을 내놓고 사람들이 그것을 즐겁게 사용하는 것을 보는 것입니다.
2. 많은 사람들이 외롭거나 고민이 있어 대화 상대가 필요하기 때문에 페르소나를 사용합니다.
3. 유저들이 Character.ai의 캐릭터들을 롤플레잉 게임, 텍스트 어드벤처, TV 또는 인터넷 인플루언서 시청 등 다양한 방식으로 사용합니다.

https://youtu.be/GavsSMyK36w
https://youtu.be/emCoG-hA7AE

It’s not our job to tell you what uses for. Our job is to put out something general and see people enjoy using it.
Many use personas because they are lonely or troubled and need someone to talk to.
Noam Shazeer talks about the concept of a persona, which is a character or a person that users create in order to use their imagination. He explains that people use persona in various ways, such as role-playing games, text adventures, and watching TV or internet influencers.
the backstory of Character, where they wanted to create a technology that was accessible, flexible and put the user in control.

New open-source LLMs! 🔔 Salesforce just released XGen 7B, a new LLM with an 8k context under the Apache 2.0 license. 🔓 XGen uses the same architecture as Metas LLaMa and is, therefore, a 1-to-1 replacement for commercial use! 🔥 XGen achieves similar performance to LLaMa on MMLU and outperforms on coding! 🎖

TL;DR; ✨:
🔠 Trained on 1.5T Tokens
🪟 8192 context window
🧮 7B parameter
🔓 Apache 2.0 license
🧠 Trained on TPUs
🧑🏻‍💻 Can write code
🤗 Available on Hugging Face

Model: https://lnkd.in/emHEPZy8
Announcement Blog: https://lnkd.in/e6utBth9

It's exciting to see more LLaMa models released with permissive licenses. Hopefully, Salesforce will continue the model family with 13 or 16B versions.🚀

We develop a method to test global opinions represented in language models. We find the opinions represented by the models are most similar to those of the participants in USA, Canada, and some European countries. We also show the responses are steerable in separate experiments.

https://twitter.com/AnthropicAI/status/1674461614056292353?s=20

Inflection AI today announced that the company has raised $1.3 billion in a fresh round of funding led by Microsoft, Reid Hoffman, Bill Gates, Eric Schmidt, and new investor NVIDIA. The new funding brings the total raised by the company to $1.525 billion.

Largest AI cluster in the world
The deployment of 22,000 NVIDIA H100 GPUs in one cluster is truly unprecedented, and will support training and deployment of a new generation of large-scale AI models. Combined, the cluster develops a staggering 22 exaFLOPS in the 16-bit precision mode, and even more if lower precision is utilized. We estimate that if we entered our cluster in the recent TOP500 list of supercomputers, it would be the 2nd and close to the top entry, despite being optimized for AI – rather than scientific – applications. The rollout of the cluster is actively under way, and we have already been able to confirm its performance in the recent MLPerf benchmark.

https://inflection.ai/inflection-ai-announces-1-3-billion-of-funding

Consider the future of this decidedly "semantic" AI https://learn.microsoft.com/en-us/semantic-kernel/when-to-use-ai/schillace-laws
The "Schillace Laws" were formulated after working with a variety of Large Language Model (LLM) AI systems to date. Knowing them will accelerate your journey into this exciting space of reimagining the future of software engineering. Welcome!

Don’t write code if the model can do it; the model will get better, but the code won't. The overall goal of the system is to build very high leverage programs using the LLM's capacity to plan and understand intent. It's very easy to slide back into a more imperative mode of thinking and write code for aspects of a program. Resist this temptation – to the degree that you can get the model to do something reliably now, it will be that much better and more robust as the model develops.

Trade leverage for precision; use interaction to mitigate. Related to the above, the right mindset when coding with an LLM is not "let's see what we can get the dancing bear to do," it's to get as much leverage from the system as possible. For example, it's possible to build very general patterns, like "build a report from a database" or "teach a year of a subject" that can be parameterized with plain text prompts to produce enormously valuable and differentiated results easily.

Code is for syntax and process; models are for semantics and intent. There are lots of different ways to say this, but fundamentally, the models are stronger when they are being asked to reason about meaning and goals, and weaker when they are being asked to perform specific calculations and processes. For example, it's easy for advanced models to write code to solve a sudoku generally, but hard for them to solve a sudoku themselves. Each kind of code has different strengths and it's important to use the right kind of code for the right kind of problem. The boundaries between syntax and semantics are the hard parts of these programs.

The system will be as brittle as its most brittle part. This goes for either kind of code. Because we are striving for flexibility and high leverage, it’s important to not hard code anything unnecessarily. Put as much reasoning and flexibility into the prompts and use imperative code minimally to enable the LLM.

Ask Smart to Get Smart. Emerging LLM AI models are incredibly capable and "well educated" but they lacks context and initiative. If you ask them a simple or open-ended question, you will get a simple or generic answer back. If you want more detail and refinement, the question has to be more intelligent. This is an echo of "Garbage in, Garbage out" for the AI age.

Uncertainty is an exception throw. Because we are trading precision for leverage, we need to lean on interaction with the user when the model is uncertain about intent. Thus, when we have a nested set of prompts in a program, and one of them is uncertain in its result ("One possible way...") the correct thing to do is the equivalent of an "exception throw" - propagate that uncertainty up the stack until a level that can either clarify or interact with the user.

Text is the universal wire protocol. Since the LLMs are adept at parsing natural language and intent as well as semantics, text is a natural format for passing instructions between prompts, modules and LLM based services. Natural language is less precise for some uses, and it is possible to use structured language like XML sparingly, but generally speaking, passing natural language between prompts works very well, and is less fragile than more structured language for most uses. Over time, as these model-based programs proliferate, this is a natural "future proofing" that will make disparate prompts able to understand each other, the same way humans do.

Hard for you is hard for the model. One common pattern when giving the model a challenging task is that it needs to "reason out loud." This is fun to watch and very interesting, but it's problematic when using a prompt as part of a program, where all that is needed is the result of the reasoning. However, using a "meta" prompt that is given the question and the verbose answer and asked to extract just the answer works quite well. This is a cognitive task that would be easier for a person (it's easy to imagine being able to give someone the general task of "read this and pull out whatever the answer is" and have that work across many domains where the user had no expertise, just because natural language is so powerful). So, when writing programs, remember that something that would be hard for a person is likely to be hard for the model, and breaking patterns down into easier steps often gives a more stable result.

Beware "pareidolia of consciousness"; the model can be used against itself." It is very easy to imagine a "mind" inside an LLM. But there are meaningful differences between human thinking and the model. An important one that can be exploited is that the models currently don't remember interactions from one minute to the next. So, while we would never ask a human to look for bugs or malicious code in something they had just personally written, we can do that for the model. It might make the same kind of mistake in both places, but it's not capable of "lying" to us because it doesn't know where the code came from to begin with. _This means we can "use the model against itself" in some places – it can be used as a safety monitor for code, a component of the testing strategy, a content filter on generated content, etc. _

Could one Language Learning Model handle all programming languages? Or should we tailor a model for each? What's your take? #LLM #ProgrammingLanguages

https://www.linkedin.com/posts/mateizaharia_introducing-english-as-the-new-programming-activity-7080242815120637952-bIY0?utm_source=share&utm_medium=member_ios

How copilot works at the high level, https://youtu.be/B2-8wrF9Okc.

State of GPT talk by Andrej Karpathy: https://www.youtube.com/watch?v=bZQun8Y4L2A&t=373s

Would highly recommend watching the above! A 45-minute lecture going over the State of Generative LLMs, how are they trained, what they can and can't do, advanced techniques like CoT, ReAct, Reflection, BabyAGI, and Agents in general and finally some great tips on using LLMs in production. Pretty simple but very very informative

Here's an http://assembly.ai trannoscript and chapter summaries:
👂🏼 🤖 📃
https://www.assemblyai.com/playground/trannoscript/64kyzev80o-6ed4-4902-a066-7df25c363193

Andre Karpathi is a founding member of OpenAI. He will talk about how we train GPT assistants. In the second part he will take a look at how we can use these assistants effectively for your applications.

TRAINING NEURAL NETWORKS ON THE INTERNET

We have four major stages pretraining supervised fine tuning, reward modeling, reinforcement learning. In each stage we have a data set that powers that stage. And then we have an algorithm that for our purposes will be an objective for training a neural network.

GPT 3.1: BASE MODELS AND AGENTS

The GPT four model that you might be interacting with over API is not a base model, it's an assistant model. You can even trick base models into being assistants. Instead we have a different path to make actual GPT assistance, not just base model document completers.

NEUROANATOMY 2.8

In the reward modeling step, what we're going to do is we're now going to shift our data collection to be of the form of comparisons. Now, because we have a reward model, we can score the quality of any arbitrary completion for any given prompt. And then at the end, you could deploy a Rlhf model.

COGNITIVE PROCESSES AND GPT

How do we best apply a GPT assistant model to your problems? Think about the rich internal monologue and tool use and how much work actually goes computationally in your brain to generate this one final sentence. From GPT's perspective, this is just a sequence of tokens.

TREE OF THOUGHT AND PROMPT ENGINEERING

A lot of people are really playing around with kind of prompt engineering to bring back some of these abilities that we sort of have in our brain for LLMs. I think this is kind of an equivalent of AlphaGo but for text. I would not advise people to use it in practical applications.

WHAT ARE THE QUIRKS OF LLMS?

The next thing that I find kind of interesting is that LLMs don't want to succeed, they want to imitate. And so at test time, you actually have to ask for a good performance. Next up, I think a lot of people are really interested in basically retrieval augmented generation.

CONSTRAINT PROMPTING IN LLMS

Next, I wanted to briefly talk about constraint prompting. This is basically techniques for forcing a certain template in the outputs of LLMs. And I think this kind of constraint sampling is also extremely interesting.

FINE-TUNING A LANGUAGE MODEL

You can get really far with prompt engineering, but it's also possible to think about fine tuning your models. Fine tuning is a lot more technically involved. It requires human data contractors for data sets and or synthetic data pipelines. Break up your task into two major parts.

LIMITS TO FULLY AUTONOMOUS LLMS

There's a large number of limitations to LLMs today, so I would keep that definitely in mind for all your applications models. My recommendation right now is use LLMs in low stakes applications, combine them with always with human oversight. Think copilots instead of completely autonomous agents.
🧑🏼‍✈️ 🚧💻

In this post, I try to answer specific questions about the internals of Copilot, while also describing some interesting observations I made as I combed through the code. I will provide pointers to the relevant code for almost everything I talk about, so that interested folks can take a look at the code themselves.

https://thakkarparth007.github.io/copilot-explorer/posts/copilot-internals

<자극을 줄이고 생각을 늘리기>

요즘 현대인들은 거의 ADHD 상태로 일을 한다고 생각이 드는 면이 있다. 지속적으로 높은 강도의 자극에 자신을 노출시키기 쉽기 때문이다. 이런 환경속에서 뭐 하나에 차분하게 집중하고 깊이 있는 사고를 하기가 힘들다.

두 가지 사례를 먼저 소개하겠다.

사례 1)

내가 아는 K모씨는 대기업 직원이었는데, 하루에 전사에서 들어오는 업무 요청만 수백건이라고 했다. 그래서 날마다 밤 11시에 퇴근을 하고 있었다.

그러다가 나에게서 애자일 이야기를 듣고 실험을 해보기로 결심했다. 정시 퇴근. 그래서 팀장에게 제안을 했다. 오늘부터 18시 정시 퇴근을 하겠다. 혹여 일 처리가 조금이라도 떨어진다는 느낌이 들면 얘기해라. 바로 원복하겠다. 그러고 그날부터 18시 퇴근을 했다. 집에 오면 저녁 7시부터 9시까지 두 시간씩 6살 아이랑 놀아줬다고 한다. 그전까지 아이에게 아빠는 없는 존재였다. 주중에는 밤 11시에 오고, 아침에는 자기보다 먼저 나가고 주말에는 계속 쓰러져 있었으니. 그런 아이에게 "아빠"가 생긴 거다.

근데 문제가 하나 있었다. 정시 퇴근을 했으니 다 처리 못한 일들이 문제. 그런데 보안문제 때문에 집에서 회사 컴퓨터나 자료에 접근할 수가 없었다. 그래서 그가 대안으로 했던 거는 밤 11시부터 1시까지 두 시간 동안 자기 책상에 이면지 펼치고 앉아서 오늘 했던 일들, 내일 할 일들을 어떻게 해야 더 현명하게 처리할 건가 전략을 짜는 거였다. 그걸 날마다 했다.

그러고 다음날 출근을 하니 업무 요청 중의 50% 이상은 자동으로 해결된 경우가 많았고(요청한 부서에서 답답하니 자체적으로 해결), 남은 50%는 지난 밤에 고민한 결과 더 현명한 방법으로 처리를 해서 금방 끝낼 수 있었다.

물론 결과적으로 밤 11시 퇴근할 때보다 수면시간이 줄었다고 한다. 예전에는 집에 들어오면 바로 쓰러져서 잤으니까. 하지만 몸이 느끼는 에너지는 훨씬 좋아졌다고 한다.

사례 2)

예전에 군대시절 자대 배치를 받고 해당 부대에 갔고 사수를 배당 받았다. 근데 그 사수 얼굴을 보기가 힘든거다. 며칠 지나 알게 됐는데 그 사수 전역일이 1주일 뒤란다. 내 사수의 보직은 대대 정비과 서무병. 워낙 하는 일이 많고 복잡해서 통상 1년 정도는 인수인계를 받아야 제대로 일을 하게 된다고 한다. 근데 이 사람은 1주일 뒤에 전역하고, 이 1주일도 얼렁뚱땅 지나가고 있었다. 가끔 정비과에 내려와서는 궁금한 거 물어봐하고 누워있거나 하는 정도. 정말 문제는 이 사람의 보직을 정확하게 파악하는 사람이 간부나 병 중에 아무도 없다는 거.

결국 나는 거의 아무것도 배우지도 못한 채로 사수가 전역을 했고, 업무 매뉴얼도 하나 없었다. 참고할 자료가 전혀 없는 상황.

고민하다가 결국 하게 된 선택은 원리와 원칙으로 생각해서 행동하자는 거였다. 어떤 문제 상황이 발생하면 내가 생각하는 기본적인 원리에 따라(예컨대 어떻게 하는 것이 육군에게 이득이 되는 행동인가 같은) 논리적으로 말이 되는 행동을 생각해서 했다. 내가 모든 규칙과 법을 설계하면서 했다고 할까. 이러니까 거칠 것이 없었다. 뭐든지 깊게 생각해서 그대로 하면 다 풀리더라는.

근데 의외로 이 방법이 잘 통했다. 그래서 결국 내가 모든 체계를 만들었고 이걸로 상도 몇번 받았다. 군단에서 감사 내려왔을 때에는 내가 군무원이랑 장교들 모아놓고 비공식 강연도 했다.

----
때로는 외부 자극/정보를 제한하고 생각에 집중하는 것이 도움이 되는 경우가 있다. 덤으로 생각하는 근육과 기술도 늘게 된다.

그래서 나는 예컨대 다음과 같은 것들을 추천한다:
* 버그가 나오면 바로 검색창에 때려넣지 말고 적어도 5분, 10분간은 백지에다가 문제상황을 그려보고 원인 유추해보기
* 전혀 모르는 분야에 입문하고 싶을 때 인터넷 검색보다는 서점에서 잘나가는 책 중에 스타일이 다른 책 3권을 구입해서 얘를 비교해보면서 보기 (나는 이걸 bounded exploration이라고 부른다 -- 이걸 안하면 어느 하나 제대로 보지 않고 계속 깔짝깔짝 대면서 시간을 낭비하기 쉽다)
* 해결해야할 복잡한 문제가 있을 경우 추가 정보를 전혀 찾지 않고 백지를 펼쳐놓고 30분 동안 논리와 내 생각, 내 과거경험으로만 해결책을 설계해 보기

https://www.facebook.com/100000557305988/posts/pfbid02joCFDgeyR58vuv2MyZqQWJ1cf7FwrYZHS6FLq9ox8Bqu2RE9cV3HdgzWdHJvopjkl/?mibextid=jf9HGS

Speechless 🥹

https://youtu.be/GvKQKnIVy1I

너무나 쉬워지는 데이터 사이언스 🚀

ChatGPT 덕분에 데이터 사이언스가 놀랍도록 쉬워지고 있습니다. 🤖 이전에는 클러스터링을 이용한 아래 차트를 만들기 위해 필요했던 지식들은 다음과 같았습니다.

## Google Colab 학습 시간 📚:

1. 기본적인 사용법을 익히는데 약 1주 정도의 학습 시간이 필요했습니다.

2. 더 복잡한 작업, 예를 들어 외부 데이터를 불러오거나, 큰 규모의 데이터를 처리하는 방법 등을 학습하는데 추가적인 1~2주의 시간이 필요했습니다.

## 데이터 과학 배경 지식 🎓:

1. 클러스터링: 기본적인 이해를 위해 1~2주의 학습 시간이 필요했습니다.

2. 클러스터링 평가 지표: 각 지표에 대한 기본적인 이해를 위해 1주 정도의 학습 시간이 필요했습니다.

3. 데이터 분석 및 처리: 이 주제는 광범위하므로, 기본적인 데이터 전처리 및 분석 기법을 습득하는 데는 최소한 1~2개월의 학습 시간이 필요했습니다.

## API 지식 💻:

1. Firebase Firestore: Firestore의 기본적인 사용법을 배우는 데는 1~2주의 시간이 소요됐습니다.

## 코딩 스킬 🖥️:

1. 파이썬: 파이썬의 기본 문법을 익히는 데는 약 1~2개월의 학습 시간이 필요했습니다.

2. NumPy: 기본적인 NumPy 기능을 익히는 데는 약 1~2주의 학습 시간이 필요했습니다.

3. Matplotlib: 기본적인 그래프를 그리는 방법을 배우는 데는 약 1주의 학습 시간이 필요했습니다.

위에서 제시한 각 항목의 학습 시간을 합산하면 대략적으로 다음과 같습니다: 데이터 과학 기초: 약 2~4개월, API 지식 (Firebase Firestore): 약 1~2주, 코딩 스킬 (파이썬, NumPy, Matplotlib): 약 2~3개월. 따라서 총 학습 시간은 약 4~7개월 정도로 예상할 수 있습니다. 📈

----

# ChatGPT를 이용하니 다음과 같이 되어버렸습니다. 🔄

AI가 코딩과 실험 설계를 담당하므로 그 부분의 학습 시간은 제외할 수 있습니다. 그러므로, 남은 부분은 데이터 과학에 대한 가벼운 배경 지식과 Google Colab에 대한 이해입니다. 🤔

1. 데이터 과학 배경 지식: AI 비서의 설명과 가이드로, 약 1개월로 단축될 수 있습니다. 경우에 따라서는 2주에도 기본 개념을 훑을 수 있습니다.

2. Google Colab: AI 비서의 도움으로, 학습 시간을 약 1주로 줄일 수 있습니다. - 사실 1시간만 해도 될 것 같긴 해요

이 경우, 총 학습 시간은 약 1~2개월 정도로 추정됩니다. 이미 코딩 스킬과 API 사용에 대한 지식이 있다면, 이 시간은 더욱 단축될 수 있습니다. ⌛

----

결국 초보자의 경우 6개월 코스 -> 1개월 코스가 됩니다. 🎉 데이터 사이언스 배경 지식을 알고 있고 파이썬 라이브러리 사용 방법을 몰랐던 제 입장에서는 3주 정도에서 두시간으로 단축 되었습니다. 😲 이 외에도 데이터 과학 전반을 배우려면 4년도 모자랍니다.

결국 시니어 데이터 사이언티스 한명이 할 수 있는 일이 쥬니어 사이언티스트와 쥬니어 데이터 엔지니어 10명 이상에 해당하는 일이 되어버립니다.

실리콘밸리에서는 이미 쥬니어 데이터 과학자들이 빠른 속도로 직업을 잃고 있습니다. 😱

학교에서의 과정도 바뀌어야 할 것 같습니다. 오히려 같은 시간 내에 더 깊이 있는 이론을 배울 수 있을 것 같습니다. 또한 실제 코딩보다는 연구 방법론에 중점을 두고 교육 설계를 해야 할 것 같습니다. 데이터 사이언티스트들이 실무 기술보다 지식적으로 상향 평준화 되는 상황이 올 것 같습니다.

---

아래 scatter plot을 위해 사용한 prompt:

1. Get the latest 1000 samples from user_tribes collection
2, tribeId is cluster id, x and y are the coordinates.
3. Measure the homogeneity and completeness using colab.
4. Visualize the results.

Kmeans라고 말도 안 했는데 알아서 갖다 쓰네요.

https://www.facebook.com/634740022/posts/pfbid0cuABUXxgECdMwZfQaZ9u88HqXaLoLKzdJxBGLSsfHMfUovKRdQnuybjUYc9sJycsl/?mibextid=jf9HGS