- May suffer from the "curse of capacity gap" when the teacher and student models have a large capacity difference**[5](https://openreview.net/forum?id=CMsuT6Cmfvs)**.
- Requires additional training data and computational resources**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.
Use Cases:
- Real-time language translation, automated speech recognition, and chatbots on edge devices like smartphones and tablets**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.
- Deploying LLMs in various applications, such as natural language processing and computer vision tasks**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.
In summary, each lightweighting approach has its own set of advantages and disadvantages, making them suitable for different use cases. Quantization is ideal for deploying LLMs on edge devices with limited resources, while pruning can help improve the efficiency of LLMs in various applications. Distillation is useful for creating compute-friendly LLMs suitable for use in resource-constrained environments. Choosing the right approach depends on the specific requirements and constraints of the application.
### LLM-QAT: Data-Free Quantization Aware Training for Large Language Models
LLM-QAT is a data-free distillation method that leverages generations produced by the pre-trained model to better preserve the original model's performance while reducing its size and computational requirements**[4](https://arxiv.org/abs/2305.17888)**. This approach enables efficient quantization of LLMs without the need for additional training data.
### Limitations and Opportunities
Some limitations of LLM-QAT include the potential loss of accuracy during the quantization process and the need for further research to optimize the method for different LLM architectures. However, LLM-QAT presents opportunities for improving the efficiency of LLM deployment in various applications, such as natural language processing and computer vision tasks.
### Real-World Lightweighting Methods
In the real world, lightweighting methods are used in various industries, such as automotive and aerospace, to reduce the weight of components and improve overall performance. Some common lightweighting strategies include:
1. Material selection: Using lighter materials for each component**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
2. Structural optimization: Designing components to minimize weight while maintaining strength and functionality**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
3. Architected materials: Creating materials with specific microstructures to optimize their properties for lightweighting**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
4. Multifunctionality: Designing components that serve multiple purposes, reducing the need for additional parts**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
These lightweighting methods can be used separately or in conjunction with one another to achieve the desired weight reduction and performance improvements.
- Requires additional training data and computational resources**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.
Use Cases:
- Real-time language translation, automated speech recognition, and chatbots on edge devices like smartphones and tablets**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.
- Deploying LLMs in various applications, such as natural language processing and computer vision tasks**[4](https://wandb.ai/byyoung3/ml-news/reports/New-Method-For-LLM-Quantization--VmlldzozOTU1NTgz)**.
In summary, each lightweighting approach has its own set of advantages and disadvantages, making them suitable for different use cases. Quantization is ideal for deploying LLMs on edge devices with limited resources, while pruning can help improve the efficiency of LLMs in various applications. Distillation is useful for creating compute-friendly LLMs suitable for use in resource-constrained environments. Choosing the right approach depends on the specific requirements and constraints of the application.
### LLM-QAT: Data-Free Quantization Aware Training for Large Language Models
LLM-QAT is a data-free distillation method that leverages generations produced by the pre-trained model to better preserve the original model's performance while reducing its size and computational requirements**[4](https://arxiv.org/abs/2305.17888)**. This approach enables efficient quantization of LLMs without the need for additional training data.
### Limitations and Opportunities
Some limitations of LLM-QAT include the potential loss of accuracy during the quantization process and the need for further research to optimize the method for different LLM architectures. However, LLM-QAT presents opportunities for improving the efficiency of LLM deployment in various applications, such as natural language processing and computer vision tasks.
### Real-World Lightweighting Methods
In the real world, lightweighting methods are used in various industries, such as automotive and aerospace, to reduce the weight of components and improve overall performance. Some common lightweighting strategies include:
1. Material selection: Using lighter materials for each component**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
2. Structural optimization: Designing components to minimize weight while maintaining strength and functionality**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
3. Architected materials: Creating materials with specific microstructures to optimize their properties for lightweighting**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
4. Multifunctionality: Designing components that serve multiple purposes, reducing the need for additional parts**[5](https://3dxresearch.com/2018/06/05/lightweighting-strategies-in-an-additively-manufactured-world/)**.
These lightweighting methods can be used separately or in conjunction with one another to achieve the desired weight reduction and performance improvements.
OpenReview
Lifting the Curse of Capacity Gap in Distilling Large Language Models
Large language models (LLMs) have shown compelling performance on various downstream tasks, but unfortunately require a tremendous amount of inference compute. Knowledge distillation finds a path...
The article "The Law Is Coming for AI—But Maybe Not the Law You Think" discusses the legal challenges and implications surrounding the use of artificial intelligence (AI) technology, particularly focusing on the recent approval of the AI Act in the European Parliament**[1](https://www.theinformation.com/articles/the-law-is-coming-for-ai-but-maybe-not-the-law-you-think)**. The article highlights the case of Italy's data protection authority banning OpenAI's ChatGPT due to non-compliance with European data protection provisions**[1](https://www.theinformation.com/articles/the-law-is-coming-for-ai-but-maybe-not-the-law-you-think)**. The main points of the article are as follows:
1. AI technology raises legal questions in areas such as privacy, discrimination, and liability.
2. There is no single law governing AI, and existing laws are often unclear or outdated.
3. There is a growing movement to create new laws and regulations specifically for AI.
4. There is no consensus on what these laws and regulations should look like.
5. Some people believe AI should be regulated like any other technology, while others believe it requires special treatment.
6. The debate over how to regulate AI is likely to continue for many years to come.
As an AI researcher or AI startup founder, it is crucial to stay informed about the legal landscape surrounding AI technology. This includes understanding the potential legal issues that may arise from the development and deployment of AI systems, as well as keeping up-to-date with new laws and regulations that may impact your work or business. By being proactive and knowledgeable about the legal aspects of AI, you can better navigate potential challenges and ensure that your AI systems are developed and used responsibly and ethically.
1. AI technology raises legal questions in areas such as privacy, discrimination, and liability.
2. There is no single law governing AI, and existing laws are often unclear or outdated.
3. There is a growing movement to create new laws and regulations specifically for AI.
4. There is no consensus on what these laws and regulations should look like.
5. Some people believe AI should be regulated like any other technology, while others believe it requires special treatment.
6. The debate over how to regulate AI is likely to continue for many years to come.
As an AI researcher or AI startup founder, it is crucial to stay informed about the legal landscape surrounding AI technology. This includes understanding the potential legal issues that may arise from the development and deployment of AI systems, as well as keeping up-to-date with new laws and regulations that may impact your work or business. By being proactive and knowledgeable about the legal aspects of AI, you can better navigate potential challenges and ensure that your AI systems are developed and used responsibly and ethically.
The Information
The Law Is Coming for AI—But Maybe Not the Law You Think
While the approval of the AI Act in the European Parliament on Wednesday will no doubt go down in history as a day of reckoning for generative artificial intelligence, it was not the first. That honor belongs to March 31, when, citing a lack of compliance…
더 인포메이션**[1](https://www.theinformation.com/articles/a-reckoning-arrives-for-creator-economy-startups)**의 기사에 따르면 미국 크리에이터 경제 스타트업에 대한 자금이 1억 2,300만 달러로 86% 감소했으며, 이는 전년 동기 대비 7분기 연속 감소한 수치라고 합니다. 반면에 디지털 크리에이터가 콘텐츠 제작의 비즈니스 측면을 보다 쉽게 수행할 수 있도록 필요한 도구, 리소스 및 플랫폼을 제공하는 많은 크리에이터 경제 스타트업이 있습니다**[2](https://blog.hubspot.com/marketing/creator-economy-startups)**. 그러나 이러한 비즈니스가 모두 크리에이터에게 좋은 것은 아니며, 일부는 실제로는 매우 약탈적일 수 있습니다**[3](https://techcrunch.com/2021/12/30/not-every-creator-economy-startup-is-built-for-creators/)**. 인공지능 연구자나 인공지능 스타트업 창업자로서 이 글에서 배울 수 있는 몇 가지 사항이 있습니다:
- 크리에이터 경제는 성장하는 시장이며, 콘텐츠 크리에이터에게 도구와 리소스를 제공할 수 있는 많은 기회가 있습니다.
- 크리에이터가 자신의 비즈니스를 믿고 맡긴다면, 크리에이터는 여러분이 자신의 최선의 이익을 염두에 두기를 기대한다는 점을 이해하면서 크리에이터의 입장이 되어 생각하는 것이 중요합니다**[3](https://techcrunch.com/2021/12/30/not-every-creator-economy-startup-is-built-for-creators/)**.
- 콘텐츠 크리에이터에게 지원과 자원을 제공할 수 있는 윤리적이고 신뢰할 수 있는 크리에이터 이코노미 스타트업**[3](https://techcrunch.com/2021/12/30/not-every-creator-economy-startup-is-built-for-creators/)**이 더 많이 필요합니다.
- 크리에이터 이코노미 스타트업에 대한 자금 지원 감소는 시장의 변화를 나타내는 신호일 수 있으며, 이러한 추세를 주시하는 것이 중요합니다**[1](https://www.theinformation.com/articles/a-reckoning-arrives-for-creator-economy-startups)[4](https://www.antler.co/blog/2023-creator-economy)**.
- AI는 잠재적으로 크리에이터 경제에서 콘텐츠 제작자를 도울 수 있는 새로운 도구와 플랫폼을 개발하는 데 사용될 수 있습니다**[5](https://wonnda.com/magazine/creator-economy-startups/)[6](https://influencermarketinghub.com/creator-economy-startups/)**.
- 크리에이터 경제는 성장하는 시장이며, 콘텐츠 크리에이터에게 도구와 리소스를 제공할 수 있는 많은 기회가 있습니다.
- 크리에이터가 자신의 비즈니스를 믿고 맡긴다면, 크리에이터는 여러분이 자신의 최선의 이익을 염두에 두기를 기대한다는 점을 이해하면서 크리에이터의 입장이 되어 생각하는 것이 중요합니다**[3](https://techcrunch.com/2021/12/30/not-every-creator-economy-startup-is-built-for-creators/)**.
- 콘텐츠 크리에이터에게 지원과 자원을 제공할 수 있는 윤리적이고 신뢰할 수 있는 크리에이터 이코노미 스타트업**[3](https://techcrunch.com/2021/12/30/not-every-creator-economy-startup-is-built-for-creators/)**이 더 많이 필요합니다.
- 크리에이터 이코노미 스타트업에 대한 자금 지원 감소는 시장의 변화를 나타내는 신호일 수 있으며, 이러한 추세를 주시하는 것이 중요합니다**[1](https://www.theinformation.com/articles/a-reckoning-arrives-for-creator-economy-startups)[4](https://www.antler.co/blog/2023-creator-economy)**.
- AI는 잠재적으로 크리에이터 경제에서 콘텐츠 제작자를 도울 수 있는 새로운 도구와 플랫폼을 개발하는 데 사용될 수 있습니다**[5](https://wonnda.com/magazine/creator-economy-startups/)[6](https://influencermarketinghub.com/creator-economy-startups/)**.
The Information
A Reckoning Arrives for Creator Economy Startups
Two years ago, Dmitry Shapiro and Sean Thielen were so optimistic about the booming creator economy that they pivoted their startup to a new product: a simple tool called Koji that lets influencers more easily link to their online tip jars, merch and other…
https://www.the-coming-wave.com/
Written by Mustafa cofounder of Deepmind and cofounder of inflection (maker of Pi)
Written by Mustafa cofounder of Deepmind and cofounder of inflection (maker of Pi)
The Coming Wave Book
This groundbreaking new book from AI entrepreneur Mustafa Suleyman is a must-read guide to the technological revolution just starting, and the transformed world it will create.
Continuous Learning_Startup & Investment
https://www.the-coming-wave.com/ Written by Mustafa cofounder of Deepmind and cofounder of inflection (maker of Pi)
despite all the hype and excitement, people still aren’t grokking the full impact of the coming wave of ai. Within the next ten years, most ‘cognitive manual labor’ is going to be carried out by ai systems.
call centers, invoicing, payroll, paralegals, scheduling, bookkeeping, back office admin, and so on… these are the first. planning and more complex sequences of actions will comes shortly after
call centers, invoicing, payroll, paralegals, scheduling, bookkeeping, back office admin, and so on… these are the first. planning and more complex sequences of actions will comes shortly after
- 성공의 4가지 요소: 열심, 완벽, 체계, 현명 (김승호님, 사장학개론)
김승호님의 사장학개론 수업 영상 말미에 성공의 4가지 요소에 대해서 언급해 주셨습니다. 듣다 보니 공감도 많이 되고, 또 배워야 할 점이라는 생각이 들어서 공유합니다. :)
열심히 일하는 것이 성공으로 가는 첫 단계지만,
일을 완벽하게 하고 (일의 퀄리티),
일을 체계적으로 하고 (일의 효율성),
일을 현명하게 해야 (일의 방향성)
비로소 성공할 수 있다고 합니다.
저도 배울 점이 참 많네요.
퀄리티, 효율, 방향. 생각을 깊고 넓게 가져야 겠습니다. :)
아래 부터는 김승호님의 이야기입니다.
전체 영상은 댓글에 있습니다. 영상 전체 다 보시는 게 더 도움이 되실거라 생각합니다.
"
반복적인 일을 가장 싫어한다. 일을 하는 요령을 만들고, 일하는 방식을 바꿔야 한다.
사람이 부지런하면 열심히 일할 생각만 한다. 그래서는 안된다.
일을 완벽하게 해야 한다. 일을 열심히 망치면 안된다. 완벽해야 한다.
일의 완성은 열심히 하는 것에서 오지 않는다. 열심히 일했기 때문에 실패한 사람이 더 많다.
열심히 하면 "서민 갑부" 프로그램에 나오게 된다.
열심은 가장 첫번째 요소다.
열심히 완벽하게, 체계적으로, 현명하게 해야 한다.
열심에 완벽과 현명과 체계가 들어가면 기업이 된다.
그 일을 다른 사람에게 시키고, 자신은 다른 일을 효율적으로 하면 되기 때문이다.
스시 만드는 일을 열심히 했다면, 지금 시간 당 스시 50개를 만들고 있을 것이다.
(주: 김승호님은 미국에서 스시 체인 기업을 운영하고 있습니다.)
그러나 열심히 하지 않았기 때문에 지금 이 회사는 시간 당 스시 20만개를 만들 수 있다.
열심히 일해서 성공한 사람은 나이 들어 몸이 다치고 늙어서 고생하게 된다.
열심히 일하지 마세요.
"
https://www.facebook.com/100009346142985/posts/pfbid09CZa5KpXYtQAH31VweWiX3VHquc1B5fjZ2jqUgPSteVFHt5FjJ2EfZwEzHh1348Bl/?mibextid=jf9HGS
김승호님의 사장학개론 수업 영상 말미에 성공의 4가지 요소에 대해서 언급해 주셨습니다. 듣다 보니 공감도 많이 되고, 또 배워야 할 점이라는 생각이 들어서 공유합니다. :)
열심히 일하는 것이 성공으로 가는 첫 단계지만,
일을 완벽하게 하고 (일의 퀄리티),
일을 체계적으로 하고 (일의 효율성),
일을 현명하게 해야 (일의 방향성)
비로소 성공할 수 있다고 합니다.
저도 배울 점이 참 많네요.
퀄리티, 효율, 방향. 생각을 깊고 넓게 가져야 겠습니다. :)
아래 부터는 김승호님의 이야기입니다.
전체 영상은 댓글에 있습니다. 영상 전체 다 보시는 게 더 도움이 되실거라 생각합니다.
"
반복적인 일을 가장 싫어한다. 일을 하는 요령을 만들고, 일하는 방식을 바꿔야 한다.
사람이 부지런하면 열심히 일할 생각만 한다. 그래서는 안된다.
일을 완벽하게 해야 한다. 일을 열심히 망치면 안된다. 완벽해야 한다.
일의 완성은 열심히 하는 것에서 오지 않는다. 열심히 일했기 때문에 실패한 사람이 더 많다.
열심히 하면 "서민 갑부" 프로그램에 나오게 된다.
열심은 가장 첫번째 요소다.
열심히 완벽하게, 체계적으로, 현명하게 해야 한다.
열심에 완벽과 현명과 체계가 들어가면 기업이 된다.
그 일을 다른 사람에게 시키고, 자신은 다른 일을 효율적으로 하면 되기 때문이다.
스시 만드는 일을 열심히 했다면, 지금 시간 당 스시 50개를 만들고 있을 것이다.
(주: 김승호님은 미국에서 스시 체인 기업을 운영하고 있습니다.)
그러나 열심히 하지 않았기 때문에 지금 이 회사는 시간 당 스시 20만개를 만들 수 있다.
열심히 일해서 성공한 사람은 나이 들어 몸이 다치고 늙어서 고생하게 된다.
열심히 일하지 마세요.
"
https://www.facebook.com/100009346142985/posts/pfbid09CZa5KpXYtQAH31VweWiX3VHquc1B5fjZ2jqUgPSteVFHt5FjJ2EfZwEzHh1348Bl/?mibextid=jf9HGS
Facebook
Log in to Facebook
Log in to Facebook to start sharing and connecting with your friends, family and people you know.
❤2
Forwarded from 전종현의 인사이트
엔비디아의 가이던스 상향이 세상의 방향성을 보여주었고, 그 뒤로 밸류체인을 하나씩 들여다보면서 다시 공부해보고 있다.
그중에서도 FC-BGA의 성장이 눈에 띄어서 기가비스, 인텍플러스 등을 찾아보게 되네.
아래는 겸손한 투자님이 정리해놓은 인텍플러스. 길지만 시간내어 읽어볼 가치가 있다.
https://blog.naver.com/humbleinvest/223127883654
그중에서도 FC-BGA의 성장이 눈에 띄어서 기가비스, 인텍플러스 등을 찾아보게 되네.
아래는 겸손한 투자님이 정리해놓은 인텍플러스. 길지만 시간내어 읽어볼 가치가 있다.
https://blog.naver.com/humbleinvest/223127883654
NAVER
[인텍플러스] Advanced Packaging부터 2차전지까지(총정리)
인텍플러스를 얘기하면 이해하기 어렵다는 피드백을 많이 듣습니다. 그럴것이 시가총액 3,000억원 주제에 알아야할게 너무 많습니다. 이정도 시총이면 심플해야 하는데, 안타깝게도 복잡합니다.
👍1
Mark Manson crowdsourced relationship advice from over 1,500 happily married couples and synthesized their wisdom and experience into something straightforward and applicable to any relationship. He asked his readers who have been married for 10+ years and are still happy in their relationship to share their best relationship/marriage advice. He received a lot of advice, but perhaps the most interesting nugget from Gottman’s research is the fact that most successful couples don’t actually resolve all of their problems. In fact, his findings were completely different from what most people actually expect: people in lasting and happy relationships have problems that never completely go away, while couples that feel as though they need to agree and compromise on everything end up feeling miserable and falling apart. Successful couples accept and understand that some problems are perpetual and that they will be working on them for the rest of their lives. They don’t try to solve them; they just try to manage them.
Mark Manson
Every Successful Relationship Is Successful for the Same Exact Reasons
Crowdsourced relationship advice from over 1,500 people who have been living "happily ever after." Learn how they make it work.
마크 맨슨은 1,500명 이상의 행복한 결혼 생활을 하고 있는 커플들로부터 관계에 대한 조언을 크라우드소싱하여 그들의 지혜와 경험을 모든 관계에 적용할 수 있는 간단명료한 내용으로 정리했습니다. 그는 결혼한 지 10년이 넘었지만 여전히 행복한 관계를 유지하고 있는 독자들에게 최고의 연애/결혼 조언을 공유해 달라고 요청했습니다. 그는 많은 조언을 받았지만, 고트먼의 연구에서 가장 흥미로운 점은 대부분의 성공적인 커플이 실제로 모든 문제를 해결하지 못한다는 사실입니다. 사실, 그의 연구 결과는 대부분의 사람들이 실제로 기대하는 것과는 완전히 달랐습니다. 지속적이고 행복한 관계에 있는 사람들은 결코 완전히 사라지지 않는 문제를 가지고 있는 반면, 모든 것에 동의하고 타협해야 한다고 느끼는 커플은 결국 비참함을 느끼고 무너져 내립니다. 성공적인 커플은 일부 문제가 영구적이며 평생 해결해야 할 문제라는 사실을 받아들이고 이해합니다. 그들은 문제를 해결하려고 노력하지 않고 관리하려고 노력합니다.
Continuous Learning_Startup & Investment
https://www.the-coming-wave.com/ Written by Mustafa cofounder of Deepmind and cofounder of inflection (maker of Pi)
despite all the hype and excitement, people still aren’t grokking the full impact of the coming wave of ai. Within the next ten years, most ‘cognitive manual labor’ is going to be carried out by ai systems.
call centers, invoicing, payroll, paralegals, scheduling, bookkeeping, back office admin, and so on… these are the first. planning and more complex sequences of actions will comes shortly after
call centers, invoicing, payroll, paralegals, scheduling, bookkeeping, back office admin, and so on… these are the first. planning and more complex sequences of actions will comes shortly after
https://twitter.com/saranormous/status/1669490272940736513
3/ Mostly, real products need to be:
*consistent
*tested
*versioned
*observable
*up to date
*fast enough
*cheap enough
*deterministic in their outputs (if composed, consumed)
*able to be reasoned about by the developer (and the end user!)
4/ This is incredibly hard, and doesn’t come out of the box with stochastic LLMs and ambiguous natural language user input. The initial successes we’ve seen in genAI apps happen to be cases and pioneering products that flex or fix some of the requirements.
3/ Mostly, real products need to be:
*consistent
*tested
*versioned
*observable
*up to date
*fast enough
*cheap enough
*deterministic in their outputs (if composed, consumed)
*able to be reasoned about by the developer (and the end user!)
4/ This is incredibly hard, and doesn’t come out of the box with stochastic LLMs and ambiguous natural language user input. The initial successes we’ve seen in genAI apps happen to be cases and pioneering products that flex or fix some of the requirements.
Twitter
*note: we @w_conviction invest in companies at the idea/demo stage, we just like to think we’re going in eyes wide open, with special founders who have some unique ability to climb the hill from here to real user value 🙃
(people like @gabepereyra @alexgraveley…
(people like @gabepereyra @alexgraveley…
AI명가 업스테이지의 글입니다. 언어 모델에 대한 전체 히스토리를 이해하기에 좋은 글이네요.
다만 마무리 부분은 저는 조금 애매한 느낌입니다. “모델 구독” 표현이 나이브하기도 하고, 양질 데이터는 지금뿐만이 아니라 20년 전에도 중요했기 때문에 큰 임팩트는 없네요.
저는 개발 측면에서 3가지 팀의 등장을 기대하고 있습니다. 물론 뛰어난 UX와 명확한 문제 설정이 가장 중요하다고 생각합니다.
1) 확장성 측면에서 가장 필요하고 성공할 것이라 예상하는 팀은 DevOps, 즉 전체적 파이프라인 구축이 모듈러하고 애자일하게 이뤄지는 팀이라고 생각합니다. 결국 모델은 정착하지 않고 업데이트가 꾸준히 이뤄지며 반복적인 배포가 이뤄질 것입니다. 이 과정에서 비용 효율성과 경쟁력 모든 것이 결정되지 않을까 생각이 듭니다.
2) 두번째는 데이터의 수집을 고도화할 수 있는 팀입니다. 실제 데이터 레이블링은 노동 집약적입니다. 물론 self-supervised learning 등의 발전으로 레이블링이 점점 쉬워지고 있지만 아직 여전히 다수 분야에는 데이터는 노동집약적인 수집이 이뤄지고 있습니다. 이 과정에서 툴의 UX나 인센티브 모델이 상당히 중요해질 것 같은데 아직 이 시장의 1등은 없어보이네요.
3) 결국은 인프라입니다. GPU/FPGA를 효율적으로 사용하게 해줄 수 있는 팀이 필요합니다. training도, inference도 말이죠. 이 레벨에서는 하드웨어/소프트웨어에서 최적화할 수 있는 방법이 다양합니다. 데이터 센터 구축, AI용 반도체부터 CUDA 최적화까지 여러모로 기대가 되네요. 근데 이런 작업은 다수의 전문가와 많은 비용이 필요한 문제라 기존 대기업이 잘할 가능성이 높은 편이라 생각합니다. 가끔 슈퍼 천재가 나타나 이런 문제를 개선하기도 하는데, 더 많이 등장하기를 기대합니다 :)
저는 Public AI가 더욱 큰 시장에 나오기 위해서는 발생 가능한 Worst Case에 대한 규제와 인식이 중요하다고 생각합니다. 의료, 재무, 법률 등 고비용 문제는 “책임값”이 포함된다고 생각합니다. 모든 위험을 소비자에게 넘기는 것도 하나의 방법이겠지만 대다수 AI는 특정 주체에 의해 개발이 이뤄질 것이라면 책임 소제 등에 대한 규제 문제는 더욱 중요할 것입니다. 연장선 상에사 요새는 잘 안보이지만 XAI(Explainable AI, 설명가능한 AI) 팀들의 부활도 기대하고 있습니다.
https://www.linkedin.com/posts/subin-an-841975110_data-centric-ai-%EA%B4%80%EC%A0%90%EC%9C%BC%EB%A1%9C-%EC%9E%AC%ED%95%B4%EC%84%9D%ED%95%98%EB%8A%94-%EC%9E%90%EC%97%B0%EC%96%B8%EC%96%B4%EC%B2%98%EB%A6%AC-%EA%B8%B0%EB%B0%98-history-activity-7075383077157441537-p5fG?utm_source=share&utm_medium=member_ios
다만 마무리 부분은 저는 조금 애매한 느낌입니다. “모델 구독” 표현이 나이브하기도 하고, 양질 데이터는 지금뿐만이 아니라 20년 전에도 중요했기 때문에 큰 임팩트는 없네요.
저는 개발 측면에서 3가지 팀의 등장을 기대하고 있습니다. 물론 뛰어난 UX와 명확한 문제 설정이 가장 중요하다고 생각합니다.
1) 확장성 측면에서 가장 필요하고 성공할 것이라 예상하는 팀은 DevOps, 즉 전체적 파이프라인 구축이 모듈러하고 애자일하게 이뤄지는 팀이라고 생각합니다. 결국 모델은 정착하지 않고 업데이트가 꾸준히 이뤄지며 반복적인 배포가 이뤄질 것입니다. 이 과정에서 비용 효율성과 경쟁력 모든 것이 결정되지 않을까 생각이 듭니다.
2) 두번째는 데이터의 수집을 고도화할 수 있는 팀입니다. 실제 데이터 레이블링은 노동 집약적입니다. 물론 self-supervised learning 등의 발전으로 레이블링이 점점 쉬워지고 있지만 아직 여전히 다수 분야에는 데이터는 노동집약적인 수집이 이뤄지고 있습니다. 이 과정에서 툴의 UX나 인센티브 모델이 상당히 중요해질 것 같은데 아직 이 시장의 1등은 없어보이네요.
3) 결국은 인프라입니다. GPU/FPGA를 효율적으로 사용하게 해줄 수 있는 팀이 필요합니다. training도, inference도 말이죠. 이 레벨에서는 하드웨어/소프트웨어에서 최적화할 수 있는 방법이 다양합니다. 데이터 센터 구축, AI용 반도체부터 CUDA 최적화까지 여러모로 기대가 되네요. 근데 이런 작업은 다수의 전문가와 많은 비용이 필요한 문제라 기존 대기업이 잘할 가능성이 높은 편이라 생각합니다. 가끔 슈퍼 천재가 나타나 이런 문제를 개선하기도 하는데, 더 많이 등장하기를 기대합니다 :)
저는 Public AI가 더욱 큰 시장에 나오기 위해서는 발생 가능한 Worst Case에 대한 규제와 인식이 중요하다고 생각합니다. 의료, 재무, 법률 등 고비용 문제는 “책임값”이 포함된다고 생각합니다. 모든 위험을 소비자에게 넘기는 것도 하나의 방법이겠지만 대다수 AI는 특정 주체에 의해 개발이 이뤄질 것이라면 책임 소제 등에 대한 규제 문제는 더욱 중요할 것입니다. 연장선 상에사 요새는 잘 안보이지만 XAI(Explainable AI, 설명가능한 AI) 팀들의 부활도 기대하고 있습니다.
https://www.linkedin.com/posts/subin-an-841975110_data-centric-ai-%EA%B4%80%EC%A0%90%EC%9C%BC%EB%A1%9C-%EC%9E%AC%ED%95%B4%EC%84%9D%ED%95%98%EB%8A%94-%EC%9E%90%EC%97%B0%EC%96%B8%EC%96%B4%EC%B2%98%EB%A6%AC-%EA%B8%B0%EB%B0%98-history-activity-7075383077157441537-p5fG?utm_source=share&utm_medium=member_ios
Linkedin
Subin An on LinkedIn: Data-Centric AI 관점으로 재해석하는 자연언어처리 기반 History of AI — Upstage
AI명가 업스테이지의 글입니다. 언어 모델에 대한 전체 히스토리를 이해하기에 좋은 글이네요.
다만 마무리 부분은 저는 조금 애매한 느낌입니다. “모델 구독” 표현이 나이브하기도 하고, 양질 데이터는 지금뿐만이 아니라 20년 전에도 중요했기 때문에 큰 임팩트는 없네요.
저는 개발…
다만 마무리 부분은 저는 조금 애매한 느낌입니다. “모델 구독” 표현이 나이브하기도 하고, 양질 데이터는 지금뿐만이 아니라 20년 전에도 중요했기 때문에 큰 임팩트는 없네요.
저는 개발…
최근 작성한 블로그 글(Head of Sales의 온보딩 체크리스트)에서 포어캐스트 방법론을 언급했는데, 관련하여 조금 더 자세히 설명해 달라는 문의가 있었습니다.
이전 회사에서는 주로 Enterprise Account Executive 등 IC (Individual Contributor) 역할을 맡다가 새로운 회사에서 처음으로 Head of Sales 역할을 맡게 되었을 때, 첫 포어캐스트 분석이 막연할 수 있습니다. Head of Sales 없이 본인이 이사회의 요청으로 첫 포어캐스트 분석을 하는 창업자 및 CEO께도 도움이 될 것 같습니다.
혹은 B2B/SaaS 투자를 최근에 집행하여 효과적으로 이사회를 진행하고 싶은 VC분들께도 도움이 되리라 생각합니다.
저는 지금도 일주일에 두 번 씩 포어캐스트 미팅을 진행하고 있습니다. 한번은 영업팀 모두와 함께, 다른 한번은 영업팀의 리더십 그룹과 함께. 이렇게 중요도가 높은 포어캐스트 미팅이기에 제가 사용하고 있는 몇 가지 방법론을 소개하려 합니다. 참고로 저는 여기서 소개하는 방법론에서 한 두 가지를 선택하는 것이 닌, 이 방법론을 혼합하여 분기 별 예측치의 범위를 뽑아내고 있습니다. 관련하여서는 이 글의 후반부에 추가로 설명하겠습니다.
https://kimchihill.com/2023/06/18/kr-a-comprehensive-approach-to-sales-forecasting-for-b2b-saas-startups/
이전 회사에서는 주로 Enterprise Account Executive 등 IC (Individual Contributor) 역할을 맡다가 새로운 회사에서 처음으로 Head of Sales 역할을 맡게 되었을 때, 첫 포어캐스트 분석이 막연할 수 있습니다. Head of Sales 없이 본인이 이사회의 요청으로 첫 포어캐스트 분석을 하는 창업자 및 CEO께도 도움이 될 것 같습니다.
혹은 B2B/SaaS 투자를 최근에 집행하여 효과적으로 이사회를 진행하고 싶은 VC분들께도 도움이 되리라 생각합니다.
저는 지금도 일주일에 두 번 씩 포어캐스트 미팅을 진행하고 있습니다. 한번은 영업팀 모두와 함께, 다른 한번은 영업팀의 리더십 그룹과 함께. 이렇게 중요도가 높은 포어캐스트 미팅이기에 제가 사용하고 있는 몇 가지 방법론을 소개하려 합니다. 참고로 저는 여기서 소개하는 방법론에서 한 두 가지를 선택하는 것이 닌, 이 방법론을 혼합하여 분기 별 예측치의 범위를 뽑아내고 있습니다. 관련하여서는 이 글의 후반부에 추가로 설명하겠습니다.
https://kimchihill.com/2023/06/18/kr-a-comprehensive-approach-to-sales-forecasting-for-b2b-saas-startups/
Kimchi hill
SaaS 스타트업의 영업 리더십을 위한 포어캐스트 (Forecast) 방법론 - Kimchi hill
최근 작성한 블로그 글, SaaS 스타트업, Head of Sales의 성공적 온보딩을 위한 20가지 체크리스트, 에서 포어캐스트 방법론을 언급했는데, 관련하여 조금 더 자세히 설명해 달라는 문의가 있었습니다. 이전 회사에서는 주로 Enterprise Account Executive 등 IC (Individual Contributor) 역할을 맡다가 새로운 회사에서 처음으로 Head of Sales 역할을 맡게 되었을 때, 첫 포어캐스트 분석이 막연할…
❤2
Lovely) framework for evaluating the potential revenue impact from generative Al on Business and Info Services companies
https://twitter.com/kouroshshafi/status/1669233236579618816?s=46&t=h5Byg6Wosg8MJb4pbPSDow
https://twitter.com/kouroshshafi/status/1669233236579618816?s=46&t=h5Byg6Wosg8MJb4pbPSDow
Twitter
(Lovely) framework for evaluating the potential revenue impact from generative Al on Business and Info Services companies
1/2
$SPGI $FICO $MSCI $CSGP $IT $HRB
1/2
$SPGI $FICO $MSCI $CSGP $IT $HRB
https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c
The Secret Sauce behind 100K context window in LLMs: all tricks in one place
The Secret Sauce behind 100K context window in LLMs: all tricks in one place
Medium
The Secret Sauce behind 100K context window in LLMs: all tricks in one place
tldr; techniques to speed up training and inference of LLMs to use large context window up to 100K input tokens during training and…
We just published my interview with Scott Belsky. It was one of my favorite conversations of the year.
A few highlights:
The virtues of slow shipping. The prevailing dogma is that startups should ship and iterate as quickly as possible. Scott believes that’s often counterproductive. You need to “surprise and delight” your customers to create a product that grows organically. You can’t do that by simply meeting a user’s expectations; you must surpass them. Doing so takes time and polishing.
Innovating within a big company. When Adobe acquired his startup Behance for $150 million in 2012, Belsky struggled to see his long-term future at a big corporation. Eleven years later and the former entrepreneur is Adobe’s Chief Product Officer. Working at the $227 billion software behemoth, Scott discovered he was a mission-driven entrepreneur rather than a serial one. Rather than restricting his entrepreneurial urges, Adobe has given Scott a platform to tackle them from a new vantage.
Investing in a great mentor. Scott Belsky counts entrepreneur and author Seth Godin as a friend and mentor. Once a year, Scott visits Godin in upstate New York to discuss his plans, relying on his host to pick them apart. This productive inquisition helps Scott allocate his time and effort more thoughtfully. Investing in this relationship has proven fruitful, both personally and professionally.
The coming age of hyper-personalization. We live in a “generalized” world, per Scott. When we visit an online store or look at a menu, we see the full range of options. The Adobe executive expects future generations to have more personalized product experiences that filter out unsuitable or unwanted options. They will also have far less choice, as a result.
The overstated AI threat. Reports of AI’s dangers are exaggerated, according to Scott. Though he expects new models will increase the sophistication of scams and other frauds, he doesn’t foresee humans being made subservient to an almighty algorithm. Instead, we should worry about the fragility of modern society, under threat from war, dictatorships, and corruption.
https://thegeneralist.substack.com/p/scott-belsky
A few highlights:
The virtues of slow shipping. The prevailing dogma is that startups should ship and iterate as quickly as possible. Scott believes that’s often counterproductive. You need to “surprise and delight” your customers to create a product that grows organically. You can’t do that by simply meeting a user’s expectations; you must surpass them. Doing so takes time and polishing.
Innovating within a big company. When Adobe acquired his startup Behance for $150 million in 2012, Belsky struggled to see his long-term future at a big corporation. Eleven years later and the former entrepreneur is Adobe’s Chief Product Officer. Working at the $227 billion software behemoth, Scott discovered he was a mission-driven entrepreneur rather than a serial one. Rather than restricting his entrepreneurial urges, Adobe has given Scott a platform to tackle them from a new vantage.
Investing in a great mentor. Scott Belsky counts entrepreneur and author Seth Godin as a friend and mentor. Once a year, Scott visits Godin in upstate New York to discuss his plans, relying on his host to pick them apart. This productive inquisition helps Scott allocate his time and effort more thoughtfully. Investing in this relationship has proven fruitful, both personally and professionally.
The coming age of hyper-personalization. We live in a “generalized” world, per Scott. When we visit an online store or look at a menu, we see the full range of options. The Adobe executive expects future generations to have more personalized product experiences that filter out unsuitable or unwanted options. They will also have far less choice, as a result.
The overstated AI threat. Reports of AI’s dangers are exaggerated, according to Scott. Though he expects new models will increase the sophistication of scams and other frauds, he doesn’t foresee humans being made subservient to an almighty algorithm. Instead, we should worry about the fragility of modern society, under threat from war, dictatorships, and corruption.
https://thegeneralist.substack.com/p/scott-belsky
The Generalist
Modern Meditations: Scott Belsky
The Adobe CPO on innovating from within, shipping slow, and AI.