Sentient AI 소개

트위터에서 보기

예전에 채널 및 트위터에서 간단하게 언급했던 Sentient AI가 최근 Dobby fingerprints 민팅을 마친 후, 첫 AI 모델인 Dobby-mini를 출시했습니다.

한국에서는 생각보다 많이 다뤄지지 않는 것 같아, 먼저 Sentient AI에 대해 소개한 후, 순차적으로 Dobby-mini에 대해서 다뤄보려고 합니다.

Sentient AI란?

현재 AI 산업은 몇 가지 큰 문제를 안고 있습니다.

• 과도한 중앙화: 소수의 대형 기업(OpenAI, Google 등)이 시장을 독점
• 인센티브 부족: AI 개발 및 기여자에 대한 공정한 보상 체계 미흡
• 안전성과 윤리 문제: AI의 투명성 부족 및 오남용 가능성

Sentient AI는 이런 문제를 해결하기 위해 커뮤니티 중심의 오픈 소스 AI 모델을 개발하는 프로젝트입니다.

AI의 혜택을 공정하게 분배하고, 개발 과정의 투명성을 보장하는 탈중앙화된 AI 플랫폼 구축을 목표로 하고 있습니다.

이를 위해 블록체인 기술을 활용하여 커뮤니티가 협력해 AI 모델을 구축하고, 기여자에게 보상을 지급하는 구조를 만들고 있습니다. 궁극적으로 OpenAI, Google 등 거대 기업들과 경쟁하는 것을 목표로 합니다.

투자 및 주요 팀원

- Funding

• $85M 규모의 시드 라운드 투자 유치
• 2024년 7월의 투자 축소 분위기 속에서도 성공적으로 유치되어 많은 주목을 받았습니다.
• 주요 투자사: Pantera, Delphi, Spartan, Framework, Hashkey, Robot Ventures 등 다수의 1~2티어 VC 참여

- 주요 팀원
폴리곤 코파운더인 Sandeep Nailwal과 아이겐레이어 파운더 Sreeram Kannan가 프로젝트 설립에 큰 기여

Sentient 공동 창립자인 Pramod Viswanath 교수는 Kannan의 지도교수 출신 출처

VC 투자사 중 하나인 Symbolic Capital의 공동 창립자 Kenzi Wang이 팀의 성장 전략 담당

또한, Kenzi Wang은 폴리곤 랩스에서 생태계 어드바이저로 근무하고 있어 Nailwal과 함께 Sentient가 폴리곤 생태계에 온보딩하도록 큰 기여를 한 것으로 생각됩니다.

그 외에 팀에 공식적으로 등록된 기여자 중 프린스턴 대학 출신 4명, 워싱턴 대학 출신 4명. 워싱턴 대학 출신 기여자 중엔 한국인 한 분도 계신 것이 반갑네요.

기여자의 대부분이 AI 및 블록체인 연구, 또는 컴퓨터 과학 분야의 연구자들입니다.

(1/2)

Dobby-mini 소개 트위터에서 보기

지난 Sentient AI 소개 글에 이어서, Sentient AI 의 첫 AI 모델인 Dobby-mini에 대해서 소개한 후, 사용법도 같이 알려드리려고 합니다.

📌Dobby-mini란?

Dobby-mini는 Sentient의 첫번째 AI 모델로, 시그니처 fingerprint가 도입되는 Dobby 70B 모델에 앞서 출시된 모델입니다.

Dobby-mini는 두 가지 타입으로 나뉩니다.
Dobby-mini Leashed -> 친근하고 편안한 대화 스타일을 가진 AI 모델
Dobby-mini Unhinged -> 직설적이고, 남들이 말하지 않는 불편한 진실까지 말하는 AI 모델

이러한 두 가지 모델을 통해 사용자의 성향에 맞춰 AI 성격을 선택할 수 있도록 설계되었습니다.

💻AI 엔지니어링의 혁신: 정밀한 모델 정렬 기술

Sentient AI는 AI 모델을 매우세밀하게 조정하는 기술을 개발했습니다.

기존 AI 모델들은 특정 가치 체계에 맞춰져 있어, 이를 벗어나지 못하는 경우가 많았는데, Sentient의 “충성도 훈련” 방법론을 통해서 핵심적인 보안 프로토콜을 손상시키지 않고 모든 세계관이나 가치 체계에 맞게 AI를 정밀하게 조정 가능합니다.

✔️ 보수적인 정치 성향을 반영하는 AI 모델? 가능!
✔️ 환경 보호를 우선시하는 AI 모델? 가능!
✔️ 다양한 가치 체계를 반영한 AI 모델? 가능!

이 기술은 AI의 커스터마이징 가능성을 열어주는 혁신적인 방법이며, 모델이 정밀하게 조정되면서도 필수적인 보안 기준을 유지할 수 있도록 설계돼 있습니다.

📌Dobby-mini 성능 비교

Dobby-mini는 여러 가지 테스트를 거쳐 다른 모델들과 비교했습니다.

각 항목들은 세번째 사진과 같습니다.

Llama3.1-8B 기반의 Hermes3-3.1-8B와 비교했을 때, 특정 항목에서 성능이 다소 낮아지는 시소 효과가 발생했지만, Dobby-Llama는 성능 저하 없이 유머러스한 대화를 유지하도록 조정된 것이 강점입니다.

📌이런 차이점이 중요한 이유

Sentient AI 리서치 팀은 AI 모델 후처리에 대한 강점을 가진 크립토 씬 최고의 AI팀으로 빠르게 성장하고 있습니다.

그러면서 두 가지 문제를 해결했는데, 다음과 같습니다.

1. 특정 목적에 맞게 AI 모델을 어떻게 조정할 것인가?
2. 조정 이후에도 기존 성능을 유지하는 방법은?

Dobby-mini는 이 두 질문 중 첫 번째 단계의 해답을 제시한 모델로, 암호화폐 분야에 특화되면서도 개인의 자유 중심적인 AI를 실현한 사례입니다.

그럼에도 불구하고 성능은 기존의 Llama-3.1-8B와 동일하게 유지하면서도 재미있는 모델의 형태를 보여주고 있습니다.

정리하자면 다음과 같습니다.
• Dobby-mini는 Sentient AI의 첫 AI 모델로, 개별적인 성향을 선택할 수 있도록 설계됨
• AI 조정(Alignment) 기술을 활용하여 모델의 성격과 편향을 조정할 수 있음

Dobby-mini 이용 튜토리얼 트위터에서 보기

먼저, 한국어로 번역하는 것을 허락해준 @chrisaubin_에게 감사를 전합니다.

사전 요구 사항
1. 센티언트 허깅페이스에서 모델 다운로드하기

2. 유튜브에서 크리스의 동영상을 보면서 따라하기

방법
1. 모델 다운로드
Dobby-mini는 두 가지 파일 형식으로 제공됩니다.

• GGUF: 정량화된 모델 (일반 사용자용, 실행에 적합)
• 세이프 텐서(SafeTensor): 원본 모델 (AI 연구자 및 미세 조정 전문가용)

저희는 일반적인 GGUF 형식을 사용하겠습니다.

- 다운로드 방법
1) Leashed 또는 Unhinged 모델 중 선택
2) "Files and versions"에서 원하는 양자화(비트) 수준 선택
낮은 비트 → 모델이 더 작고 빠름 (4비트 권장)
3) 파일 다운로드 (용량이 크므로 시간 소요)

2. Ollama 설치 및 설정
모델을 로컬(내 컴퓨터)에서 실행하려면 Ollama를 설치해야 합니다.
1) Ollama 다운로드 → 운영체제에 맞는 버전 선택

2) 다운로드 후 애플리케이션을 열어 CLI(Command Line Interface) 설치

(추가 사항) 만약 Vim이 설치되어 있지 않다면 Vim 다운로드 및 설치 필요

3. 모델 파일 만들기
Ollama에서 모델을 실행하려면 Modelfile을 만들어야 합니다.
1) 터미널(CMD) 실행

2) 모델이 저장된 폴더로 이동 (예: 데스크톱), 세번째 사진 참조

cmd: cd desktop
cmd/desktop: cd (폴더명)
cmd/desktop/(폴더명): vim Modelfile

3) Modelfile 작성 (파일에 모델 경로 추가)

FROM ./dobby-8b-unhinged-q4_k_m.gguf

4) Vim 종료 및 저장
Esc 키 → :x 입력 후 엔터

4. 모델 실행하기
모델을 실행하려면 Ollama를 이용해서 명령어들을 입력하면 됩니다.

1) 모델 생성

Cmd: ollama create (모델 이름) -f Modelfile

2) 모델 실행, 네번째 사진 참조

Cmd: ollama run (모델 이름)

3. 이후에는 CMD에서 마지막 명령어만 실행하면 계속 사용할 수 있습니다.

이렇게 하면 Dobby-mini를 로컬에서 실행할 수 있습니다.

실제로 저도 @chrisaubin_ 의 튜토리얼을 보고 직접 따라하면서 작성한 내용이며, 막힌 것이 있거나 궁금한 것이 있다면 편하게 질문해주세요!