GPT4All: 로컬 랩탑에서 작동할 수 있는 미니 ChatGPT
Published on
GPT4All은 GPT-J와 LLaMa를 기반으로 한 강력하고 유연한 AI 도구를 제공하는 오픈소스 어시스턴트 스타일의 대형 언어 모델입니다. 이 글에서는 필요한 도구를 설치하고 모델을 실행하는 단계별 가이드를 제공합니다.
GPT4All이란?
GPT4All-J는 GPT-J 아키텍처를 기반으로한 최신 GPT4All 모델입니다. Mac/OSX, Windows 및 Ubuntu용 네이티브 챗 클라이언트 설치기를 제공하여 사용자들이 챗 인터페이스 및 자동 업데이트 기능을 즐길 수 있습니다. 원시 모델은 프로젝트에서 제공하는 C++ 바인딩과만 호환됩니다.
LLaMa 아키텍처를 기반으로한 원래의 GPT4All 모델은 GPT4All 웹사이트에서 이용할 수 있습니다. 다양한 운영 체제에서 쉽게 실행할 수 있는 CPU 양자화 버전이 제공됩니다. GPT4All-J의 학습 과정은 GPT4All-J 기술 보고서에서 자세히 설명되어 있습니다. 사용자는 모델을 직접 리플리케이션하기 위한 정돈된 훈련 데이터에 액세스할 수 있습니다. 훈련 데이터는 prompt에 대한 Atlas Map과 response에 대한 Atlas Map의 형태로 제공됩니다.
GPT4All 작동 방식
GPT4All은 CPU 및 GPU 인터페이스를위한 공식 Python 바인딩을 제공합니다. 사용자는 Python 스크립트를 통해 GPT4All 모델과 상호 작용 할 수 있으므로 모델을 다양한 애플리케이션에 통합하기 쉽습니다. GPT4All 프로젝트는 호환되는 엣지 모델의 커뮤니티를 지원하여 사용 가능한 언어 모델의 범위를 확장하도록 장려합니다. 개발자는 커뮤니티가 성장함에 따라 프로젝트에 기여하고 풀 리퀘스트를 제출할 것을 권장합니다.
로컬에서 GPT4All 실행하기
GPT4All을 시작하려면 먼저 필요한 구성 요소를 설치해야합니다. 시스템에 Python이 설치되어 있는지 확인하세요(가능한 경우 Python 3.7 이상). 그런 다음이 단계를 따르십시오.
- GPT4All 저장소를 GitHub에서 다운로드합니다: https://github.com/nomic-ai/gpt4all.git (opens in a new tab)
- 다운로드한 파일을 원하는 디렉토리에 추출합니다
- 터미널 또는 명령 프롬프트를 열고 추출 된 GPT4All 디렉토리로 이동합니다.
- 다음 명령을 실행하여 필요한 Python 패키지를 설치합니다:
단계 1: 설치
python -m pip install -r requirements.txt단계 2: GPT4All 모델 다운로드
GPT4All 모델을 GPT4All 저장소 또는 GPT4All 웹 사이트에서 다운로드합니다. 모델 파일의 확장자는 '.bin'이어야합니다. 다운로드한 모델 파일을 GPT4All 폴더 내의 'chat' 디렉터리에 배치합니다.
단계 3: GPT4All 실행
GPT4All을 실행하려면 터미널 또는 명령 프롬프트를 열고 GPT4All 폴더 내의 'chat' 디렉터리로 이동 한 다음 다음 명령을 입력하십시오. 사용 중인 운영 체제에 적합한 명령을 입력하세요:
- M1 Mac/OSX:
./gpt4all-lora-quantized-OSX-m1 - Linux:
./gpt4all-lora-quantized-linux-x86 - Windows (PowerShell):
./gpt4all-lora-quantized-win64.exe - Intel Mac/OSX:
./gpt4all-lora-quantized-OSX-intel
단계 4: GPT4All 사용 방법
GPT4All을 성공적으로 실행했다면 프롬프트에 입력하고 Enter를 눌러 프롬프트를 입력하여 모델과 상호작용 할 수 있습니다. GPT4All은 입력에 기반한 응답을 생성합니다.
단계 5: Python에서 GPT4All 사용
GPT4All을 Python에서 사용하려면 프로젝트에서 제공하는 공식 Python 바인딩을 사용할 수 있습니다. 먼저 다음 명령을 실행하여 nomic 패키지를 설치하세요.
pip install nomic그런 다음 Python 스크립트를 만들고 GPT4All 패키지를 가져옵니다.
from nomic.gpt4all import GPT4All
# Initialize the GPT4All model
m = GPT4All()
m.open()
# Generate a response based on a prompt
response = m.prompt('write me a story about a lonely computer')
# Print the generated response
print(response)결론
GPT4All은 GPT-3와 같은 대규모 AI 모델 대안으로 접근 가능하고 오픈 소스입니다. 이 단계별 가이드를 따라 GPT4All의 기능을 활용하여 프로젝트 및 애플리케이션에 활용할 수 있습니다. 더 많은 정보를 원하시면 GPT4All GitHub 저장소를 확인하고 지원 및 업데이트를 위해 GPT4All Discord 커뮤니티에 가입하십시오.
당신의 데이터를 사용해 보고 싶나요? 데이터 분석 워크플로우 자동화를 원하시나요?
Kanaries RATH (opens in a new tab)는 당신의 필요에 따라 개발된 오픈 소스 도구입니다. 자연어로 질문을 하면 데이터 인사이트와 시각화가 마법처럼 생성됩니다! 디모 영상을 확인해보세요!
더욱 놀라운 것은 RATH가 오픈 소스임을 말씀드립니다. GitHub (opens in a new tab)에서 ⭐️를 눌러주세요!
관심이 있으신가요? 영감을 받으셨나요? 한 번의 프롬프트로 데이터 인사이트를 얻으세요! ChatGPT가 적용된 RATH는 베타 단계로 오픈되어 있습니다. 함께 확인해보세요!
