AMD Ryzen AI CPU 및 Radeon 7000 GPU는 NVIDIA의 RTX 채팅과 마찬가지로 LLM을 사용하여 현지화된 챗봇을 실행할 수 있습니다.

NVIDIA의 Chat with RTX 출시에 이어 AMD는 이제 Ryzen AI CPU 및 Radeon 7000 GPU에서 실행할 수 있는 현지화된 GPT 기반 LLM 기반 AI 챗봇을 사용자에게 제공하고 있습니다.

AMD가 Ryzen AI CPU 및 Radeon 7000 GPU에서 실행할 수 있는 현지화된 LLM 기반 챗봇을 공개함에 따라 RTX와의 NVIDIA Chat에 경쟁자가 생겼습니다.

지난달 NVIDIA는 RTX 40 및 RTX 30 GPU에서 사용할 수 있고 TensorRT-LLM 기능 세트로 가속화되는 ” RTX와의 채팅 ” AI Chatbot을 출시했습니다. 이 챗봇은 사용자가 사용할 수 있는 데이터를 기반으로 더 빠른 GenAI 결과를 제공합니다. PC, 즉 현지화된 데이터세트입니다. 이제 AMD는 XDNA NPU를 갖춘 Ryzen 7000 및 Ryzen 8000 APU와 AI 가속기 코어를 갖춘 최신 Radeon 7000 GPU를 포함하는 Ryzen AI PC와 같은 다양한 하드웨어에서 실행할 수 있는 자체 LLM 기반 GPT 챗봇을 제공하고 있습니다. .

AMD Ryzen AI CPU의 경우 Windows용 표준 LM Studio 사본을 얻을 수 있고 Radeon RX 7000 GPU는 ROCm Technical Preview를 얻을 수 있습니다. 전체 가이드는 아래에 공유되어 있습니다:

1. 올바른 버전의 LM Studio를 다운로드합니다.

AMD Ryzen 프로세서의 경우	AMD Radeon RX 7000 시리즈 그래픽 카드의 경우
LM 스튜디오 – 윈도우	LM Studio – ROCm 기술 미리보기

2. 파일을 실행합니다.

3. 검색 탭에서 실행하려는 항목에 따라 다음 검색어를 복사하여 붙여넣습니다.

ㅏ. Mistral 7b를 실행하려면 ” TheBloke/OpenHermes-2.5-Mistral-7B-GGUF “를 검색하고 왼쪽 결과에서 선택하십시오. 일반적으로 첫 번째 결과가 됩니다. 이 예에서는 Mistral을 사용하겠습니다.

비. LLAMA v2 7b를 실행하려면 ” TheBloke/Llama-2-7B-Chat-GGUF “를 검색하고 왼쪽 결과에서 선택하세요. 일반적으로 첫 번째 결과가 됩니다.

씨. 여기에서 다른 모델을 실험해 볼 수도 있습니다.

4. 오른쪽 패널에서 Q4 KM 모델 파일이 나타날 때까지 아래로 스크롤합니다. 다운로드를 클릭하세요.

ㅏ. Ryzen AI가 탑재된 대부분의 모델에는 Q4 KM을 권장합니다 . 다운로드가 완료될 때까지 기다리세요.

5. 채팅 탭으로 이동합니다. 상단 중앙의 드롭다운 메뉴에서 모델을 선택하고 로드가 완료될 때까지 기다립니다.

6. AMD Ryzen AI PC가 있다면 채팅을 시작할 수 있습니다!

ㅏ. AMD Radeon 그래픽 카드가 있는 경우 다음을 수행하십시오.

나. 오른쪽 패널에서 “GPU 오프로드”를 확인합니다.

ii. 슬라이더를 “최대”까지 이동합니다.

iii. AMD ROCm이 감지된 GPU 유형으로 표시되는지 확인하세요.

iv. 채팅을 시작하세요!

AI로 구동되는 현지화된 챗봇을 사용하면 적절하게 설정하면 삶과 업무가 상대적으로 쉬워질 수 있습니다. 작업을 효율적으로 수행하고 쿼리와 LLM이 목표로 하는 데이터 경로를 기반으로 적절한 결과를 얻을 수 있습니다. NVIDIA와 AMD는 소비자 계층 하드웨어를 위한 AI 기반 기능의 속도를 가속화하고 있으며 이는 시작에 불과합니다. AI PC 부문이 새로운 정점에 도달함에 따라 앞으로 더 많은 혁신이 이루어질 것으로 기대됩니다.