아래 파이썬 코드를 참조하여서 테스트를 진행해보시면 됩니다.

import requests import json

모델 초기화 및 설정

api_url = “http://localhost:11434/api/generate” headers = { “Content-Type”: “application/json” }

instruction = “구독자들을 위한 인사말을 작성해줘” input_text = “같이할래 코딩 유튜브”

요청 데이터 포맷팅

data = { “model”: “sungwoo/llama3.1-ko-conversation”, # 사용할 모델 이름 “prompt”: f”{instruction}\n{input_text}\n”, “parameters”: { “max_tokens”: 200 # 생성할 토큰의 최대 수 } }

POST 요청으로 모델에 입력 데이터 전송 및 스트리밍 응답 받기

response = requests.post(api_url, headers=headers, data=json.dumps(data), stream=True)

if response.status_code == 200: # 스트리밍 응답을 하나의 텍스트로 결합 final_response = “” for line in response.iter_lines(): if line: # 스트리밍된 응답을 JSON으로 파싱 response_data = json.loads(line.decode(‘utf-8’)) if ‘response’ in response_data: final_response += response_data[‘response’] if response_data.get(‘done’, False): break print(“Generated Text:”, final_response) else: print(“Failed to generate response:”, response.text)”