Ollama를 통해 내 PC에서 LLM을 실행한다는 것에 대한 의미와 장점

Ollama를 통해 내 PC에서 LLM을 실행한다는 것에 대한 의미와 장점은 무엇일까요?

1. 개인 정보 보호 및 데이터 보안

https://www.aitimes.com/news/articleView.html?idxno=150837

2023년에 chatGPT가 공개되고 신기해서 이것 저것 해보다 데이터 유출이 이슈가 되었지요?

물어보는 내용 그리고 올리는 데이터는 어디로 갈까요? 아무도 모릅니다. 그렇기에 민감한 내용에 대해서 LLM 서비스에서 활용하기에는

조심해야 할 것 같습니다. 그렇다고 안 쓸수도 없고...

그래서! 내 PC에서 직접 LLM을 실행해서 사용하는 것이 큰 장점이지요! 어디에도 내가 묻는 질문들은 외부로 유출이 될 일이 없을테니까요!

2. 쉬운 관리 및 개인화

chatGPT나 뤼튼 등과 같은 LLM 서비스들은 모두 강력합니다. 사용하기도 편하고요!

하지만, 역시 남들이 만들어 놓은 서비스이기에 뭔가 아쉬운 점이 있어도 그냥 사용해야 하지요.

Ollama를 활용하면 Model File을 통해 사용자화를 할 수 있으며, Open WebUI나 Gradio나 Streamlit 등을 통해서 자신만의 서비스를 구현할 수도 있습니다.

앞으로 차차 만들어봅시다!

3. 비용 절감

앞서 이야기 했지만, chatGPT나 뤼튼 등과 같은 LLM 서비스들은 모두 강력합니다. 그러나, 역시 돈을 내야 합니다. 아직 뤼큰은 예외지만...

LLM을 실행하는 환경에 대한 비용이 많이 들지요!

1번째 그래프에서 생성형 AI 투자가 급증하고 있다고 보여줍니다. 역시 돈이 들지요!

그런데, 그냥 나혼자 사용해보고 테스트해 볼 정도라면, 굳이 돈을 투자할 필요가 있을까요?

이제 Ollama로 한번 시작해보고, 서비스 구현을 해보면서 차근차근 해나가는 방법도 있겠지요?

4. 실험 및 개발 공부

3번 내용과 이어지는 내용일 것 같습니다. LLM를 내 PC에서 직접 실행해보면서 LLM 서비스를 경험해보고,

자신만의 서비스를 구현해보는 것도 아주 좋은 과정이 될 것입니다.

비용 걱정! No! No!

개발의 어려움 No! No!

단지, Ollama만 있으면 됩니다!!!

과 같은 것들을 할 수 있을 것입니다.