Woojin Kim

수많은 문서를 먹이고 이것저것 질문하는 파이프라인을 로컬에 구축하려면 anythingllm이 꽤 괜찮습니다. 문서를 먹이고 임베딩 모델 올려 벡터 데이터베이스에 저장하고 이걸 워크스페이스 단위로 맥락을 나눠 질문하는 등의 기능을 단일 컨테이너로 전부 해결할 수 있습니다.

오늘은 백악기때부터 미뤄왔던 도쿠위키 백업을 컨플루언스로 이관했다. ........... 진즉에 할 수도 있었지만 .......... 오랜 세월 미뤄 온 덕분에 기계에게 시켜 간단히 해결할 수 있었다. 다음에도 할일 생기면 미뤄야지?!

시간이 지날수록 질문 범위가 점점 더 넓어짐.

로컬에서 문서 11000개정도를 기계가 읽고 기억하게 만드는중인데 이거 약간 네오에게 무술 가르치는 기분이다.

리븐을 다시 살펴봅시다 https://blog.woojinkim.org/lets-take-another-look-at-riven/

...... 아무래도 돈지랄이 심하니 오픈클로는 도커에서 도는 리눅스 데스크탑으로 갈음해야지

맥미니 깡통을 두개 사서 하나는 홈랩 서비스 전용으로 돌리고 다른 하나는 오픈클로 전용 데스크탑 하면 딱인데 ......

anything llm에 연산 지원을 더 퍼주고싶어도 다른 서비스와 같은 기계에서 돌고 있어 지원을 그냥 퍼주면 나머지 서비스 응답속도가 떨어져 그럴. 수 없다. .......... 아 정말 llm 연산만 담당하는 기계와 서비스만 담당하는 기계를 하드웨어 수준에서 나누고싶음.

@gnh1201 K-Work, K-Coding 등으로 말하면 여전히 방법은 모르겠지만 힙해보이는 장점이 생깁니다 ?!

클라우드플레어가 월 트래픽 1테라 넘으면 네이놈 유료 쓰지 못할까! 하는 메일을 보낸다는 소문을 들었는데 ............ 얼마 안남았네 ...

아는사람을 잘 구슬려서 엔비디아 5천대 그래픽카드로 돌아가는 올라마 인스턴스를 획득했다. (...)

퍼플렉시티 리밋 걸리고 나서 사용할 폴백으로 충분한거같다.

그동안 호더에는 딥씩 70b를 써서 사소한 태그생성이나 요약에도 수십초가 걸렸는데 AnythingLLM에서 14B 수준의 모델을 사용해도 충분하다는걸 알게됨.

헐 ..... 그나마 마크다운으로 변경했으니망정이지 기존 문서 포멧 그대로 올렸더라면 난리날뻔했네

... 같은 네트워크에 있어도 1만 마크다운 파일을 업로드하고 임베딩하는데는 .......... 상당한 피곤함이 동반됩니다.

... 아무래도 원본 문서를 그냥 던지는건 너무 거대한거같으니 모두 마크다운으로 변환하겠습니다.

임베딩 모델은 bge-m3.

사실 아주 많은 문서를 먹이고 답변을 요구하는데는 현실족으로 로컬에서 뭐 하는 거 말고 선택이 좀 더 있긴 함. 일단 퍼플렉시티 스페이스가 있고 (이건 이미 요구사항 미달이긴하지만) 컨플루언스 Rovo도 있음. 전자는 지금까지 어떻게든 사용해 오고 있었지만 제약 때문에 피곤한 절차가 필요하고 컨플루언스 Rovo는 뭔........가 답변들이 불만족스러움.

처음 시도할 모델은 qwen2.5:14b-instruct.

맥OS 호스트에 ollama가 돌아가는 환경에서 도커 데스크탑에 anythingllm 설치.

퍼플렉시티 스페이스에 문서 읽히는데 프로, 맥스 섭스크립션에 걸리는 온갖 제한을 참다못해 AnythingLLM을 시도해보기로함.

홈랩 맥 데스크탑에 접근할 수 있는데도 ssh에서 작업하는게 더 편한 이상한 현상.

immich에 바라는 점: 사람 구분하는 모델과 고양이 구분하는 모델을 별도로 사용할 필요가 있다. 고양이 ...... 아니 얘랑 얘는 완전 다른 애라고..!!

광역버스 리스폰 지역

잠은행에 대출을 좀 갚음

냉동망고 좋음. 또사야지

@coniico @fuzzysystem 아니 .... 오자마자 이러면 내향인은 그냥 뒤돌아 기차타고 가버릴거같아요 ㅠㅠ

@sftblw 지나가던 m4pro 사용자입니다. 답답함을 참기어렵사오니 바로 스튜디오 가셔야합니다.

근데 유료서비스에서 3분걸리는걸 로컬에서 돌리는데 걸리는 예상시간은 1-3시간임. ..... 진짜 퇴근직전 일 시키고 아침까지 달라는 느낌으로 쓰게될듯.

@eeruwang 가질수는 있어보입니다(!!?)