Woojin Kim

헐...... 일단 임베딩부터 로컬에 비해 한 10배 이상 빠르네 [......]

스스로 불러온 재앙에 짓눌려 ......

@pkgupdt 분야가 상당히 다르긴하지만 고프로가 비슷한 문제를 심각하게 겪지않았나 싶어요. 영상처리 칩 하나 만들어 몇 세대 동안 재사용하느라 초기 세대는 소프트웨어가 하드웨어를 못 따라가 실시간 보정기능이 엉망이고 후기 세대는 칩 성능을 너무 쥐어짜서 배터리 성능이 떨어지기를 반복하더라고요. 영상처리 칩 설계능력을 수작계열화 하자니 부담이고 안하자니 경쟁이 불가능한 완전 골아픈 지점이 아닌가 싶어요.

아니근데 ...... 텍스트 60메가가 벡터데이터 60기가로 변하는 마법 ...... 이거 너무 커서 하드로 옮겨야할듯

최근 사이클링 선수의 트레이닝 중 난 사고는 정말 안타깝다. 제주 뺑뺑이 돌다보면 텅 빈 산간도로에서 저 훈련 하는 분들을 마주칠 수 있는데 사실 눈 감고 달리는 거라 운전자 말고도 전방 주시하는 사람이 더 있어야 한다. 게다가 그 사람이 선수에게 바로 의사 전달 가능해야 한다. 근데 ...... 보통 그렇게 준비하진 않는다. 빠른 속도는 문제가 아니다. 원래 이 훈련이 차로 바람 막고 냅다 달리는거 맞다. 근데 ...... 도로 주시가 안되는 상황은 ...... 너무나 위험한거 맞다.

사실 컨플루언스의 rovo에 기대가 컸는데 아직 rovo는 컨플루언스 문서 전체를 읽고 답하는 요구사항에 잘 부합하지 않습니다. 그래서인지 anythingllm에는 컨플루언스 클라우드 문서를 긁어오는 기능도 있습니다.

아주 많은 문서를 읽히려면 anythingllm이 제공하는 gui만으론 답이 안나오고 api를 통해 밀어넣는 것이 좋습니다. 결국 약 1.1만 문서를 읽혔더니 벡터데이터베이스 크기가 60기가가 됐고 자연어 검색과 여러 문서에 걸친 질의응답에 좀 느리지만 적절히 대답하는 퍼플엑시티 스페이스 비슷한걸 갖추게 되었습니다.

수많은 문서를 먹이고 이것저것 질문하는 파이프라인을 로컬에 구축하려면 anythingllm이 꽤 괜찮습니다. 문서를 먹이고 임베딩 모델 올려 벡터 데이터베이스에 저장하고 이걸 워크스페이스 단위로 맥락을 나눠 질문하는 등의 기능을 단일 컨테이너로 전부 해결할 수 있습니다.

오늘은 백악기때부터 미뤄왔던 도쿠위키 백업을 컨플루언스로 이관했다. ........... 진즉에 할 수도 있었지만 .......... 오랜 세월 미뤄 온 덕분에 기계에게 시켜 간단히 해결할 수 있었다. 다음에도 할일 생기면 미뤄야지?!

시간이 지날수록 질문 범위가 점점 더 넓어짐.

로컬에서 문서 11000개정도를 기계가 읽고 기억하게 만드는중인데 이거 약간 네오에게 무술 가르치는 기분이다.

리븐을 다시 살펴봅시다 https://blog.woojinkim.org/lets-take-another-look-at-riven/

...... 아무래도 돈지랄이 심하니 오픈클로는 도커에서 도는 리눅스 데스크탑으로 갈음해야지

맥미니 깡통을 두개 사서 하나는 홈랩 서비스 전용으로 돌리고 다른 하나는 오픈클로 전용 데스크탑 하면 딱인데 ......

anything llm에 연산 지원을 더 퍼주고싶어도 다른 서비스와 같은 기계에서 돌고 있어 지원을 그냥 퍼주면 나머지 서비스 응답속도가 떨어져 그럴. 수 없다. .......... 아 정말 llm 연산만 담당하는 기계와 서비스만 담당하는 기계를 하드웨어 수준에서 나누고싶음.

@gnh1201 K-Work, K-Coding 등으로 말하면 여전히 방법은 모르겠지만 힙해보이는 장점이 생깁니다 ?!

클라우드플레어가 월 트래픽 1테라 넘으면 네이놈 유료 쓰지 못할까! 하는 메일을 보낸다는 소문을 들었는데 ............ 얼마 안남았네 ...

아는사람을 잘 구슬려서 엔비디아 5천대 그래픽카드로 돌아가는 올라마 인스턴스를 획득했다. (...)

퍼플렉시티 리밋 걸리고 나서 사용할 폴백으로 충분한거같다.

그동안 호더에는 딥씩 70b를 써서 사소한 태그생성이나 요약에도 수십초가 걸렸는데 AnythingLLM에서 14B 수준의 모델을 사용해도 충분하다는걸 알게됨.

헐 ..... 그나마 마크다운으로 변경했으니망정이지 기존 문서 포멧 그대로 올렸더라면 난리날뻔했네

... 같은 네트워크에 있어도 1만 마크다운 파일을 업로드하고 임베딩하는데는 .......... 상당한 피곤함이 동반됩니다.

... 아무래도 원본 문서를 그냥 던지는건 너무 거대한거같으니 모두 마크다운으로 변환하겠습니다.

임베딩 모델은 bge-m3.

사실 아주 많은 문서를 먹이고 답변을 요구하는데는 현실족으로 로컬에서 뭐 하는 거 말고 선택이 좀 더 있긴 함. 일단 퍼플렉시티 스페이스가 있고 (이건 이미 요구사항 미달이긴하지만) 컨플루언스 Rovo도 있음. 전자는 지금까지 어떻게든 사용해 오고 있었지만 제약 때문에 피곤한 절차가 필요하고 컨플루언스 Rovo는 뭔........가 답변들이 불만족스러움.

처음 시도할 모델은 qwen2.5:14b-instruct.

맥OS 호스트에 ollama가 돌아가는 환경에서 도커 데스크탑에 anythingllm 설치.

퍼플렉시티 스페이스에 문서 읽히는데 프로, 맥스 섭스크립션에 걸리는 온갖 제한을 참다못해 AnythingLLM을 시도해보기로함.

홈랩 맥 데스크탑에 접근할 수 있는데도 ssh에서 작업하는게 더 편한 이상한 현상.

immich에 바라는 점: 사람 구분하는 모델과 고양이 구분하는 모델을 별도로 사용할 필요가 있다. 고양이 ...... 아니 얘랑 얘는 완전 다른 애라고..!!