AI

RAG 파이프라인은 기존의 언어 모델에 검색 기능을 추가하여, 주어진 질문이나 문제에 대해 더 정확하고 풍부한 정보를 기반으로 답변을 생성할 수 있게 해준다. 이 파이프라인은 크게 데이터 로드, 텍스트 분할, 인덱싱, 검색, 생성의 다섯 단계로 구성된다.  🔸임베딩(Embedding)임베딩(Embedding)은 텍스트 데이터를 숫자로 이루어진 벡터로 변환하는 과정을 말한다.    데이터베이스 데이터를 백터화해서 저장한 다음 입력한 값(설명)과 가장 유사한 데이터를 뽑아보는 기능을 구현하고자 한다. 파인콘에 백터 데이터를 저장하기에 미리 설정을 해둔 상태이다.    🔸1. OpenAIEmbeddings⇒ 결제를 해야 할 수 있어서.. 일단 다른 모델들 시도했습니다     🔸2. 허깅페이스 임베딩사용 ..

랭체인LLM을 이용한 애플리케이션 개발 프레임워크파이썬과 자바스크립트/ 타입스크립트로 구현가능 랭체인 응용 프로그램챗봇문장 요약도구AI 에이전트 Language models랭체인에서 언어 모델을 사용하는 방법을 제공하는 모듈다양한 언어 모델을 공통된 인터페이스로 사용가능LLMS와 Chat models 가 있다.LLMS하나의 텍스트 입력에 대해 하나의 텍스트 출력 반환Chat models채팅 형식의 대화를 입력하면 응답을 받을 수 있음OpenAI 의 Chat Completions API를 지원하기 위해 만들어진 랭체인 모듈ChatOpenAI 클래스 사용..."messages":[ {“role”:”system”,"content" :"you are a helpful assistant"}, {“role”:”us..

PyTorch 라는 머신러닝 라이브러리를 사용해 자연어 처리를 진행했어야했다.  Elastic Beanstalk 을 사용해 배포를 진행하고 있었고, 배포가 실패되며 에러가 발생했다는 것을 확인했다. 아니 얼마나 크길래 공간이 없다는거지?  df -h 명령어를 통해 파일 시스템의 용량과 사용량을 확인했다.Filesystem Size Used Avail Use% Mounted ondevtmpfs 4.0M 0 4.0M 0% /devtmpfs 453M 0 453M 0% /dev/shmtmpfs 182M 15M 167M 8% /run/dev/nvme0n1p1 16G 3.4G 13G 21% /t..