내일을찾는중♪

📝 Summary ✔ assert → Debugging tool, removed in optimized mode.✔ ValueError → Handles invalid values properly at runtime.  ▷ 정리하면, 개발도중에 가볍게 변수 확인, 조건 확인 등으로 Assertion을 많이 사용하고, ▷ 공식적으로  코드 내에서 잘못된 변수/인자 전달을 다루고자 할 때는 raise value 를 사용하는 것 같다.  🔹 When to Use Each?FeatureassertValueErrorPurposeDebugging, quick checksHandling incorrect valuesRaisesAssertionErrorValueErrorUsageChecks assumptionsVa..

평소 윈도우나 맥에서 아나콘다 사용하다 linux에서는 conda 를 쓰기 위함.(진짜 개발하다보면 이것저것 다 쓰게 되는구나... 맥, 윈도우, 리눅스, 도커, slurm, pbsnode, 등등... ) #버전은 최신 버전에 따라 달라질 수 있음. apt install wget$ wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh 최신 주소는 항상 공식 사이트 확인https://docs.anaconda.com/anaconda/install/ Installing Anaconda Distribution — Anaconda documentation docs.anaconda.com 또는 wget 명령어가 아니라 shell 스크..

torch 11.2 버전# 1.10.1conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch -c conda-forge#1.12.1conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch  pytorch lightning version 맞추기conda install pytorch-lightning -c conda-forge ruamel 설치conda install ruamel.yaml

허깅페이스 모델 CPU load 할 때 생겼던 문제!  conda install chardetpip install transformers -Upip install datasets==2.16.1pip install pyarrow==12.0.1

각각 다른 크기의 이미지를 200x200 크기로 모두 동일하게 맞추고 싶을 때... from PIL import Image import os def resize_images_in_folder(source_folder, target_folder, size=(200,200)): if not os.path.exists(target_folder): os.makedirs(target_folder) for filename in os.listdir(source_folder): img_path = os.path.join(source_folder, filename) img = Image.open(img_path) img_resized = img.resize(size, Image.ANTIALIAS) save_path = ..

RuntimeError: Trying to resize storage that is not resizable pytorch lightning 쓸 때, dataloader 에서 나는 에러 같은데 정확한 에러 메시지 확인이 불가능하다. num_workers = 0 으로 하면 실제 에러 나는 원인 메세지 확인 가능

잘만 돌아가던 코드를 다른 환경에서 옮겼을 때 File "/home/user/.conda/envs/MML/lib/python3.8/site-packages/pytorch_lightning/loggers/wandb.py", line 399, in experiment self._experiment = wandb.init(**self._wandb_init) . . . fd = _os.open(file, flags, 0o600) FileNotFoundError: [Errno 2] No such file or directory: '/tmp/tmprtptbknd/port-44142.txtednylxis' 갑자기 요런 에러가 발생한다. 1. 파일이나 데이터 폴더의 경로는 이미 다 바꿔줬는데 갑자기 no such fi..

1. git bash 에서 name, email 새롭게 설정 git config --global user.name myname git config --global user.email myemail 이렇게 하면 git config user.name 했을 때 내가 입력한 값으로 바뀌었다. 2. 기존에 있던 레페지토리 git clone git clone repoAddress cd repoName repo 를 clone 한 다음에 해당 폴더로 진입하면 (master) 표시 생성됨. git push origin master

nvidia-smi 는 되는데, cuda 설치 후에도 nvcc -V는 실행할 수 없는 명령어라고 뜰 때! 1. git bash 를 켜서 vi ~/.bashrc 2. cuda-11.7 (자신이 설치한 버전에 맞게 바꿔줌) export PATH=/usr/local/cuda-11.7/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda/lib64:${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} :wq 저장하고 나온 다음에 source ~/.bashrc 이렇게 나오면 잘 실행되는 것

from transformers.generation_beam_constraints import Constraint, DisjunctiveConstraint, PhrasalConstraint 현재 transformers 버전 4.25.1 인데 여기에는 없고 4.21.1에는 있음 pip install transformers==4.21.1