내일을찾는중♪

📝 Summary ✔ assert → Debugging tool, removed in optimized mode.✔ ValueError → Handles invalid values properly at runtime.  ▷ 정리하면, 개발도중에 가볍게 변수 확인, 조건 확인 등으로 Assertion을 많이 사용하고, ▷ 공식적으로  코드 내에서 잘못된 변수/인자 전달을 다루고자 할 때는 raise value 를 사용하는 것 같다.  🔹 When to Use Each?FeatureassertValueErrorPurposeDebugging, quick checksHandling incorrect valuesRaisesAssertionErrorValueErrorUsageChecks assumptionsVa..

허깅페이스 모델 CPU load 할 때 생겼던 문제!  conda install chardetpip install transformers -Upip install datasets==2.16.1pip install pyarrow==12.0.1

RuntimeError: Trying to resize storage that is not resizable pytorch lightning 쓸 때, dataloader 에서 나는 에러 같은데 정확한 에러 메시지 확인이 불가능하다. num_workers = 0 으로 하면 실제 에러 나는 원인 메세지 확인 가능

잘만 돌아가던 코드를 다른 환경에서 옮겼을 때 File "/home/user/.conda/envs/MML/lib/python3.8/site-packages/pytorch_lightning/loggers/wandb.py", line 399, in experiment self._experiment = wandb.init(**self._wandb_init) . . . fd = _os.open(file, flags, 0o600) FileNotFoundError: [Errno 2] No such file or directory: '/tmp/tmprtptbknd/port-44142.txtednylxis' 갑자기 요런 에러가 발생한다. 1. 파일이나 데이터 폴더의 경로는 이미 다 바꿔줬는데 갑자기 no such fi..

nvidia-smi 는 되는데, cuda 설치 후에도 nvcc -V는 실행할 수 없는 명령어라고 뜰 때! 1. git bash 를 켜서 vi ~/.bashrc 2. cuda-11.7 (자신이 설치한 버전에 맞게 바꿔줌) export PATH=/usr/local/cuda-11.7/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda/lib64:${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} :wq 저장하고 나온 다음에 source ~/.bashrc 이렇게 나오면 잘 실행되는 것

from transformers.generation_beam_constraints import Constraint, DisjunctiveConstraint, PhrasalConstraint 현재 transformers 버전 4.25.1 인데 여기에는 없고 4.21.1에는 있음 pip install transformers==4.21.1

Visual Studio Code 에서 ipynb 파일로 import torch 하면 발생하는 문제라면, pip3 install Cython 이걸로 해결 됐다. 만약에 해도 안 된다면, runtime을 다시 실행했을 때 된다는 글도 있었음. 어떤 경우는 numpy 버전을 맞춰서 해결하기도 했다고 함.

※ ImportError ImportError: cannot import name 'Field' from 'torchtext.data' ImportError: cannot import name 'BucketIterator' from 'torchtext.data' ModuleNotFoundError: No module named 'torchtext.legacy' 원인 : torchtext의 버전에 따라 불러오는 방식이 다르다 해결 : 버전에 맞게 legacy.data 에서 불러오거나 .data 에서 불러온다 from torchtext.legacy.data import Field, TabularDataset, BucketIterator, Iterator 0.9 이상의 버전에서는 torchtext.data -..