DataRailroad

상황

현재 저는 M1 Pro를 사용하고 있습니다.

또한 .kaggle 데이터를 불러오고 사용하는데 Jupyter Notebook을 사용하고 있습니다.

문제는 현재 디렉토리에서는 kaggle api를 사용할 수 없어서 다른 .kaggle 디렉토리에 파일 다운로드해서 사용해야 하는데

완전 다른 디렉토리에서 kaggle 데이터셋을 어떻게 불러오냐인데 쉽게 해결할 수 있습니다.

해결

먼저 import os 합니다. 

이후 os.chdir("/Users/'계정 이름'/.kaggle") 하게 되면 디렉토리 위치가 바뀌게 되면서 kaggle 데이터셋 정보를 가져올 수 있게 됩니다.

확인은 os.getcwd()로 확인할 수 있습니다.

문제

conda install kaggle로 kaggle 설치 후 kaggle api를 통해 쉽게 kaggle 데이터셋을 다운 받을려고 하는데 kaggle 호출이 되지 않는 상황입니다. 설치한 위치가 model 개발하고 있는 폴더여서 kaggle.json 파일 위치도 model 폴더 안에 넣어두었는데 그게 문제 였습니다.

해결

현재 kaggle.json이 있는 폴더 위치에서 아래 글 복붙 하시면 됩니다.

>

mkdir -p ~/.kaggle && mv kaggle.json ~/.kaggle/kaggle.json

문제

sklearn에서 f1._score import 할 때 에러가 발생했습니다.

해결

1과 l이 jupyter notebook에서는 같은 모양이라 잘못 입력했던거였습니다.

숫자 1로 바꾸니 제대로 import 되었습니다.

* conda install -c anaconda scikit-learn 으로 설치 후 conda update scikit-learn 으로 업데이트 하면됩니다.

ModuleNotFoundError: No module named ""

상황

jupyter notebook에서 모듈을 불러올 때 에러가 발생했습니다.

'from ___ import ___'

시도

1. .ipynb -> .py로 변경

모듈을 import 하는데 실패했습니다.

2. install import-ipynb

모듈을 import 하는데 성공했습니다.

1) conda install -c conda-forge import_ipynb으로는 실패해서 pip install import-ipynb로 설치해야 합니다.

2) import import_ipynb 사용합니다.

3) 불러올 모듈을 불러옵니다.

원인

변수를 함수처럼 사용하면 발생하는 에러입니다.

해결

변수를 함수처럼 사용하지 않으면 됩니다.

예를 들어 arr = [] 변수 선언 후, arr() 등등 사용하지 않으면 됩니다.

주로  함수명을 변수명으로 쓸 때 발생하는 일입니다.

문제

GitHub에 push 하는 도중에 "fatal: 관계 없는 커밋 내역의 병합을 거부합니다" 에러가 발생했습니다.

해결

> git fetch --all # 원격 저장소의 모든 커밋을 가져옵니다.
> git reset --hard origin/master
> git push origin master

해결

GitHub에 접속하여 branch 이름을 확인 후 수정하면됩니다.

상황

100mb 이상의 파일을 GitHub에 올릴 때 에러가 발생합니다.

해결

lfs 설치해서 올리면 됩니다.

* GitHub setting에 들어가서 archives section 체크를 해줍니다.

설치 방법

1. git-lfs를 설치합니다.

# Ubuntu
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs

# Mac
brew install git-lfs

# CentOS
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash
sudo yum install git-lfs

2. Repository에 lfs를 적용합니다.

> git lfs install

# 이전에 해당 업로드 파일이 있으면 기록 제거를 합니다
> git rm -r --cached "*"

3. Repository 내에서 업로드 할 파일을 track 합니다.

> git lfs track "파일명"

4. .gitattributes와 함께 add, commit, push  합니다.

> git add .gitattributes
> git add "파일명"
> git commit -m "메세지"
> git push origin master