개발일기32 [AI] 데이터셋 검증을 잘 하자 + 전처리 저장/로드 영-한 번역 모델을 만들어보고 있는데, 데이터셋 검증을 제대로 하지 않아 시간을 많이 날렸다.대충 봐선 몰랐는데, 데이터셋을 하나하나 보니까 번역이 이상한 데이터셋... https://huggingface.co/datasets/msarmi9/korean-english-multitarget-ted-talks-task 아니면 이런건 아예 컬럼이 없고 데이터만 딸랑 존재했다. (전처리의 귀찮음)https://huggingface.co/datasets/bongsoo/news_talk_ko_en 데이터셋이 GB 단위로 넘어가면 로드에 매우 오랜 시간이 걸린다. # 데이터셋 저장 경로 설정processed_train_dataset_path = os.path.join(log_dir, "tokenized_train.. 2024. 9. 29. 1년간 1일 1커밋을 했다 1년간 1일 1커밋을 했다.하다보니 아까워서 못그만두겠다. 장점은 하루에 뭐라도 해야한다는 강박에 진짜 뭐라도 하게 되는 것이다. 여행 갈 때도 맥북 들고 가서 개발했다. 2024. 6. 26. 열심히 사는 사람 열심히 사는 사람 (본인 이야기 아님) 비록 나 또한 아는 것이 많지 않지만, 어찌저찌 하다 보니 1000명이 넘는 멘티 분들을 멘토링해왔다. 이 과정에서 수많은 사람들을 개발자로 안내하고 이끌어왔다. 요즘 취업이 힘들어졌다. 경쟁률이 1000:1이 넘는 것을 많이 보았다. 심지어 어느 모 회사는 1760:1이더라.아는 개발자분들을 통해 물어봐도 이력서가 수백장이 들어오는건 예사 일도 아니라고 하나같이 말씀하셨다. 그러다보니 나도 그에 맞춰 멘토링을 할 수 밖에 없었다.성능 측정은 물론이고, 여러번의 성능 개선 경험 그리고 그 측정치를 가지고 그래프와 표를 넣게 가이드했다. 신입이지만 일부는 VPC부터 ECS까지 구성하게 했고, 그럴싸한 아키텍쳐 구성과 그림 첨부는 이제는 default가 되었다.이제.. 2024. 6. 4. [Next] 간단한 룩업테이블 리팩토링 실전 예시 리팩토링 전:'use client'import { ReactNode, useState } from 'react'import ShopBoardTypeSelector from '@/components/Shops/ShopBoardTypeSelector'import SimpleOrderBoard from '@/components/Shops/SimpleOrderBoard'import GeneralOrderBoard from '@/components/Shops/GeneralOrderBoard'import { MenuBoardType, Shop } from '@/components/Shops/interface'import { Menu } from '@/components/Menus/interface'import Sh.. 2024. 5. 28. [AWS] ACM 갑자기 안됐던 이유 / 도메인 인증 기간 아무것도 건들지 않았는데 갑자기 https 요청이 되지 않아서 한참을 헤메다 찾았다.AWS 구매한 도메인에 대해서 15일 내로 인증을 하지 않으면 the domain will be suspended and no longer be accessible on the internet 가 되기 때문이었다. 2024. 5. 15. 이전 1 2 3 4 ··· 7 다음
