[데이터 전처리 ] 중복 제거

중복 제거중복 데이터(duplicates)란 데이터셋에서 완전히 동일한 행이 반복되는 경우나, 특정 기준으로 볼 때 중복인 데이터 포인트를 말합니다.중복 데이터는 분석 결과를 왜곡시킬 수 있으므로, 적절히 제거하거나 처리해야 합니다.판다스에서는 중복을 다루기 위한 메서드로 duplicated()와 drop_duplicates()를 제공합니다.duplicated()각 행이 이전에 나타난 적이 있는지 여부를 True/False로 표시한 불리언 Series를 반환합니다.기본으로 첫 번째 등장만 False (중복 아님)이고, 그 이후 중복들은 True로 표시됩니다.(duplicated(keep='first')가 기본 동작.반대로 'last'로 하면 마지막만 남기고 처음들을 True로 표시, False로 하면 모..