Pandas - Es ist eine Bibliothek für die Analyse und Verarbeitung von Daten, die leistungsstarke Werkzeuge für die Arbeit mit Tabellen und Zeitreihen bietet. Eine der häufigsten Methoden zum Laden von Daten in Pandas ist die Verwendung von CSV-Dateien.
CSV-Dateien (Comma Separated Values) sind Textdateien, bei denen Werte durch Kommas oder ein anderes Trennzeichen getrennt sind. Sie werden häufig zum Speichern von Tabellen mit Daten in einem strukturierten Format verwendet.
In diesem Artikel erfahren Sie, wie Sie Daten aus einer CSV-Datei mit ein paar einfachen Schritten einfach in einen Pandas-DataFrame laden können. Wir werden uns auch einige erweiterte Optionen ansehen, die beim Lesen von CSV-Dateien mit verschiedenen Einstellungen nützlich sein können.
Einleitende Informationen
Was ist ein Pandas-Dataframe?
Dataframe pandas ist ein leistungsfähiges Datenwerkzeug, das umfangreiche Funktionen zum Filtern, Sortieren, Aggregieren und Visualisieren von Daten bietet. Außerdem können Sie Operationen für Spalten und Zeilen ausführen, einschließlich der Anwendung von Funktionen, dem Erstellen neuer Spalten und dem Ausführen bedingter Operationen. Der Pandas-Dataframe ermöglicht eine einfache und flexible Manipulation von Daten und ist damit ein unverzichtbares Werkzeug für Datenanalyse und wissenschaftliche Forschung.
Das Besondere an der Arbeit mit Pandas Dataframe ist die Integration mit anderen Python-Bibliotheken wie NumPy, Matplotlib und SciPy. Dadurch können Sie die leistungsstarken Funktionen dieser Bibliotheken nutzen, um Daten zusammen mit dem Pandas-Dataframe zu analysieren und zu visualisieren. Darüber hinaus verfügt der Pandas-Dataframe über eine hohe Leistung und Effizienz und ist damit die erste Wahl bei der Arbeit mit unstrukturierten Daten.
Dataframe pandas ist ein praktisches Werkzeug für die Arbeit mit Daten, mit dem Sie eine Vielzahl von Operationen an ihnen durchführen können. Aufgrund seiner Flexibilität und Integration in andere Bibliotheken ist dataframe pandas eines der beliebtesten Datenanalysetools in Python.
Datenaufbereitung
Bevor Sie mit der Arbeit mit Daten aus einer CSV-Datei beginnen, müssen Sie einige vorbereitende Schritte ausführen, um die Daten vorzubereiten.
1. Datei öffnen: Verwenden Sie die Funktion pandas read_csv(), um die CSV-Datei zu öffnen und die Daten in den Dataframe zu lesen. Vergessen Sie nicht, den Dateipfad und das Feldtrennzeichen (normalerweise ein Komma) anzugeben.
2. Daten anzeigen: Verwenden Sie head() oder tail(), um die ersten oder letzten Zeilen des Dataframes anzuzeigen und die Struktur von Dateien und Datentypen zu bewerten.
3. Verarbeiten von fehlenden Werten: verwenden Sie die dropna() -Methode, um Zeilen oder Spalten mit fehlenden Werten zu löschen, oder die Funktion fillna(), um die fehlenden Werte mit einem bestimmten Wert zu füllen.
4. Duplikatbehandlung: Verwenden Sie die drop_duplicates() -Methode, um vollständig doppelte Zeilen zu entfernen.
5. Ändern von Datentypen: verwenden Sie die astype() -Methode, um die Spaltendatentypen zu ändern (z. B. von String zu numerisch).
6. Spaltennamen ändern: Verwenden Sie die rename() -Methode, um die Spalten bei Bedarf umzubenennen.
7. Untersuchung statistischer Merkmale: verwenden Sie die describe() -Methode, um Dataframe-Statistiken wie Mittelwert, Standardabweichung und Perzentile zu analysieren.
8. Datenfilterung: Verwenden Sie Bedingungsoperatoren, um die Daten eines Dataframes nach Wert oder Bedingung zu filtern.
Nachdem Sie die Daten vorbereitet haben, können Sie mit der Analyse und Visualisierung oder mit statistischen Tests beginnen.
Wie lade ich eine CSV-Datei in einen Dataframe hoch?
Um eine CSV-Datei mithilfe der Pandas-Bibliothek in einen Dataframe hochzuladen, führen Sie die folgenden Schritte aus:
-
Pandas-Bibliothek importieren:
import pandas as pddf = pd.read_csv('file.csv')df = pd.read_csv('file.csv', delimiter=';', encoding='utf-8')Jetzt können Sie den resultierenden Dataframe verwenden, um die Daten zu analysieren, Operationen mit ihnen durchzuführen und andere Manipulationen durchzuführen.
Arbeiten mit einem Dataframe
Eine der wichtigsten Methoden zum Erstellen eines DataFrames besteht darin, Daten aus einer CSV-Datei zu lesen. Dazu können Sie die Pandas-Funktion verwenden.read_csv(). Es konvertiert automatisch Daten aus einer Datei in einen DataFrame unter Berücksichtigung von Trennzeichen und Spaltenüberschriften.
Beispiel für die Arbeit mit einem DataFrame:
import pandas as pd# Чтение файла CSV в DataFramedata = pd.read_csv('data.csv')print(data.head())print(data.dtypes)# Выборка данных из DataFramesubset = data[['column1', 'column2']]# Фильтрация данных по условиюfiltered_data = data[data['column3'] > 0]# Агрегация данныхaggregated_data = data.groupby('column4').mean()
Wie Sie im Beispiel sehen können, können Sie mit einem DataFrame verschiedene Operationen ausführen: Daten nach Spalten abrufen, Daten nach bestimmten Bedingungen filtern, Aggregieren und vieles mehr. Der DataFrame bietet eine bequeme Möglichkeit, mit Tabellendaten in Python zu arbeiten.
Wie kann ich die ersten Zeilen eines Dataframes anzeigen?
Wenn Sie mit einem Dataframe in Pandas arbeiten, ist es sehr nützlich, die ersten paar Datenzeilen anzeigen zu können. Hier sind einige Möglichkeiten, dies zu tun:
| Methode | Die Beschreibung |
|---|---|
| df.head() | Gibt die ersten 5 Zeilen des Dataframes zurück. |
| df.head(n) | Gibt die ersten n Zeilen des Dataframes zurück. |
| df.iloc[:n] | Gibt die ersten n Zeilen des Dataframes mithilfe der iloc-Indizierung zurück. |
Sie können je nach Ihren Bedürfnissen eine dieser Methoden auswählen. Sie sind sehr praktisch, um sich schnell mit den Daten und ihrer Struktur vertraut zu machen.
Wie wähle ich bestimmte Dataframe-Spalten aus?
Sie können die Funktion read_csv() verwenden, um mit Daten aus einer CSV-Datei in pandas zu arbeiten, die ein DataFrame-Objekt erstellt. Dadurch werden alle Spalten in der CSV-Datei im DataFrame verfügbar. Es ist jedoch oft erforderlich, nur bestimmte Spalten auszuwählen, damit Sie weiterarbeiten können.
Sie können verschiedene Methoden verwenden, um bestimmte Spalten aus einem DataFrame auszuwählen:
- Spaltennamen verwenden: Sie können die Namen der gewünschten Spalten in eckigen Klammern nach dem DataFrame-Namen angeben. Zum Beispiel, df[["spalte1", "spalte2"]] gibt nur einen neuen DataFrame mit den angegebenen Spalten zurück.
- Spaltenindizes verwenden: Sie können die Indizes der gewünschten Spalten in eckigen Klammern nach dem DataFrame-Namen angeben. Zum Beispiel, df[[0, 2, 4]] gibt einen neuen DataFrame mit nur ausgewählten Spalten mit entsprechenden Indizes zurück.
- Verwenden Sie die loc-Methode[ ] : sie können die loc-Methode verwenden[ ] so wählen Sie Spalten nach ihren Namen aus. Zum Beispiel, df.loc[:, ["spalte1", "spalte2"]] gibt einen neuen DataFrame nur mit den angegebenen Spaltennamen zurück.
- Iloc-Methode verwenden[ ] : sie können die iloc-Methode verwenden[ ] so wählen Sie Spalten anhand ihrer Indizes aus. Zum Beispiel, df.iloc[:, [0, 2, 4]] gibt einen neuen DataFrame nur mit den angegebenen Spaltenindizes zurück.
Wenn Sie nur die gewünschten Spalten auswählen, können Sie die Datenanalyse vereinfachen und den verwendeten Speicher reduzieren.
Wie kann ich die Daten im Dataframe nach einer Bedingung filtern?
In Pandas können Sie Daten in einem Dataframe nach einer bestimmten Bedingung einfach filtern. Dazu wird die df-Methode verwendet.loc .
import pandas as pd# создаем dataframe из файла csvdf = pd.read_csv('file.csv')# отфильтровываем строки, где значение в столбце 'column' больше 5filtered_df = df.loc[df['column'] > 5]print(filtered_df)In diesem Beispiel erstellen wir einen Dataframe aus einer CSV-Datei und verwenden dann die loc-Methode, um die Daten zu filtern. Als Bedingung geben wir an, dass der Wert in der Spalte 'column' größer als 5 sein muss. Als Ergebnis erhalten wir gefilterte Zeilen.
Sie können auch andere Vergleichsoperatoren verwenden, z. B.:
| Operator | Bedeutung |
|---|---|
| == | gleich |
| != | ist nicht gleich |
| > | mehr |
| weniger | |
| >= | größer oder gleich |
| kleiner oder gleich |
Durch das Filtern von Daten im Dataframe in Pandas können Sie daher nur die Zeilen auswählen, die eine bestimmte Bedingung erfüllen.
Speichern von Daten
Nachdem Sie Ihren DataFrame aus einer CSV-Datei erstellt haben, können Sie ihn im CSV-Format oder in einem anderen Format speichern, das von der Pandas-Bibliothek unterstützt wird. Dies kann mit der to_csv() -Methode erfolgen. Hier ist ein Beispiel:
# Сохранение DataFrame в файле CSVdf.to_csv('output.csv', index=False)# Сохранение DataFrame в формате Exceldf.to_excel('output.xlsx', index=False)# Сохранение DataFrame в формате JSONdf.to_json('output.json', orient='records')Im obigen Beispiel wird der DataFrame in einer CSV-, Excel- und JSON-Datei gespeichert. Sie können die gewünschten Parameter wie Dateiname, Dateipfad, Einstellungen zum Speichern angeben, z. B. Indizes in einer CSV-Datei mit dem Argument index=False deaktivieren.
Das Speichern von Daten in Pandas ist daher sehr einfach und bequem. Dadurch können Sie nicht nur Daten aus CSV-Dateien laden, sondern die bearbeiteten Daten auch zur späteren Verwendung in Dateien speichern.
