Sorting

Sorting

Sorting is a fundamental component of data analysis. Basic sorting is trivial: just calling sort! will sort all columns, in place:

julia> using DataFrames, CSV

julia> iris = CSV.read(joinpath(dirname(pathof(DataFrames)), "../test/data/iris.csv"));

julia> sort!(iris);

julia> head(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 4.3         │ 3.0        │ 1.1         │ 0.1        │ setosa        │
│ 2   │ 4.4         │ 2.9        │ 1.4         │ 0.2        │ setosa        │
│ 3   │ 4.4         │ 3.0        │ 1.3         │ 0.2        │ setosa        │
│ 4   │ 4.4         │ 3.2        │ 1.3         │ 0.2        │ setosa        │
│ 5   │ 4.5         │ 2.3        │ 1.3         │ 0.3        │ setosa        │
│ 6   │ 4.6         │ 3.1        │ 1.5         │ 0.2        │ setosa        │

julia> tail(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 7.6         │ 3.0        │ 6.6         │ 2.1        │ virginica     │
│ 2   │ 7.7         │ 2.6        │ 6.9         │ 2.3        │ virginica     │
│ 3   │ 7.7         │ 2.8        │ 6.7         │ 2.0        │ virginica     │
│ 4   │ 7.7         │ 3.0        │ 6.1         │ 2.3        │ virginica     │
│ 5   │ 7.7         │ 3.8        │ 6.7         │ 2.2        │ virginica     │
│ 6   │ 7.9         │ 3.8        │ 6.4         │ 2.0        │ virginica     │

In Sorting DataFrames, you may want to sort different columns with different options. Here are some examples showing most of the possible options:

julia> sort!(iris, rev = true);

julia> head(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 7.9         │ 3.8        │ 6.4         │ 2.0        │ virginica     │
│ 2   │ 7.7         │ 3.8        │ 6.7         │ 2.2        │ virginica     │
│ 3   │ 7.7         │ 3.0        │ 6.1         │ 2.3        │ virginica     │
│ 4   │ 7.7         │ 2.8        │ 6.7         │ 2.0        │ virginica     │
│ 5   │ 7.7         │ 2.6        │ 6.9         │ 2.3        │ virginica     │
│ 6   │ 7.6         │ 3.0        │ 6.6         │ 2.1        │ virginica     │

julia> tail(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 4.6         │ 3.1        │ 1.5         │ 0.2        │ setosa        │
│ 2   │ 4.5         │ 2.3        │ 1.3         │ 0.3        │ setosa        │
│ 3   │ 4.4         │ 3.2        │ 1.3         │ 0.2        │ setosa        │
│ 4   │ 4.4         │ 3.0        │ 1.3         │ 0.2        │ setosa        │
│ 5   │ 4.4         │ 2.9        │ 1.4         │ 0.2        │ setosa        │
│ 6   │ 4.3         │ 3.0        │ 1.1         │ 0.1        │ setosa        │

julia> sort!(iris, (:SepalWidth, :SepalLength));

julia> head(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 5.0         │ 2.0        │ 3.5         │ 1.0        │ versicolor    │
│ 2   │ 6.0         │ 2.2        │ 5.0         │ 1.5        │ virginica     │
│ 3   │ 6.0         │ 2.2        │ 4.0         │ 1.0        │ versicolor    │
│ 4   │ 6.2         │ 2.2        │ 4.5         │ 1.5        │ versicolor    │
│ 5   │ 4.5         │ 2.3        │ 1.3         │ 0.3        │ setosa        │
│ 6   │ 5.0         │ 2.3        │ 3.3         │ 1.0        │ versicolor    │

julia> tail(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 5.4         │ 3.9        │ 1.7         │ 0.4        │ setosa        │
│ 2   │ 5.4         │ 3.9        │ 1.3         │ 0.4        │ setosa        │
│ 3   │ 5.8         │ 4.0        │ 1.2         │ 0.2        │ setosa        │
│ 4   │ 5.2         │ 4.1        │ 1.5         │ 0.1        │ setosa        │
│ 5   │ 5.5         │ 4.2        │ 1.4         │ 0.2        │ setosa        │
│ 6   │ 5.7         │ 4.4        │ 1.5         │ 0.4        │ setosa        │

julia> sort!(iris, (order(:Species, by = uppercase),
                    order(:SepalLength, rev = true)));

julia> head(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 5.8         │ 4.0        │ 1.2         │ 0.2        │ setosa        │
│ 2   │ 5.7         │ 3.8        │ 1.7         │ 0.3        │ setosa        │
│ 3   │ 5.7         │ 4.4        │ 1.5         │ 0.4        │ setosa        │
│ 4   │ 5.5         │ 3.5        │ 1.3         │ 0.2        │ setosa        │
│ 5   │ 5.5         │ 4.2        │ 1.4         │ 0.2        │ setosa        │
│ 6   │ 5.4         │ 3.4        │ 1.7         │ 0.2        │ setosa        │

julia> tail(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 5.8         │ 2.7        │ 5.1         │ 1.9        │ virginica     │
│ 2   │ 5.8         │ 2.7        │ 5.1         │ 1.9        │ virginica     │
│ 3   │ 5.8         │ 2.8        │ 5.1         │ 2.4        │ virginica     │
│ 4   │ 5.7         │ 2.5        │ 5.0         │ 2.0        │ virginica     │
│ 5   │ 5.6         │ 2.8        │ 4.9         │ 2.0        │ virginica     │
│ 6   │ 4.9         │ 2.5        │ 4.5         │ 1.7        │ virginica     │

Keywords used above include rev (to sort a column or the whole DataFrame in reverse), and by (to apply a function to a column/DataFrame). Each keyword can either be a single value, or can be a tuple or array, with values corresponding to individual columns.

As an alternative to using array or tuple values, order to specify an ordering for a particular column within a set of columns

The following two examples show two ways to sort the iris dataset with the same result: Species will be ordered in reverse lexicographic order, and within species, rows will be sorted by increasing sepal length and width:

julia> sort!(iris, (:Species, :SepalLength, :SepalWidth),
                    rev = (true, false, false));

julia> head(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 4.9         │ 2.5        │ 4.5         │ 1.7        │ virginica     │
│ 2   │ 5.6         │ 2.8        │ 4.9         │ 2.0        │ virginica     │
│ 3   │ 5.7         │ 2.5        │ 5.0         │ 2.0        │ virginica     │
│ 4   │ 5.8         │ 2.7        │ 5.1         │ 1.9        │ virginica     │
│ 5   │ 5.8         │ 2.7        │ 5.1         │ 1.9        │ virginica     │
│ 6   │ 5.8         │ 2.8        │ 5.1         │ 2.4        │ virginica     │

julia> tail(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 5.4         │ 3.9        │ 1.3         │ 0.4        │ setosa        │
│ 2   │ 5.5         │ 3.5        │ 1.3         │ 0.2        │ setosa        │
│ 3   │ 5.5         │ 4.2        │ 1.4         │ 0.2        │ setosa        │
│ 4   │ 5.7         │ 3.8        │ 1.7         │ 0.3        │ setosa        │
│ 5   │ 5.7         │ 4.4        │ 1.5         │ 0.4        │ setosa        │
│ 6   │ 5.8         │ 4.0        │ 1.2         │ 0.2        │ setosa        │

julia> sort!(iris, (order(:Species, rev = true), :SepalLength, :SepalWidth));

julia> head(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 4.9         │ 2.5        │ 4.5         │ 1.7        │ virginica     │
│ 2   │ 5.6         │ 2.8        │ 4.9         │ 2.0        │ virginica     │
│ 3   │ 5.7         │ 2.5        │ 5.0         │ 2.0        │ virginica     │
│ 4   │ 5.8         │ 2.7        │ 5.1         │ 1.9        │ virginica     │
│ 5   │ 5.8         │ 2.7        │ 5.1         │ 1.9        │ virginica     │
│ 6   │ 5.8         │ 2.8        │ 5.1         │ 2.4        │ virginica     │

julia> tail(iris)
6×5 DataFrame
│ Row │ SepalLength │ SepalWidth │ PetalLength │ PetalWidth │ Species       │
│     │ Float64⍰    │ Float64⍰   │ Float64⍰    │ Float64⍰   │ Categorical…⍰ │
├─────┼─────────────┼────────────┼─────────────┼────────────┼───────────────┤
│ 1   │ 5.4         │ 3.9        │ 1.3         │ 0.4        │ setosa        │
│ 2   │ 5.5         │ 3.5        │ 1.3         │ 0.2        │ setosa        │
│ 3   │ 5.5         │ 4.2        │ 1.4         │ 0.2        │ setosa        │
│ 4   │ 5.7         │ 3.8        │ 1.7         │ 0.3        │ setosa        │
│ 5   │ 5.7         │ 4.4        │ 1.5         │ 0.4        │ setosa        │
│ 6   │ 5.8         │ 4.0        │ 1.2         │ 0.2        │ setosa        │