Sortera en .csv fil med 10 miljoner records eller mer

Jag ska sortera en csv-fil med blandade data i sjunkande ordning efter den tredje (numeriska) kolumnen. Vill ha hela de sorterade raderna printade till terminalen eller sparade i en csv-fil. Jag har prövat massvis av algoritmer i C och Bash, men det fungerar inte. När jag granskar filen med cat eller i en texteditor, så sorteras bara ett subset av all data. Ibland sorteras inte data alls. Om jag testar algoritmerna på typ 1000 observationer så fungerar det bra, men inte med dessa större datamängder. Vad är det som går fel? Min aspergerskalle håller på att explodera!

Kanske finns något liknande till C, men det första jag kommer att tänka på är Pandas i Python:

https://stackoverflow.com/questions/...-pandas-python

Använde det i mitt exjobb för att städa/sortera några hundratusen rader.

Bra jobb för en databas. Importera, exportera.

Pandas bygger väl på data frames och är väldigt långsamt? Det kan hända att jag behöver sortera miljardtals rader. Tack för tipset ändå!

Tanken att importera csv-filen till MySQL/MariaDB är faktiskt något jag funderat på. MySQL är ju byggt i C så ren C-kod borde väl fungera?

Exakt!

Om du använder c för att bygga en databas motor så ja.

Vad är det som går snett i C vid användande av vanliga sorteringsalgoritmer tror du? Räcker inte minnet till? Har testad inbyggda qsort(), men även annat. Det bästa vore kanske radix sort?

Hur ser datan ut? På vilket sätt misslyckas programmet sort?

Vad har det med att "mysql är skrivit i c att göra?
Föreslaget var att dra in det i en databas

Data genereras av en brute force optimeringsalgoritm (inte gradient descent utan random alltså). Fält/kolumner är enligt följade:

description (string), intercept (double), coefficients_x1, x2, x3... xn (double), epsilon (double)

---> sortera i fallande ordning efter x1.

Antingen sorteras bara ett subset, eller så blir det synbart slumpmässig sortering.

C borde klara detta eftersom C bygger andra system. Varför måste man ha en relationsdatabas för att sortera ett stort antal data? Det passar in dåligt i den struktur jag tänkt mig.