Lagra stora mängder data i tabeller

Jag behöver hitta ett smidigt sätt att lagra och presentera stora mängder data. Användaren ska kunna klicka på en rad i tabellen och bli presenterad med innehållet. När allt är färdigt kommer tabellen bestå av upp till tusen rader och varje rad i sig innehåller flera hundra rader data. Det kan bli mycket större än så till och med.

Vad är prestandamässigt bäst och smidigast? Har kollat lite på inbyggda databaser till java, bland annat apache derby och JDBM3 men har ingen som helst erfarenhet av det så vet inte riktigt var jag ska börja.

Programmet ska användas på vanliga klienter så kan inte köra med databasserver (om det inte är inbyggt på något sätt).

Först tänkte jag på att datan i tabellerna ska hämtas från filer, tex xml men det känns inte som det smidigaste alternativet, dels på grund av vilken typ av data det är men också pga mängden data.

Det bästa prestandamässigt är att lagra filerna utanför databasen. Databasers styrka är sällan stora filer. Vad för typ av databas tänker du dig? Filbaserad på en share eftersom du inte vill ha en databasserver? Isf skulle jag garanterat haft filerna vid sidan av då sharen ändå måste fixas. Om du väljer en server så kan andra alternativ övervägas...

Saken är den att programmet kommer själv skapa all data som den då först hämtar via webben. Så det finns inga filer från början. Och allting hämtas på en gång så användaren kan inte specifikt välja vilken data som ska hämtas.

Det här är flödet:
1. All data hämtas från en servern via http anrop
2. Informationen läggs sedan in i en tabell (varje svar på anropet i 1an är en rad i tabellen), dock inte rådat
3. Användaren väljer vilken rad, och får då fram rådat som gäller för den raden (anropet)

Det är rådatat som är så enormt, inte var för sig men tillsammans så känns det som att det kan bli för mycket. Det är det som är problemet.

Bör också nämnas att all data tas bort när programmet avslutas. Så det kanske är bättre med filer ändå?

Ja tror filer är det bästa. Sen handlar det mkt om storlek på HTTP-svaren. Är det tunga bilder eller dokument så är filer att rekommendera. Med tunga kanske vi pratar över 500kb.