Read Message  

SUBJECT:Re: Bygga egen sökmotor, algoritmer?
FROM:Anonymous <193.11.*.*>
INFO: 
DATE:2006-04-22 18:20
LINK:http://www.tbg.nu/news_show/84370/16

Hur går det? :)

Apachez wrote Re: Bygga egen sökmotor, algoritmer? at 2006-04-21 02:28
> Löste minnesbuggen genom att konsekvent kommentera bort kod tills jag
> lyckades identifiera den rad som buggade.
>
> För att uppdatera vektorn för ett sökord använde jag raden:
>
> $searchvector[$searchword{$array}] = Compress::LZO::compress($vector,
> 1);
>
> Detta leder tydligen till att LZO funktionen inte kan frigöra sitt
> minne för att perl norpar det genom arrayen.
>
> Genom att först kopiera utdatat från komprimeringsfunktionen till en
> lokal variabel och sedan använda den variabeln som indata till arrayen
> så *poff* gick minnesanvändningen ner från runt 1.8 gig för 100k
> inlägg till 135 meg :)
>
> Dvs koden som löste problemet ser ut enligt:
>
> $vector2 = Compress::LZO::compress($vector, 1);
> $searchvector[$searchword{$array}] = $vector2;
>
> Jag har även passat på att optimera hash of hashes till att använda
> endast en hash som lagrar ett löpnummer för varje sökord och detta
> löpnummer anger positionen i dom separata arrays jag använder för
> övriga parametrar som tillhör varje sökord.
>
> Dvs istället för:
>
> $hash{$searchword} =
> {
> 'SearchWordId' => $searchwordid,
> 'SearchWordFreq' => $searchwordfreq,
> 'SearchVector' => $searchvector,
> 'SearchUpdated' => 0
> };
>
> Så använder jag:
>
> $hash{$searchword} = $searchwordcount;
> push(@searchwordid, $searchwordid);
> push(@searchwordfreq, $searchwordfreq);
> push(@searchvector, $searchvector);
> push(@searchupdated, 0);
>
> Detta ger att för att plocka fram searchwordid för ordet "tbg" så
> accessar jag arrayen searchwordid genom:
>
> $wordid = $searchwordid[$hash{'tbg'}];
>
> Prestandan för indexeringen ligger kring 60 inlägg/sek och med 100k
> inlägg indexerade var minnesanvändningen omkring 135 meg (iof under
> windows men det lär inte bli värre under *nix). MySQL databastabellen
> (MyISAM) tar 21.1 meg på disk gällande data och 2.7 meg gällande
> index.
>
> Jag kan återkomma med fler siffror när jag har 900k indexerade inlägg
> :)

CURRENT THREAD FROMWHEN
Bygga egen sökmotor, algoritmer? Apachez 1570 days ago
   Re: Bygga egen sökmotor, algoritmer? Tapsa 1570 days ago
   Re: Bygga egen sökmotor, algoritmer? Apachez 1570 days ago
      Re: Bygga egen sökmotor, algoritmer? Apachez 1565 days ago
         Re: Bygga egen sökmotor, algoritmer? Anonymous 1565 days ago
         Re: Bygga egen sökmotor, algoritmer? Apachez 1563 days ago
         Re: Bygga egen sökmotor, algoritmer? Syntax 1563 days ago
         Re: Bygga egen sökmotor, algoritmer? Anonymous 1563 days ago
         Re: Bygga egen sökmotor, algoritmer? Anonymous 1563 days ago
         Re: Bygga egen sökmotor, algoritmer? Apachez 1563 days ago
         Re: Bygga egen sökmotor, algoritmer? Apachez 1562 days ago
            Re: Bygga egen sökmotor, algoritmer? Anonymous 1561 days ago
               Re: Bygga egen sökmotor, algoritmer? Apachez 1561 days ago
                  Re: Bygga egen sökmotor, algoritmer? Apachez 1559 days ago
                     Re: Bygga egen sökmotor, algoritmer? Apachez 1559 days ago
                        Re: Bygga egen sökmotor, algoritmer? Apachez 1559 days ago
                           Re: Bygga egen sökmotor, algoritmer? Fetta 1558 days ago
                           Re: Bygga egen sökmotor, algoritmer? Apachez 1558 days ago
                              Re: Bygga egen sökmotor, algoritmer? Apachez 1558 days ago
                                 Re: Bygga egen sökmotor, algoritmer? Samme 1558 days ago
                                 Re: Bygga egen sökmotor, algoritmer? Cruiser 1558 days ago
                                 Re: Bygga egen sökmotor, algoritmer? Apachez 1552 days ago
                                    Re: Bygga egen sökmotor, algoritmer? Apachez 1546 days ago
                                       Re: Bygga egen sökmotor, algoritmer? Apachez 1525 days ago
                                       Re: Bygga egen sökmotor, algoritmer? Anonymous 1525 days ago
                                       Re: Bygga egen sökmotor, algoritmer? Apachez 1525 days ago
                                          Re: Bygga egen sökmotor, algoritmer? Anonymous 1525 days ago
                                          Re: Bygga egen sökmotor, algoritmer? aps 1427 days ago
                                       Re: Bygga egen sökmotor, algoritmer? Samme 1525 days ago
                                       Re: Bygga egen sökmotor, algoritmer? Apachez 1518 days ago
                                          Re: Bygga egen sökmotor, algoritmer? Apachez 1517 days ago
                                             Re: Bygga egen sökmotor, algoritmer? Apachez 1474 days ago
                                                Re: Bygga egen sökmotor, algoritmer? Apachez 1472 days ago
                                                Re: Bygga egen sökmotor, algoritmer? Cruiser 1472 days ago
                                                   Re: Bygga egen sökmotor, algoritmer? Apachez 1449 days ago
                                                      Re: Bygga egen sökmotor, algoritmer? Cruiser 1449 days ago
                                                         Re: Bygga egen sökmotor, algoritmer? Apachez 1447 days ago
                                                            Re: Bygga egen sökmotor, algoritmer? Apachez 1437 days ago
                                                            Re: Bygga egen sökmotor, algoritmer? Samme 1437 days ago
                                                               Re: Bygga egen sökmotor, algoritmer? Samme 1437 days ago
                                                                  Re: Bygga egen sökmotor, algoritmer? Apachez 1437 days ago
                                                                     Re: Bygga egen sökmotor, algoritmer? Samme 1437 days ago
                                                            Re: Bygga egen sökmotor, algoritmer? Apachez 1407 days ago
                                                            Re: Bygga egen sökmotor, algoritmer? Apachez 1263 days ago
                                                               Re: Bygga egen sökmotor, algoritmer? jnx 1263 days ago
                                                               Re: Bygga egen sökmotor, algoritmer? Cruiser 1263 days ago
                                                               Re: Bygga egen sökmotor, algoritmer? Samme 1263 days ago
                                                               Re: Bygga egen sökmotor, algoritmer? Aminion 1263 days ago
                                                               Re: Bygga egen sökmotor, algoritmer? Djur 1263 days ago
                                                               Re: Bygga egen sökmotor, algoritmer? aps 1263 days ago
                                                Re: Bygga egen sökmotor, algoritmer? Valrossen 1054 days ago
         Re: Bygga egen sökmotor, algoritmer? Anonymous 1562 days ago
            Re: Bygga egen sökmotor, algoritmer? Apachez 1562 days ago
               Re: Bygga egen sökmotor, algoritmer? Anonymous 1562 days ago
               Re: Bygga egen sökmotor, algoritmer? Apachez 1562 days ago
               Re: Bygga egen sökmotor, algoritmer? Anonymous 1560 days ago
                  Re: Bygga egen sökmotor, algoritmer? Apachez 1560 days ago
   Re: Bygga egen sökmotor, algoritmer? Bladet 1427 days ago
   Re: Bygga egen sökmotor, algoritmer? Anonymous 1426 days ago
   Re: Bygga egen sökmotor, algoritmer? Anonymous 1407 days ago
   Re: Bygga egen sökmotor, algoritmer? Anonymous 561 days ago
      Re: Bygga egen sökmotor, algoritmer? Apachez 561 days ago

Webmaster: Apachez