cPickle.load() in python consumes a large memory -


मेरे पास एक बड़ा शब्दकोश है जिसका संरचना दिखता है: 

  dcPaths = {'id_jola_001' : CPath उदाहरण}   
 जहां सीपीथ स्वयं परिभाषित वर्ग है:  
  वर्ग सीपीथ (ऑब्जेक्ट): def __init __ (स्वयं): # कुछ विशेषताएँ स्वयं .m_dAvgSpeed ​​= 0.0 ... # सीएनडोड की सूची self.m_lsNodes = []   
 की सूची जहां m_lsNodes सीएनड की एक सूची है:  
  वर्ग सीएनडी (ऑब्जेक्ट): def __init __ (स्वयं): # कुछ गुण self.m_nLoc = 0 # एप्लिकेशन की एक सूची self.m_lsApps = []   
 यहां, m_lsApps CApp की एक सूची है, जो एक अन्य स्व-परिभाषित वर्ग है:  
  वर्ग CApp (ऑब्जेक्ट): def __init __ (स्व): # कुछ विशेषताएँ स्वयं। M_nCount = 0 self.m_nUpPackets = 0   
 मैं cPickle का उपयोग करके इस शब्दकोश को सीरियल कर सकता हूं:  
  डीआरफ़ सीरियललाइज़ 2 फ़ाइल (स्ट्रफाइलनाम, स्ट्रॉओटीडीआईआर, ओबीजी): अगर लैन (ओबीजे)! = 0: strOutFilePath = "% s% s"% ( strOutDir, strFileName) खुले (strOutFilePath, 'w') के रूप में होटफ़ाइल के रूप में: cPickle.dump (obj , hOutFile, प्रोटोकॉल = 0) वापसी strOutFilePath अन्य: प्रिंट ("serialize करने के लिए कुछ भी नहीं!")   
 यह ठीक काम करता है और धारावाहिक फ़ाइल का आकार लगभग 6.8GB है हालांकि, जब मैं इस ऑब्जेक्ट को डिसेरीलाइज़ करने का प्रयास करता हूं:  
  def deserializeFromFile (strFilePath): obj = 0 खुले (strFilePath) के साथ hFile: obj = cPickle.load (hFile) वापस obj   
 मुझे लगता है कि यह 90 जीबी से अधिक स्मृति का सेवन करता है और एक लंबा समय लगता है।  
     
  1.  ऐसा क्यों होता है?  
  2.  क्या मैं इसे अनुकूलित कर सकता हूं?   
     बीटीडब्ल्यू, मैं अजगर 2.7.6 का उपयोग कर रहा हूं   
     
     
     आप स्टाक्ल प्रोटोकॉल निर्दिष्ट करने का प्रयास कर सकते हैं; सबसे तेज़ -1 है अर्थात्: नवीनतम प्रोटोकॉल, यदि आप एक ही पायथन संस्करण के साथ नमकीन बनाना और अनप्लिकिंग कर रहे हैं तो कोई समस्या नहीं)।  
      cPickle.dump (obj, file, protocol = -1)   
       संपादित करें  : जैसा कि टिप्पणियों में कहा गया है:  लोड  प्रोटोकॉल को स्वयं का पता लगाता है।  
      cPickle.load (obj, फ़ाइल)

Comments

Post a Comment

Popular posts from this blog

Java - Error: no suitable method found for add(int, java.lang.String) -

I'm in the middle of homework work and I'm stuck. At this point in my code, I think that I should have a GUI window that opens and allows me to type "inserted text number". Notice is not going anywhere but at this point, If I pass through the problem then it will be in a linked list. I am getting two of the same error for the lines. Add (index, element); And I can not seem to get past it, there is no suitable method for the error "add (int, java. string string)". Code is below, please advise. To clarify - this will not be a method error because it is a linked list. There should not be any way involved. import java.awt. *; Import java.awt.event. *; Import javax.swing. *; Import java.util. *; Import java.util.Scanner; Import java.util.LinkedList; Public class TopTenList JFrame {Private TopTenList tt; See the Private JTextArea list; Private JTextField cmdTextField; Private JTextField resultsTestfield; // This GUI window is the code for the public toptist...
Read more

c# - passing input text from view to contoller with FacebookContext using Facebook app -

I'm trying to pass an input text from the viewer to the controller in the Facebook Birthday app: Link to app: In the Home Controller [FacebookAuthorize ("email", "user_photos")] Public async Tasks & lt; ActionResult & gt; Index (FacebookContext reference) {if (ModelState.IsValid) {var user = waiting for reference. Client.Gate CurrentUserAsync & lt; MyAppUser & gt; (); View return (user); } See Return ("Error"); } [Http post] [facebook authorized ("email", "user_photo")) public async task & lieutenant; Actionsclass & gt; Index (string textile, facebookcontonte context) {if (ModelState.IsValid) {var user = wait context.Client.GetCurrentUserAsync & lt; MyAppUser & gt; (); // See my code, see the use of txt here (user); } See Return ("Error"); } View: @using facebookpostc.models @ Microsoft.AspNet.Mvc.Facebook.models using @ Microsoft.AspNet.Mvc. Facebook @model MyAppUser @ {ViewB...
Read more

Calling a C++ function from C# by passing a string with variable size to it -

I am calling a string with a C + code and calling from the C # code. The C ++ function is responsible for filling the string material. The following code is: C #party: var abc = new string builder (4096); // will have to change this var result = Basic methods. SignCrcFile (ABC); C ++: bool __cdecl SignCrcFile (char * abc) {... char * tempStr = "hello all"; // for example // copy it to ABC string strcpy (ABC, tempStr); Back true; } The problem is that tempStr's size in the C ++ function is dynamic (the above assignment for TempStr is only an example). In such a case, it is not a hard code that the size of ABC string is in the size of 4096 bytes on the C #. The first solution can be a solution to create 2 functions on the C ++ side to get the size of the string. Then allocate that size using StringBuilder in the C # side then use the next function to bring the entire string from C ++ to the C #. But no suggestion this may not be the most optimal way? ...
Read more