Как правильно выделить память под содержимое страницы ? ведь заранее не известно какой обьем информации придет от сервера , если брать с запасом,придется делать очень приличный запас что как мне кажется не есть гуд. Может возможно заранее узнать какой обьем информации сервер собирается передать ?(Что бы выделить динамически "правильный" буфер под данные) Или таки парсить "кусками" и придумать какой-нибудь хитрый алгоритм на случай если часть нужной информации сервер пришлет в сл. раз. ?
Вот варианты: 1) в Heap выделяй памяти многовато, а потом если не хватает то realloc делай 2) при каждом чтении данный выделяй память в Heap под размер буфер. и в предыдущем куске указвай адерс следующего куска. т.е. некий список кусков. а потом когда закончится всё, то ты уже знаешь сколько надо памяти, далее просто выделяешь нужный кусок и туда запихиваешь маленькие куски 3) выделить сразу большой кусок больше которого не должно быть считанно)))) 4) читай и сразу пиши в файл. потом целеком загрузишь файл. А там можно как угодно всё делать. хоть через FileMapping 5) считывать HTTP заголовок и анализировать Content-length. Если его нет то один из вышеописанных методов использовать У каждого способа есть достоинства и недостатки. выбирать тебе
А сервер в ответе не посылает V странички в первых строчках? Так можно было бы бы считать первую строчку и выдрать размер