§ 1. ОБЩИЕ ПРОЦЕССЫ ЧИСТОГО РОЖДЕНИЯ (РАЗМНОЖЕНИЯ) И ПУАССОНОВСКИЕ ПРОЦЕССЫ

В предыдущих главах были введены основные понятия и рассмотрены методы анализа цепей Маркова с дискретным временем. В этой главе дается краткое обсуждение некоторых важных примеров марковских процессов с дискретным множеством состояний и непрерывным временем.

Точнее, здесь мы будем иметь дело с семейством случайных величин принимающих неотрицательные целочисленные значения. Мы ограничимся случаем, когда марковский процесс со стационарными переходными вероятностями. Таким образом, переходная вероятностная функция при

не зависит от

Обычно при исследовании частных вероятностных моделей физических явлений более естественно описать так называемые инфинитезимальные вероятности, связанные с процессом, а затем вывести из них точное выражение для переходной функции.

В рассматриваемом случае мы будем постулировать вид для малых используя марковское свойство, выведем систему дифференциальных уравнений, которой удовлетворяют при всех являются решением этих уравнений при соответствующих начальных условиях. Напомним, что пуассоновский процесс, введенный в § 2 гл. 1, рассматривался именно таким образом.

Перед тем как перейти к общему процессу чистого рождения, напомним кратко аксиомы, характеризующие пуассоновский процесс.

А. Постулаты пуассоновского процесса

Пуассоновский процесс был рассмотрен в § 2 гл. 1, где было показано, что его можно определить с помощью нескольких простых постулатов. Для того чтобы определить более общие процессы подобного рода, укажем на некоторые свойства, которыми обладает пуассоновский процесс. Пуассоновский процесс - это

марковский процесс, принимающий неотрицательные целочисленные значения и обладающий следующими свойствами:

Свойство (1) можно записать еще так.

По мере развития количество клеток, из которых состоит зародыш, увеличивается. Деления клеток (дробление яйца) на самых ранних стадиях развития происходят равномерно (синхронно). Ho у одних видов раньше, у других позже эта синхронность нарушается и клетки, из которых образуются зачатки разных органов, начинают делиться с разной скоростью. Эти различия в скорости деления можно рассматривать как одно из первых проявлений их дифференцировки.

У зародышей млекопитающих уже после стадии 16–32 бластомеров большая часть клеток начинает делиться быстрее и образует трофобласт – зачаток будущей плаценты. Сам будущий зародыш состоит на этих ранних стадиях всего из нескольких клеток. Однако позже в ходе развития и роста зародыш и затем плод становятся во много раз больше плаценты.

У амфибий на стадии бластулы, состоящей из нескольких тысяч клеток, будущая мезодерма составляет менее одной трети всех клеток. Ho по мере развития мезодермальные производные – все мышцы, почти весь скелет, система кровообращения, почки и др. – занимают не менее 80 % всей массы головастика.

Особенно нагляден неодинаковый темп деления клеток в морфогенезе многих беспозвоночных. У видов с мозаичным развитием уже на стадии 30–60 клеток зачатки всех основных органов определены и представлены очень немногими клетками (иногда всего двумя). Далее деления клеток в каждом зачатке строго программируются. Так, например, ранний зародыш асцидий содержит 52 клетки эктодермы, 10 клеток энтодермы и всего 8 клеток мезодермы. В течение последующего развития число клеток эктодермы возрастает в 16 раз, энтодермы – в 20, а мезодермы – в 50. Благодаря программированности делений число клеток у некоторых взрослых беспозвоночных (например, у нематод) строго постоянно и каждый орган представлен определенным числом клеток. Далеко не всегда местоположение органа и место, где делятся составляющие его клетки, совпадают. Часто митозы происходят только в особой зоне размножения и оттуда клетки мигрируют к месту своей дифференцировки. Примеры такого рода мы уже видели при рассмотрении системы стволовых клеток. То же происходит, например, и при развитии головного мозга.

Программа клеточных делений не всегда очень строга и предопределяет точное их число. Чаще, вероятно, деления происходят до тех пор, пока количество клеток или размер органа не достигнет определенной величины. Речь идет, таким образом, о двух принципиально различных механизмах регуляции клеточных делений.

В одном случае (как в яйцах с мозаичным развитием) он, по‑видимому, заключен в самой делящейся клетке, которая должна «уметь отсчитывать» свои деления. В другом же случае должна существовать некоторая «петля обратной связи», когда масса органа или число клеток, достигая некоторой величины, начинает тормозить дальнейшие деления.

Оказалось, что число делений в нормальных клетках, не трансформированных в злокачественные, вообще не беспредельно и обычно не превышает 50–60 (большинство клеток делится меньше, так как если бы яйцо равномерно разделилось 60 раз, то число клеток в организме (260) оказалось бы в тысячи раз выше, чем в действительности). Однако ни механизм такого предела числа клеточных делений (называемого по имени открывшего его ученого предел Хайфлика), ни его биологический смысл пока непонятен.

Что же является «датчиком» в системе регуляции – размер органа или число клеток? Однозначный ответ на этот вопрос дают опыты с получением животных с измененной плоидностью – гаплоидные, триплоидные или тетраплоидные. Их клетки соответственно в 2 раза меньше или в 1,5 или 2 раза больше нормальных диплоидных. Тем не менее и размер самих животных, и размер их органов, как правило, нормальные, т. е. они содержат больше или меньше клеток, чем в норме. Регулируемой величиной, следовательно, является не количество клеток, а масса органа или всего организма.

Иначе обстоит дело у растений. Клетки тетраплоидных растений, как и у животных, соответственно больше диплоидных. Но и размеры частей тетраплоидных растений – листьев, цветков, семян – часто оказываются больше обычных почти в 2 раза. Похоже, что у растений «датчиком» при определении числа клеточных делений является не размер органа, а само число клеток.

Механизмы, регулирующие клеточные деления – пролиферацию клеток, изучаются очень интенсивно и с разных сторон. Одним из стимулов такой активности ученых является то, что отличия раковых клеток от нормальных во многом и состоят в нарушении регуляции клеточных делений, в выходе клеток из‑под такой регуляции.

Примером одного из механизмов регуляции клеточных делений может служить поведение клеток, посеянных на дно флакона с питательной средой, – клеточной культуры. Их деления в хороших условиях происходят до тех пор, пока они не покроют все дно и клетки не коснутся друг друга. Далее наступает так называемое контактное торможение, или торможение, зависимое от плотности клеток. Его можно нарушить, как это делал Ю. М. Васильев, расчистив от клеток небольшое окошко на поверхности стекла. В это окошко со всех сторон устремляются клетки, вокруг него проходит волна клеточных делений. Можно думать, что и в организме контакты с соседними клетками являются механизмом, сдерживающим клеточные деления.

У опухолевых клеток эта регуляция нарушается – они не подчиняются контактному торможению, а продолжают делиться, громоздясь друг на друга. Аналогично, увы, они ведут себя и в организме.

Ho контактное торможение не является единственным механизмом регуляции: ее барьер может быть преодолен и у вполне нормальных клеток. Так, например, плотно прижатые друг к другу клетки печени у молодого животного тем не менее делятся и печень растет вместе с ростом всего животного. У взрослых животных эти деления практически прекращаются. Однако если две доли печени удалить, то в оставшейся доле очень быстро начнутся массовые деления клеток – регенерация печени. Если удалить одну почку, то в течение немногих дней вторая почка за счет клеточных делений увеличится вдвое. Очевидно, что в организме существуют механизмы, способные стимулировать клеточные деления в органе, активировать его рост и приводить размеры органа тем самым в некоторое количественное соответствие с размерами всего организма.

В этом случае действуют не контактные механизмы, а какие‑то химические факторы, может быть связанные с функцией печени или почек. Можно представить, что недостаточность функции этих органов, при удалении части их или при отставании их роста от роста всего организма, так нарушает весь метаболизм в организме, что это вызывает компенсаторную стимуляцию клеточных делений именно в данных органах. Есть и другие гипотезы, объясняющие, например, подобные явления действием особых ингибиторов клеточных делений – кейлонов, выделяемых самим органом; если орган меньше, то меньше и кейлонов и больше клеточных делений в этом органе. Если такой механизм и существует, то действует он не везде. Например, потеря одной ноги не приводит сама по себе к увеличению размеров другой ноги.

Деления стволовых и дифференцирующихся клеток крови стимулируются, как мы уже говорили, гормонами, такими, как, например, эритропоэтин. Гормоны стимулируют клеточные деления и во многих других случаях. Например, стимуляция роста числа клеток яйцевода у кур активируется женским половым гормоном. Существуют химические факторы – обычно это небольшие белки, которые действуют не как гормоны, т. е. не разносятся с кровью по всему организму, а влияют более ограниченно, на соседние ткани. Это известные сейчас факторы роста – эпидермальный и др. Однако в большинстве случаев конкретные химические факторы регуляции клеточных делений и механизмы их действия нам неизвестны.

Еще меньше мы знаем о регуляции клеточных делений во время основных процессов морфогенеза – в эмбриональном развитии. Мы уже говорили, что здесь способность одних клеток делиться быстрее, чем другие, является проявлением их дифференцировки. В то же время нельзя не заметить, что дифференцировка и клеточные деления в определенном смысле противостоят друг другу и иногда даже исключают друг друга. В некоторых случаях это связано с невозможностью деления при далеко зашедшей, терминальной дифференцировке клеток. Может ли, например, разделиться эритроцит с его очень специализированной структурой, жесткой оболочкой и почти полной утратой большинства клеточных функций, а у млекопитающих еще и с потерей ядра? Нервные клетки хотя и сохраняют очень высокий темп метаболизма, но их длинный аксон и дендриты, связанные с другими клетками, служат очевидными препятствиями к делению. Если бы такое деление у нервной клетки все же произошло, это привело бы к потере связи этой клетки с другими и, следовательно, к потере ее функции.

Поэтому обычной последовательностью событий является сначала период пролиферации клеток, а уже затем дифференцировка, носящая терминальный характер. Более того, ряд ученых предполагают, что как раз во время клеточных делений хромосомы как бы «освобождаются» для следующего этапа дифференцировки, – последнему митозу перед дифференцировкой придается особое значение. Эти представления носят пока во многом умозрительный характер п не имеют на молекулярном уровне хороших экспериментальных оснований.

Ho и не зная конкретных механизмов регуляции клеточных делений, мы вправе рассматривать их программированный характер как такое же проявление программы развития, каким являются и все остальные его процессы.

В заключение мы кратко остановимся и на явлении, как бы обратном размножению клеток, – их гибели, которая в определенных случаях формообразования является необходимым этапом развития. Так, например, при образовании пальцев в зачатках кисти передних и задних конечностей клетки мезенхимы собираются в плотные тяжи, из которых потом формируются хрящи фаланг. Среди клеток, оставшихся между ними, происходит массовая гибель, за счет которой отчасти пальцы отделяются друг от друга. Нечто похожее происходит и при дифференцировке зачатка крыла у птиц. Механизмы гибели клеток в этих случаях – факторы, внешние по отношению к клеткам, и события внутри клеток – остаются малоизвестными. А. С. Уманский предполагает, например, что гибель клетки начинается с деградации ее ДНК.

Размножение клеток, несмотря на всю его важность, нельзя считать основным механизмом морфогенеза: в создании формы оно участвует все же косвенно, хотя такие важные параметры, как общая форма органа и его относительные размеры, могут регулироваться именно на уровне клеточных делений. Еще меньшую роль играет в морфогенезе программированная гибель клеток. Ho тем не менее они являются в нормальном развитии совершенно необходимыми компонентами. В регуляции этих явлений участвуют практически все компоненты клетки и ее генетический аппарат. Это показывает нам, что в развитии не бывает простых процессов. Попытка до конца разобраться в любом из них заставляет нас обращаться к основным молекулярным механизмам работы клетки. А здесь еще много нерешенного.

Для того чтобы оценить всю сложность развития многоклеточного организма, надо представить себе этот процесс происходящим как бы в многомерном пространстве. Одну ось составляет длинная цепь этапов реализации генетической информации – от гена до признака. Второй такой осью можно назвать всю совокупность генов в хромосомах. В ходе развития продукты различных генов взаимодействуют друг с другом. Развертывание событий но двум осям образует как бы сеть на плоскости. Однако существует п третья ось – разнообразие событий, происходящих в разных частях зародыша. События эти могут происходить относительно автономно, как у животных с мозаичным развитием. Ho частично и у них, а в полной мере у видов с регуляционным типом развития между частями организма осуществляются большие или меньшие взаимодействия и всегда сложные перемещения клеток. Рассматривать их все как одну ось можно, только идя на значительные упрощения. И наконец, все развитие (гаметогенез, эмбриогенез и постэмбриональное развитие) происходит во времени, масштаб которого совершенно иной, чем время, измеряемое на пути от гена до белка. По этой (условно четвертой) оси вся многомерная картина радикально изменяется – яйцо превращается в размножающийся организм. Эта многомерность иллюстрирует сложность всех процессов и их взаимоотношений и трудности их понимания.

У части вирусов роль наследственного вещества выполняет не ДНК, а сходная с ней по строению РНК.

Один из важнейших случаев цепей Маркова известен под названием процесса гибели и размножения. Этот процесс может быть с дискретным или непрерывным временем, а определяющее его условие состоит в том, что допускаются переходы только в соседние состояния.

Рассмотрим процесс гибели и размножения с непрерывным временем. Такой процесс является моделью изменений в численности популяции.

Процесс находится в состоянии Ей, если объем (численность) популяции равен к; переход в состояние Ек соответствует гибели одного члена популяции, а переход в состояние Ек+ - рождению.

Этот процесс можно рассматривать как модель СМО, в которой Ек соответствует к заявок в системе, а переход в состояние Ек- или Ек+ - уходу заявки из системы или ее приходу.

Для процесса гибели и размножения с множеством состояний 0, 1,2, ... должны выполняться следующие условия:

Здесь P(+i; bt; к) - вероятность i рождений за время bt при условии, что численность популяции равна к ; P(-i; bt; к) - вероятность i гибелей при тех же условиях.

Согласно этим условиям кратные рождения, кратные гибели и одновременные рождения и гибели в течение малого промежутка времени запрещены в том смысле, что вероятность этих кратных событий имеет порядок малости о(6г). Это свойство вытекает из свойства экспоненциального распределения, как было показано ранее.

Найдем вероятность того, что объем популяции в некоторый момент времени равен к р(к, t) = P.

Рассмотрим изменение объема популяции в промежутке времени (t, t + 5/). В момент времени t + bt процесс будет находиться в состоянии Ек, если произошло одно из трех взаимно исключающих друг друга и образующих полную группу событий:

• 1) в момент времени t объем популяции равнялся А: и за время bt состояние не изменилось;
• 2) в момент времени t объем популяции равнялся к - 1 и за время bt родился один член популяции;
• 3) в момент времени t объем популяции равнялся к + 1 и за время bt погиб один член популяции.

Тогда вероятность того, что в момент времени t + bt процесс будет находиться в состоянии Ек, равна

Приведенное равенство имеет смысл только при к > О, поскольку популяция не может состоять из (-1) члена. Граничное равенство при к = О имеет вид:

Кроме того, должно выполняться условие нормировки

Выделяя в уравнениях (49.3) и (49.5) р(к) и деля на Ьк получим

Переходя к пределу при bt -> 0, имеем:

Таким образом, рассматриваемый вероятностный процесс описывается системой линейных дифференциальных уравнений. Эти уравнения можно получить непосредственно на основе диаграммы состояний (рис. 49.2).

Рис. 49.2.

Состояние Ek обозначается овалом, в котором записывается число к. Переходы между состояниями обозначаются стрелками, на которых представлены интенсивности переходов.

Разность между интенсивностью, с которой система попадает в состояние Ek, и интенсивностью, с которой она покидает его, должна равняться интенсивности изменения потока в этом состоянии.

Интенсивность потока в состояние

Интенсивность потока из состояния ~

Разность между ними равна эффективной интенсивности потока вероятностей в состояние

Решение этой системы в общем виде невозможно. Модель даже простой системы является чрезвычайно сложной и трудно анализируемой. Если рассматривать СМО более сложного вида, то вычислительные трудности будут еще более высокими. Поэтому обычно рассматривают решения системы (49.3) - (49.4) в установившемся режиме при t -> оо, р"(к; t) -> 0,р(к, t) -> р{к) = const.

Процесс чистого размножения

Для этого процесса р*=О, А* = А = const. Его можно рассматривать как модель потока заявок, поступивших в СМО. Система уравнений для этого процесса имеет вид:

Пусть начальные условия следующие:

Тогда и при к= 1 получим: ехр

Решение этого уравнения естьр (; /) = А/ exp (-АД По индукции можно получить, что

Таким образом, вероятности распределены по закону Пуассона.

Процесс Пуассона занимает центральное место в исследованиях СМО. Это связано, во-первых, с его упрощающими аналитическими и вероятностными свойствами; во-вторых, он описывает многие реальные процессы, являющиеся следствием совокупного эффекта большого числа индивидуальных событий.

В предыдущем параграфе мы убедились, что зная размеченный граф состояний системы, можно сразу написать алгебраические уравнения для предельных вероятностей состояний. Таким образом, если две непрерывные цепи Маркова имеют одинаковые графы состояний и различаются только значениями интенсивностей то нет надобности находить предельные вероятности состояний для каждого из графов в отдельности: достаточно составить и решить в буквенном виде уравнения для одного из них, а затем подставить вместо соответствующие значения.

Для многих часто встречающихся форм графов линейные уравнения легко решаются в буквенном виде.

В данном параграфе мы познакомимся с одной очень типичной схемой непрерывных марковских цепей - так называемой «схемой гибели и размножения».

Марковская непрерывная цепь называется «процессом гибели и размножения», если ее граф состояний имеет вид, представленный на рис. 4.38, т. е. все состояния можно вытянуть в одну цепочку, в которой каждое из средних состояний связано прямой и обратной связью с каждым из соседних состояний, а крайние состояния - только с одним соседним состоянием.

Пример 1. Техническое устройство состоит из трех одинаковых узлов; каждый из них может выходить из строя (отказывать); отказавший узел немедленно начинает восстанавливаться. Состояния системы нумеруем по числу неисправных узлов:

Все три узла исправны;

Один узел отказал (восстанавливается), два исправны;

Два узла восстанавливаются, один исправен;

Все узла восстанавливаются.

Граф состояний показан на рис. 4.39. Из графа видно, что процесс, протекающий в системе, представляет собой процесс «гибели и размножения».

Схема гибели и размножения очень часто встречается в самых разнообразных практических задачах; поэтому имеет смысл заранее рассмотреть эту схему в общем виде и решить соответствующую систему алгебраических уравнений с тем, чтобы в дальнейшем, встречаясь с конкретными процессами, протекающими по такой схеме, не решать задачу каждый раз заново, а пользоваться уже готовым решением.

Итак, рассмотрим случайный процесс гибели и размножения с графом состояний, представленным на рис. 4.40

Напишем алгебраические уравнения для вероятностей состояний. Для первого состояния имеем:

Для второго состояния суммы членов, соответствующих входящим и выходящим стрелкам, равны:

Но, в силу (8.1), можно сократить справа и слева равные друг другу члены получим:

Одним словом, для схемы гибели и размножения члены, соответствующие стоящим друг над другом стрелкам, равны между собой:

где k принимает все значения от 2 до .

Итак, предельные вероятности состояний в любой схеме гибели и размножения удовлетворяют уравнениям:

и нормировочному условию:

Будем решать эту систему следующим образом: из первого уравнения (7.3) выразим

из второго, с учетом (8.5), получим:

из третьего, с учетом (8.6):

Эта формула справедлива для любого k от 2 до .

Обратим внимание на ее структуру. В числителе стоит произведение всех плотностей вероятности перехода (интенсивностей) стоящих у стрелок, направленных слева направо, с начала и вплоть до той, которая идет в состояние в знаменателе - произведение всех интенсивностей стоящих у стрелок, идущих справа налево, опять-таки, с начала и вплоть до стрелки, исходящей из состояния При в числителе будет стоять произведение интенсивностей стоящих у всех стрелок, идущих слева направо, а в знаменателе - у всех стрелок, идущих справа налево.

Итак, все вероятности выражены через одну из них: Подставим эти выражения в нормировочное условие: Получим:

Остальные вероятности выражаются через

Таким образом, задача «гибели и размножения» решена в общем виде: найдены предельные вероятности состояний.

Пример 2. Найти предельные вероятности состояний для процесса гибели и размножения, граф которого показан на рис. 4.41.

Решение По формулам (8.8) и (8.9) имеем:

Пример 3. Прибор состоит из трех узлов; поток отказов - простейший, среднее время безотказной работы каждого узла равно Отказавший узел сразу же начинает ремонтироваться; среднее время ремонта (восстановления) узла равно р; закон распределения этого времени показательный (поток восстановлений - простейший). Найти среднюю производительность прибора, если при трех работающих узлах она равна 100%, при двух - 50%, а при одном и менее - прибор вообще не работает.

Решение. Перечень состояний системы и граф состояний уже приводились в примере 1 данного параграфа. Разметим этот граф, т. е. проставим у каждой стрелки соответствующую интенсивность (см. рис. 4.42).

Марковский процесс с дискретными состояниями называется процессом гибели и размножения , если все состояния можно вытянуть в цепочку, в которой каждое из промежуточных состояний может переходить только в соседние состояния, а крайние состояния переходят лишь в состояния и соответственно. Граф состояний такой системы приведен на рис.4.

Название схемы взято из биологических задач, где состояние популяции означает наличие в ней особей.

На рис.4 переход вправо соответствует увеличению популяции, влево - ее уменьшению. Таким образом, можно определить как интенсивности размножения, а - как интенсивности гибели. Используется следующее соглашение: буквам и приписывается индекс того состояния, из которого выходит стрелка.

Марковским процессом гибели и размножения с непрерывным временем называется такой случайный процесс, исследуемый параметр которого может принимать только целые неотрицательные значения. Изменения рассматриваемого параметра могут происходить в любой момент времени, т.е. в любой момент времени он может либо увеличиться, либо уменьшиться на единицу.

Процессом чистого размножения называется такой процесс, у которого интенсивности всех потоков гибели равны нулю; аналогично процессом чистой «гибели» называется процесс, у которого равны нулю интенсивности всех потоков размножения.

Предельные (финальные) вероятности состояний для простейшего эргодического процесса гибели и размножения, находящегося в стационарном режиме, определяются по следующим формулам:

В качестве примера решения системы уравнений схемы гибели и размножения рассмотрим эксплуатацию автомобилей в крупной транспортной фирме.

Интенсивность поступления автомобилей на предприятие равна. Каждый поступивший на предприятие автомобиль списывается через случайное время. Срок службы автомобиля распределен по показательному закону с параметром. Процесс эксплуатации автомобилей является случайным процессом. - число автомобилей данной марки, находящихся в эксплуатации в момент времени.

Рассмотрим два случая: 1) нет ограничений на число эксплуатируемых автомобилей, 2) на предприятии может эксплуатироваться не более автомобилей.

Если в начальный момент на предприятии не было ни одного автомобиля, то решать систему уравнений нужно при начальных условиях:

Аналогично, если при эксплуатировалось автомобилей, то начальные условия имеют вид:

Решение системы дифференциальных уравнений Колмогорова при произвольном виде функции не может быть найдено в аналитическом виде. Однако при постоянных интенсивностях потоков гибели и размножения и конечном числе состояний будет существовать стационарный режим. Система в этом случае является простейшей эргодической системой.

Если интенсивности потока поступления и списания автомобилей постоянны, то оказываются справедливы формулы:

1. Максимальное число автомобилей не ограничено:

2. Математическое ожидание (среднее значение) числа эксплуатируемых автомобилей.