Ашкинази Леонид Александрович
Симбиоз с инструментом, или Как извлечь знания из человека

Lib.ru/Современная: [Регистрация] [Найти] [Рейтинги] [Обсуждения] [Новинки] [Помощь]
  • Оставить комментарий
  • © Copyright Ашкинази Леонид Александрович (leonid2047@gmail.com)
  • Размещен: 07/04/2011, изменен: 07/04/2011. 33k. Статистика.
  • Статья: Естеств.науки
  • Иллюстрации/приложения: 2 шт.
  •  Ваша оценка:


       Симбиоз с инструментом, или Как извлечь знания из человека
      
       Инструменты и модели
      
       Почти все, что мы делаем с окружающим миром, мы делаем какими-то инструментами. Сами эти инструменты - тоже результат человеческой деятельности, которая, в свою очередь, осуществлялась с использованием инструментов... На протяжении всей истории шло накопление капитала - технического (инструменты) и научного (теории). Эта статья, да и весь наш журнал изготовлены с применением компьютеров и программ, которые созданы с применением компьютеров и программ, а для создания и тех, и других нужна компьютерная наука (та самая, для которой в русском языке пока нет общепринятого названия).
      
       Один из видов инструментов - модели. Оловянные солдатики имитируют солдат, бумажные прямоугольнички - мебель при обсуждении куда что ставить. При расчете нагрева оболочки "Шаттла" и "Бурана" каждое уравнение теплопроводности для отдельного элемента - это модель, а система таких уравнений для многих элементов вместе с уравнениями теплообмена между элементами - модель более высокого уровня. Иногда модель высокого уровня можно свести к одному сложному уравнению, но при этом она делается менее наглядной, уменьшается диапазон ее применимости, и при любом изменении структуры моделируемого объекта (а привинтим-ка мы эту фиговинку не тут, а вот тут...) все надо делать заново. Об исследовании влияния структуры объекта на его работу и, естественно, об оптимизации структуры приходится забыть. Поэтому если мы все-таки хотим выяснить, что изменится от привинчивания в другом месте, модель должна имитировать структуру объекта, то есть в ней должны быть микромодели элементов и модели связей между ними.
      
       Модель - это инструмент, и, как всякий инструмент, она и форма хранения знаний. Каждый инструмент - и эти, с изолированными ручками, и автоматический межпланетный зонд "Пионер" - применяет человек. При этом он пользуется своими знаниями. А где находятся эти знания?
      
       Две шкатулки со знаниями
      
       Когда мы работаем, то пользуемся инструментом, то есть применяем и чужие (в основном) знания, воплощенные в инструменте, и свои собственные При этом знания, которые находятся в человеке, бывают нескольких типов. Во-первых, это, назовем так, научное знание. Человек может с точки зрения механики объяснить, как действовала баллиста. Во-вторых, это опыт. Историк знает, в каких ситуациях полководцы древности применяли эти баллисты, хотя и не всегда знает почему - но знает статистику: применяли. Может быть, так их учили в их военных академиях, может быть, такова была традиция, а может, поставщик баллист давал взятку - но если город осаждали, то, весьма вероятно, с участием баллист. Наконец, это интуиция исследователя - историк "носом чует", что в этой ситуации происходило то-то и то-то, хотя и не всегда может объяснить почему.
      
       Знания разных типов в различной степени поддаются переносу в компьютер. Научное знание перенести легко, опыт - труднее, интуицию - невозможно. Эта проблема была осознана давно, и возникло целое направление в компьютерной науке - "экспертные системы". Знания экспертов хранились в программе в виде фактов и правил связывания фактов в рассуждения. Кроме того, знания, хранящиеся в экспертной системе, могут быть метазнаниями - утверждениями о способах использования и о свойствах знаний, они могут быть организованы в сложные структуры - фреймы, семантические сети... Это весьма изощренные способы представления знаний эксперта в системе, но в собственно работе системы живой эксперт не использовался. А мы хотим использовать живого эксперта и поэтому пойдем другим путем.
      
       "Там, где твои гоплиты точат мечи о скалы"
      
       Человек должен есть, пить, одеваться. Одежду надо сшить, ткань купить, хлеб вырастить, смолотить, испечь. Военные корабли надо строить, строителей кормить, а труд их - оплачивать, налоги надо собирать, дань взимать и так далее. Записав в виде простых уравнений (физик хмыкнет - закон сохранения!) связь этих величин, мы получаем систему уравнений, которая отражает движение в государстве основных видов товаров и денег. Причем если мы говорим о давних временах, то кое-что нам известно точно (современник такой-то написал, что на рынках Афин масло оливковое стоило в такие-то годы столько-то, расписал по месяцам, сравнил с ценами в Коринфе, посетовал на таможню и инфляцию...), а кое-что известно менее надежно или просто никак. Однако обычно известен глобальный результат - государство А существовало с такого-то года по такой-то, когда было покорено государством В. Пришли завоеватели, заглянули в казну и выразились, как тот электрик из анекдота, - в казне пусто.
      
       Написав все уравнения, мы получим модель. Введем начальные условия и начнем с каким-то шагом двигаться по времени. Хлеб и виноград растут, люди едят и пьют, строят жилье и корабли, ткут ткань и куют мечи. На дворе - IV век до н.э., Древняя Греция в преддверии Пелопонесской войны. Модель системы древнегреческих полисов (431-404 года до н.э.) создали в ВЦ АН СССР Ю.Н.Павловский с соавторами. Параметрами были численность слоев населения, производительность труда в ремесленном и сельскохозяйственном производствах, цены, объем ввозимых и вывозимых товаров и так далее. Часть значений была известна, но многие - нет. Они подбирались так, чтобы экономическая динамика не противоречила имеющейся информации об экономике древнегреческих полисов, а также не противоречила представлениям экспертов-историков. Таким образом, человеческие знания использовались дважды. Первый раз - как элемент модели: закон сохранения - это знание, и что человеку нужны хлеб, вино, масло и хитон - тоже знания. Второй раз - при работе с моделью, когда эксперт говорил: "Нет, этого быть не могло".
      
       Моделирование позволило установить значения многих, до того неизвестных параметров, структуру общества, некоторые цены, до этого неизвестные, потоки товаров, колебания пошлин и налогов. Но, главное, моделирование указало на причины Пелопонесской войны - вплоть до того, какие слои общества и почему выступали как "партия войны", почему была предпринята Сицилийская экспедиция, после которой поражение Афин стало неизбежным. Эффективность методики, при которой знания (интуиция) экспертов используются в работе модели, была доказана.
      
       "Здесь вопросы задаем мы"
      
       На протяжении работы по моделированию жизни полисов и всех последующих работ в этом направлении авторы сетовали на сложность работы с гуманитариями. Увидят уравнения - и сразу полная клиническая картина отравления: "бледная, слегка синюшная окраска кожи, холодный пот, безучастное, отсутствующее выражение лица при сохраненном сознании" и главное - "вялая, еле выраженная ответная реакция на вопросы, раздражение". Между тем свое дело знают, причем замечательно. Нет, голубчик, масло из оливок делали не так, а вот так, брал он в руки это, становился вот сюда... говорит, и причмокивает, от счастья лучится, мысленным взором Элладу и оливки созерцает. Как бы его знания в компьютер засунуть?
      
       Проще всего - взять и спросить: скажи-ка, дядя эксперт, ведь недаром?! Только не делайте этого опыта с группой экспертов - можете не успеть отскочить. Эксперты немедленно разбиваются на две группы и с криками кидаются друг на друга. Каждый из них твердо знает, даром или не даром, есть у России особый путь или его нет, надо заниматься генной инженерией или не надо, будет расти курс доллара или не будет. Дело доходит до того, что прогнозы футурологов регулярно публикуются в виде или двух - "мнение большинства", "мнение меньшинства" - или даже трех - "оптимистический прогноз", "средний прогноз", "пессимистический прогноз". Что прикажете брать в голову простому, незамысловатому читателю? По мнению большинства, Солнце завтра взойдет в 6.00, по мнению меньшинства - в 6.06. Оптимистическая оценка ускорения свободного падения - 10 м/с2... Иногда термины "оптимистический", "средний" и т. п. пытаются оправдать, заявляя, что вероятности их реализации различны и употребление этих терминов означает, что прогноз носит вероятностный характер. Но при этом сами вероятности не приводятся, и ясно почему - понятие вероятности не применимо к однократным событиям. Может быть, разные варианты прогноза получались моделированием процессов при разных начальных условиях - а при каких? Молчит публикация, не дает ответа...
      
       Отсюда мораль - не задавайте экспертам вопросов о явлении в целом, спрашивайте о деталях. Тогда его убеждения и принципы не будут мешать ему думать и отвечать на вопросы. Эксперты, которые готовы до хрипоты отстаивать свое мнение о причинах Пелопонесской войны, быстро договариваются о том, сколько стоили хлеб и масло (неустранимые расхождения могут оставаться, но их становится меньше). Более того, именно ответы на конкретные вопросы позволяют усреднять оценки и использовать другие, более мощные методы (социология такие методы знает). Важно только не совершить довольно частую ошибку - не начать использовать экспертные оценки вместо цифр, которые можно измерить или найти в источниках. Потому что лень, потому что слова "по мнению экспертов" звучат красивее, чем "в результате недельного поиска в архивах", а иногда и потому, что сегодня я его приглашу в эксперты и "не обижу", а завтра, ясное дело, он меня.
      
       Но есть знания, которые в цифрах выразить вообще невозможно. Нужен живой человек.
      
       "Если они нас, то мы - их!"
      
       Во многих случаях сама моделируемая система включает человека. Человек решает, на что направлять инвестиции, человек решает, какие войска вводить в бой, как лечить болезнь и сколько платить сотрудникам. Поэтому модель экономики, войны, болезни и фирмы - все они должны включать в себя человека. Это и будет человеко-машинная модель. Машина будет решать уравнения, подсчитывать тонны хлеба и стали, килотонны атомных бомб, миллиграммы действующего начала лекарств и миллионы штук вирусов, а человек будет решать, что вводить в бой, какое лекарство принять, в сталь или хлеб вложить средства.
      
       Человеко-машинные модели этого типа (машина решает уравнения, а человек изображает человека, принимающего решения)создавались группой под руководством Ю.Н.Павловского несколько раз. Например, для имитации процессов проектирования, производства, эксплуатации технических систем, заказчик - Минавиапром. Для имитации системы противоракетной обороны с использованием технологии "бриллиантовые камни" (поражение ракет на активном участке траектории небольшими и дешевыми ракетами), заказчик - Минобщемаш. Для имитации вооруженной борьбы на сухопутном театре военных действий, заказчик - Минобороны. В этом последнем случае модель учитывала не только перемещение войск и взаимное уничтожение войск, но и материальное обеспечение (подвоз снарядов и каши), а также информационные процессы (сбор, хранение, передачу и обработку информации о своих силах и о силах противника).
      
       Такая система позволяет проводить оптимизацию, то есть после исследования модели можно сказать, каких войск или какого оружия нужно больше, а какого - меньше. Кроме того, трудно представить себе лучший тренажер для военных игр. При использовании человеко-машинной модели, включающей оператора, результаты становятся зависящими от подготовки человека. Так и должно быть, и модель позволяет оценить, насколько сильна эта зависимость, можно ли за этот пульт сажать новобранца - или только контрактника, который третий год ежедневно тренируется.
      
       Следующий пример - имитация демографических, экономических и экологических процессов в системе государств. Совместно с Государственным химико-технологическим институтом им. Д.И.Менделеева для изучения проблемы устойчивого развития была разработана математическая модель, в которой учитывались фундаментальная наука, прикладная наука, добыча природных ресурсов, производство предметов потребления, образование, здравоохранение, экологическая деятельность, информатика, производство духовных ценностей, производство вооружений. Модель была использована для разработки компьютерного комплекса, на котором может проводиться имитационная игра.
      
       Вот более конкретная модель: развитие отношений в системе государств. Исходная система состояла из трех государств - одного, экономически развитого, другого - менее развитого, но с большей территорией, и третьего, маленького, но с ценными природными ресурсами. У каждого государства есть обычное и атомное оружие, есть средства, которые можно инвестировать в производство продуктов потребления и оружия (того и другого). Государства могут обмениваться информацией, нотами, выступать с декларациями (помните анекдот - "наглым агрессором был обстрелян наш мирный трактор, который в густом тумане заехал на сто километров на соседнее поле. Наш трактор нанес ответный ракетный удар"). Государства с некоторой задержкой получают информацию о фактических действиях друг друга (имитация разведки).
      
       История начинается с того, что одно из больших государств хочет наложить лапу на маленькое, что вполне естественно. Оно предлагает второму большому сделать это совместно, и одновременно маленькому - свою помощь для борьбы с вторым большим... Похоже на жизнь? Так модель и должна быть похожа. Дальше начинаются переговоры, подготовка к войне, инвестиции в военный сектор, противник об этом узнает, делает то же самое, а кончается все пальцем, жмущим на кнопку. К счастью, только на модели.
      
       По результатам многократного моделирования авторы сделали вывод: причиной войны могут стать авантюрный характер политики, недоверие и плохая информированность. Поэтому те, кто утверждает, что от Третьей (и последней) мировой войны мир спасли разведки, - вероятно, правы.
      
       Немного о мрачном
      
       Военные - люди конкретные, тренажеры они используют, но не все результаты исследований могут применить. Например, модель говорит, что кавалерию развивать не надо, а надо строить что-то другое. Но у нас сто генералов-кавалеристов, да и ржание разносится над бескрайними степями. Куда прикажете все это девать?
      
       С политиками дело обстоит еще сложнее. Они сами всё лучше всех знают, и нет более надежного способа вызвать у депутата здоровый смех, чем предложить ему потренироваться принимать решения сначала на компьютере, а не сразу на людях. В лучшем, недостижимо хорошем случае он воспримет это как игрушку, а принимать решения все равно будет, исходя из других соображений. Для того чтобы серьезно отнестись к такому предложению, надо как минимум с уважением относиться к знаниям и труду и думать о благе всех граждан, а не только некоторых.
      
       Поэтому похоже, что применение этих методов моделирования определяется не только конкретным заказчиком, но и состоянием общества в целом. Для науки это немного непривычно.
      
       Химия, жизнь и попытка переворота
      
       Многие помнят, что произошло в России в октябре 1993 года - попытка свержения Ельцина и разгон Верховного Совета. В том же месяце наш журнал опубликовал маленькую заметку, под которой стояло время написания: "Май 1993". В заметке, которая действительно была написана пятью месяцами раньше, анализировалась ситуация, приведшая к попытке переворота. А именно, анализировалось, что лучше: авторитарный режим или не авторитарный - с точки зрения вероятности дестабилизации и времени выхода из кризиса. Кого ни спроси - все это знали тогда, знают и сейчас, причем знали так, что обсуждать было бесполезно. Но на конкретные вопросы - например, о возможности попытки захвата власти "вторым лицом" - отвечали вполне конкретно.
      
       В заметке была рассмотрена простейшая модель отношений во власти и экспертные оценки использованных параметров. Вся работа была выполнена за три дня и вообще не потребовала применения компьютера. И она показала, что авторитарная власть предпочтительней при высокой вероятности предательств, а демократия хороша, когда люди начинают вести себя цивилизованно. Заметка была сдана в печать - и разразился путч в Верховном Совете. Наверное, это не было связано... но вот еще один, столь же простой пример сочетания модели и экспертных оценок.
      
       О вкусах не спорят. Но их изучают
      
       Попробуем применить эту методику к исследованию читательских предпочтений. Мы воспользовались случайным обстоятельством - тем, что в нашем распоряжении оказались регулярно составлявшиеся двумя людьми (респонденты Р1 и Р2) в течение многих лет списки "десяти авторов, книги которых ты взял бы с собой на необитаемый остров" (восемь списков на протяжении 22 лет). В течение всего времени составление таких списков носило характер игры, никакой анализ не предполагался. Но эти данные легли к нам на стол...
      
       Для анализа списков был использован набор из девяти параметров, которые могут быть применены для описания любого произведения и в целом творчества любого автора. Каждому писателю, хотя бы одно произведение которого попало в список, несколькими экспертами были присвоены значения всех параметров в диапазоне от 1 - "данное свойство не выражено вовсе" до 5 - "данное свойство выражено в высшее степени". Далее для всех названных в один определенный год авторов было вычислено среднее значение каждого параметра и проанализировано изменение со временем полученных средних параметров, характеризующих теперь уже вкусы читателя. Несмотря на очевидную субъективность этой методики, она существенно объективнее обычно применяемых - и потому, что эксперты оценивали не авторов в целом, а отдельные параметры, и потому, что оценки усреднялись.
      
       Перечислим параметры, дадим им нечто вроде определения и назовем авторов из упомянутых выше восьми списков, набравших по каждому параметру наивысший балл. После этого станет яснее субъективный смысл каждого параметра.
      
       1. "Повествовательность". Искусство повествования, мастерство рассказчика, построение фабулы - в некотором академическом смысле, без собственно "детективной" напряженности действия. Эталон - Булгаков.
      
       2. "Напряженность". Насыщенность событиями, захватывающее действие, читатель все время в напряжении. Эталоны - Маркес, Пелевин.
      
       3. "Оригинальность". Неожиданность, оригинальность идей и связей. Эталоны - Воннегут, Саймак, Борхес, Пелевин, Оруэлл.
      
       4. "Сложность". Одновременно сложность и стройность созданной конструкции, Эталоны - Лем, Кортасар.
      
       5. "Чувства". Яркое изображение чувств, вызывающих симпатию (у данных экспертов). Эталоны - Фейхтвангер, Ремарк, Булгаков, Толстой, Шекспир.
      
       6. "Действия". Изображение действий, вызывающих симпатию (у данных экспертов). Эталоны - Стругацкие, Фейхтвангер, Хемингуэй, Ремарк, Лондон.
      
       7. "Социальное". Постановка и рассмотрение социально значимых идей и вопросов. Эталоны - Фейхтвангер, Ремарк, Белль, Достоевский, Оруэлл.
      
       8. "Образы". Мастерство создания образов людей. Эталоны - Хемингуэй, Ремарк, Толстой, Голсуорси, Достоевский.
      
       9. "Вечное". Постановка и рассмотрение проблем, которые принято называть вечными. Эталоны - Фейхтвангер, Ремарк, Сэлинджер.
      
       0x01 graphic
      
       0x01 graphic
      
       Всего авторов было за 22 года названо, конечно, гораздо больше, чем перечислено выше. Здесь в качестве эталонов названы те, у которых эти свойства выражены наиболее сильно.
      
       Полученные графики изображены на рисунке. Рисунок Р1 относится к одному респонденту, Р2 - к другому, цифры на графиках - номера параметров. Для упрощения рисунка сами точки не показаны, но их разброс мал, отклонение от кривой нигде не превышает 0,15 балла (5%), а в большинстве случаев отклонение меньше (что само по себе говорит о разумности методики).
      
       По рисункам видно, как эволюционировали литературные вкусы респондентов. У Р1 с годами плавно убывали требования к параметрам 5 и 8 ("Чувства" и "Образы") и росли требования к параметру 3 ("Оригинальность"). Человек взрослел и относился к литературе все более рационально. У респондента Р2 картина оказалась иной. Изменениям подвержено вдвое больше параметров, сами изменения были вдвое больше по амплитуде, происходили они на меньшем интервале времени и, что самое главное, под влиянием внешних обстоятельств. В отличие от испытуемого Р1, у которого то, что изменялось, изменялось плавно и все годы, у Р2 изменения произошли в основном в середине рассматриваемой эпохи. Они состояли в резком росте требований к "Оригинальности", "Напряженности" и "Сложности" и спаде требований к "Образам" и "Вечному". Такого рода изменения носят характер адаптации к рынку. Характерно, что в последнем периоде заметен некоторый возврат к исходным значениям.
      
       "Как перестать беспокоиться и начать жить"
      
       Когда-то была издана книга с таким названием; не помним уж, что в ней рекомендовали, но суть проблемы ее автор ухватил. Хочется активно жить, развиваться, строиться и поменьше раздражаться, беспокоиться и дергаться. Попробуем построить простенькую модель, позволяющую на уровне стран предсказать темпы развития и уровень напряженности в обществе. Само по себе это не очень нужно, потому что хороший социолог и хороший экономист и так дадут правильные ответы. Но работающая модель позволит ответить и на более сложный вопрос: как можно было бы управлять ситуацией, увеличить темпы развития и снизить напряженность, и главное - как эти вещи связаны. Потому что интуитивно кажется, что увеличение темпов невозможно без роста напряженности. А вот этого не хотелось бы...
      
       Будем описывать человека такими параметрами: раса, уровень культуры, образование, пол, доход, религия, место проживания, род деятельности. Каждый человек имеет все эти параметры и может хотеть или не хотеть изменить их значения. И может иметь или не иметь возможность их изменить. Например, большинство хочет изменить доход, но мало кто хочет изменить пол. Большинство людей имеет возможность изменить религию, но никто не может изменить расу (даже Майкл Джексон, которого хирургия превратила из черного мужчины в белый юнисекс). И по каждому параметру в каждой стране ситуация своя. Не имея возможности изучать мнения экспертов о всех странах мира, мы ограничились двумя странами и двумя регионами - Россия, США, Европа и Азия. Следует сразу сказать, что мнения об Азии наименее надежны: нищий Афганистан далек от богатой Саудовской Аравии, полуевропейская Турция - от оплота фундаментализма Сирии, а они обе - от нашего соседа Китая. Тем не менее посмотрим на таблицу. Цифры в клетках означают: 0 - отсутствие желания или возможности, 1 - слабое желание или возможность, 2 - заметное, 3 - сильное. Половинки - результат усреднения мнений. Почему некоторые цифры даны жирным шрифтом, мы сейчас узнаем.
      
       Напряженность в обществе мы будем характеризовать суммой (по всем параметрам) разностей "желания" и "возможности", если желание превосходит возможность, то есть суммой неудовлетворенных желаний. Эта сумма составляет для России - 3, для США - 2,5, для Азии - 1,5 и для сытой и спокойной Европы - 1. Выглядит правдоподобно. Скорость изменений в обществе будем характеризовать суммой минимумов из желания изменить и возможности изменить, то есть суммой реальных скоростей изменения. Эта сумма составляет для США - 11,5, для Европы - 8,5, для России - 8, для сонной (в среднем) Азии - 4,5. Тоже правдоподобно.
      
       Это дает нам право задать модели вопрос - как ускорить прогресс общества и как уменьшить напряжение? Желаниями людей управлять трудно, легче предоставлять им возможности. Для ускорения прогресса имеет смысл увеличивать возможности - но только в том случае, если желание больше. Тогда реальное движение ускорится. А в каких случаях имеет смысл увеличивать возможности с точки зрения уменьшения напряженности? Ответ - в тех же самых, ибо она создается разностью желания и возможности, если первое больше второго. Итак, две цели - ускорение прогресса и уменьшение стресса - не конфликтуют. Это несколько неожиданно.
      
       Тогда следующий и последний вопрос - какие же возможности надо увеличивать? Ответ - жирные числа в таблице. В США надо предоставить людям возможность менять расу, в Азии - получать образование, в России - менять место жительства. И во всех странах - увеличивать доходы. Особенно - в России. Впрочем, для этого последнего вывода модели не нужны.
      
       Пара-
       метр
       Желание изменить
       Возможность изменить
      
       Россия
       США
       Европа
       Азия
       Россия
       США
       Европа
       Азия
       Раса
       0
       1
       0
       0
       0
       0
       0
       0
       Уро-вень культу-ры
       1
       2
       2
       0,5
       1
       2
       2
       0,5
       Обра-зова-ние
       2
       3
       2,5
       1,5
       2
       3
       3
       1
       Пол
       0,5
       0,5
       1
       0
       0,5
       1
       1
       0
       Доход
       3
       3
       2
       2
       1
       1,5
       1
       1
       Рели-гия
       0,5
       0,5
       1
       1
       3
       3
       3
       1
       Место прожи-вания
       2
       2
       1
       1
       1
       3
       2
       1,5
       Род де- ятель-ности
       2
       2
       1
       1
       2
       3
       2
       1
      
      
       Почти все, что делает человек с внешним миром, - он делает каким-то инструментом. Инструменты сегодня всем доступны примерно одинаковые. Конечно, мастер лучше выбирает инструмент, но главное в другом - он лучше им владеет. Это относится и к электрику, и к редактору, и к химику. Когда мы были студентами, мы шутили: "Учи матчасть!" И мы были правы.
      
       Литература
      
       Гусейнова А.С., Павловский Ю.Н., Устинов В.А. Опыт имитационного моделирования исторического процесса. М.: Наука, 1984.
      
       Иванилов В.Ю., Огарышев В.Ф., Павловский Ю.Н. Имитация конфликтов. М.: ВЦ РАН, 1993.
      
       Павловский Ю.Н. Имитационные модели и системы. М.: Фазис, 2000.
      
       Белотелов Н.В., Бродский Ю.И., Оленев Н.Н., Павловский Ю.Н., Тарасова Н.П. Проблема устойчивого развития: естественно-научный и гуманитарный анализ. М.: Фазис, 2004 (в печати).
      
       Статья написана в соавторстве.
       Соавтор - М.Л.Гайнер

  • Оставить комментарий
  • © Copyright Ашкинази Леонид Александрович (leonid2047@gmail.com)
  • Обновлено: 07/04/2011. 33k. Статистика.
  • Статья: Естеств.науки
  •  Ваша оценка:

    Связаться с программистом сайта.