7.1.4 Представление результатов нахождения наибольшей общей подпоследовательности (longest common subsequence, lcs)

При вычислении дистанции Левенштейна одновременно получается наибольшая общая подпоследовательность (longest common subsequence, LCS) двух сравниваемых файлов. В основном окне модуля наибольшая общая подпоследовательность – это все строки белого цвета. То есть все строки, которые одновременно входят без каких-либо изменений в оба файла. Длина LCS – это число строк белого цвета в главном окне модуля. Также это число показано в строке «Совпадает» (в нашем примере на – 73).

7.1.5 Представление метода шинглов для сравнения произвольных текстов

Результатом сравнения файлов методом шинглов является одно число – процент одинаковых шинглов в обеих файлах. Если этот процент велик (например, 50%), то возникает подозрение на плагиат. При этом, конечно, этот процент зависит от длины шингла и показывается в информационном окне при применении метода. В реализованном модуле можно самостоятельно выбирать длину шингла (Рисунок 27).

Рисунок 27 Выбор длины шинглов

7.1.6 Применение метода шинглов для сравнения исходных кодов

Метод шинглов для сравнения исходных кодов может применяться как к самим исходным текстам (рисунок 28), так и к токенизированному представлению (рисунки 29, 30). Белым цветом показаны шинглы, которые имеют дубликаты в другом сравниваемом файле.

Рисунок 28 Сравнение исходных кодов методом шинглов

Рисунок 29 Токенизированное представление исходных кодов

Рисунок 30 Сравнение токенизированного представления исходных кодов методом шинглов

Заключение

В результате выполнения магистерской диссертации автором выполнены следующие работы и получены следующие результаты:

1. Усовершенствованы инструментальные средства анализа исходных кодов программ в части реализации возможностей наглядной визуальной оценки проверяющим;

2. Реализован набор инструментов анализа исходных кодов программ, который состоит из двух взаимно дополняющих модулей: первый анализирует исходный код методами анализа исходных кодов, а второй позволяет анализировать этот же исходный код методами анализа произвольных текстов.

3. В работе предложен и реализован в виде самостоятельного модуля алгоритм поиска заимствованных фрагментов в исходных кодах программ, интегрирующий структурный анализ кодов (на основе токенов) и методы шинглов, дистанции Левенштейна и наибольшей общей подпоследовательности (longest common subsequence, LCS) для анализа произвольных текстов.

Список использованных источников (библиографический список)

1. Макаров В.В. Идентификация заимствований в прикладных программах, ИПУ РАН, УДК 001(06), Телекоммуникационные и новые информационные технологии.

2. Макаров В.В. Идентификация дублирования и плагиата в исходном тексте прикладных программ – Москва: Институт проблем управления РАН, 1999.

3. Красс А. Обзор автоматических детекторов плагиата в программах. http://detector.spb.su/pub/Sandbox/ReviewAlgorithms/survey.pdf .

4. Синельников С.М. и др. Энциклопедия предпринимателя – Санкт-Петербург, 1994.

5. Сухарев А.Я., Крутских В.Е. Большой юридический словарь (редакция) – Москва, 2002.

6. Брокгауз, Ефрон. Малый энциклопедический словарь.

7. Большая советская энциклопедия.

8. Литературная энциклопедия.

9. Нейл К., Шанмагантан Г. http://osmag.ru , 2004-2005.

10. Иванчегло С. Методы выявления плагиата в программировании: http://www.kv.by/index2000491105.htm , 2000.

11. Лифшиц Ю., Антипов Д., Евтифеева О.А., Котов А., Красс А.Л., Лакунин М.А., Лысенко Е.А., Семенников А., Счастливцев Р.Р. Обзор алгоритмов и детекторов обнаружения плагиата в исходных кодах программ. http://detector.spb.su – Санкт-Петербург, 2006.

12. http://www.antiplagiat.ru/ , 2005-2007.

13. http://neuroshell.forekc.ru/ .

14. Etxt Антиплагиат. Программа проверки уникальности текста.

15. Double Content Finder: http://textbroker.ru/main/dcfinder.html .

16. Детектор Плагиата: http://www.detector-plagiata.ru .

17. Прохоров А. Интернет: источник плагиата или средство его выявления? http://2balla.ru/content/view/1891/87/ .

18. Крутояров Д.В. Автоматизированная система поиска заимствований в электронных изданиях, опубликованных в сети Интернет. http://www.dissercat.com/content/avtomatizirovannaya-sistema-poiska-zaimstvovanii-v-elektronnykh-izdaniyakh-opublikovannykh-v .

19. Фенстер А.Г. Выявление плагиата при проверке студенческих программ. http://info.fenster.name/ .

20. Уникальность текста и как проверить текст на уникальность. http://chvv.com.ua/kak-proverit-tekst-na-unikalnost/ .

21. Шарапов Р.В., Шарапова Е.В. Система проверки текстов на заимствования из других Источников – Муром: Муромский институт (филиал) ГОУ ВПО "Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых.

22. Болкунов И.А. Пути преодоления студенческого плагиата – Ялта: Евпаторийский педагогический факультет, РВУЗ «Крымский гуманитарный университет.

23. Нейл К., Шанмагантан Г. Web-инструмент для выявления плагиата, Открытые системы №01, 2005.

24. Евтифеева О.А., Красс А.Л., Лакунин М.А., Лысенко Е.А., Счастливцев Р.Р. Анализ поиска плагиата в исходных кодах программ – Санкт-Петербург: Санкт-Петербургский государственный университет.

25. Амонс А.А., Зайцев С.Ю., Киричек А.А. Выявление плагиата в программном коде C# – Вестник НТУУ «КПИ» Информатика, управление и вычислительная техника №53.

26. Левенштейн В. И. Двоичные коды с исправлением выпадений, вставок и замещений символов – Докл. Академий Наук СССР, 1965 – 845–848 с.

27. Damerau F.A. Technique for Computer Detection and Correction of Spelling Errors // Communications of the ACM. 1964. Vol. 7. No. 3. P. 171–176.

28. EUGENE W. MYERS, An O(ND) Difference Algorithm and Its Variations Department of Computer Science, University of Arizona, Tucson, AZ 85721, U.S.A.

29. Sun Wu, Udi Manber, Gene Myers, An O(NP) Sequence Comparison Algorith, Department of Computer Science University of Arizona Tucson, AZ 85721 and Webb Miller3, Department of Computer Science, The Pennsylvania State University University Park, PA 16802.August 1989

30. Hyyro H. Practical Methods for Approximate String Matching // Department of Computer Sciences, University of Tampere: PhD Thesis. Finland, 2003. 96 p.

31. Ukkonen E. Algorithms for Approximate String Matching // Information and Control. 1985. No. 64. P. 100–118.

32. Ukkonen E. Finding Approximate Patterns in Strings // Journal of Algorithms. 1985. No. 6. Р. 132–137.. Wagner R.A., Fischer M.J. The String-to-string Correction Problem // Journal of ACM. 1974. Vol. 21. No. 1. P. 168–173.

33. Черненький В.М., Гапанюк Ю.Е. МЕТОДИКА ИДЕНТИФИКАЦИИ ПАССАЖИРА ПО УСТАНОВОЧНЫМ ДАННЫМ

34. Зеленков Ю.Г., Сегалович И.В. Сравнительный анализ методов определения нечетких дубликатов для Web-документов, http://rcdl2007.pereslavl.ru/papers/paper_65_v1.pdf

35. Zweig. Syntactic clustering of the Web. Proc. of the 6th International World Wide Web Conference, April 1997.

36. U. Manber. Finding Similar Files in a Large File System. Winter USENIX Technical Conference, 1994.

37. R.A. Wagner, M.J. Fischer. The string-to-string correction problem. J. ACM 21 1 (1974). P. 168—173

38. A. Broder, S. Glassman, M. Manasse and G. Zweig. Syntactic clustering of the Web. Proc. of the 6th International World Wide Web Conference, April 1997.

39. Евсеев А.А. Анализ текстов на заимствование методом построения семантических моделей.

40. A. Broder, M. Charikar et al. Min-wise independent permutations, Proceedings of the thirtieth annual ACM symposium on Theory of computing, 1998

41. A. Chowdhury, O. Frieder, D. Grossman, M. McCabe. Collection statistics for fast duplicate document detection. ACM Transactions on Information Systems (TOIS), Vol. 20, Issue 2 (April 2002).

42. A.Chowdhury. Duplicate Data Detection. http://ir.iit.edu/~abdur/Research/Duplicate.html

43. A. Kolcz, A. Chowdhury, J. Alspector. Improved Robustness of Signature-Based Near-Replica Detection via Lexicon Randomization. KDD 2004. http://ir.iit.edu/~abdur/publications/470-kolcz.pdf

44. D. Fetterly, M. Manasse, M. Najork. A Large-Scale Study of the Evolution of Web Pages, WWW2003, May 20-24, 2003, Budapest, Hungary.

45. S. Ilyinsky, M. Kuzmin, A. Melkov, I. Segalovich. An efficient method to detect duplicates of Web documents with the use of inverted index. WWW Conference 2002.

46. http://www.efg2.com/Lab/Mathematics/CRC.htm

47. http://www.m4-software.com/en-index.htm

48. http://www.copycatchgold.com